Petals
github.com
BitTorrent 式分布式运行大模型的开源项目，可在本地跑 Llama 405B 等超大模型并微调。
开源有 API可自部署本地模型命令行Linux
被推荐 1 次
适合做什么
适合算力有限但想本地运行或微调超大模型的开发者、研究者，以及愿意共享 GPU 的社区用户。
标签与属性
谁在推荐
Petals - BitTorrent style platform for running AI models in a distributed way.
同类推荐
高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。
开源有 API可自部署DeepSeek通义千问
github.com1 处推荐
本地部署 / 运行最流行的开源大模型本地运行工具，一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。
开源可自部署有 API通义千问DeepSeek
ollama.com3 处推荐
Hugging Face 官方 JS 库，让 Transformers 模型直接在浏览器里运行，无需服务器。
开源多模态可自部署本地模型网页
github.com1 处推荐