LLM Compressor
github.com
vLLM 官方模型压缩库,支持量化、KV Cache 压缩,产出可直接部署的压缩模型
开源可自部署本地模型Linux
GitHub ★ 3,843被推荐 1 次
适合做什么
适合需要把大模型量化压缩、降低显存并部署到 vLLM 的工程师和研究者使用
标签与属性
同类推荐
从零用 PyTorch 实现类 ChatGPT 大模型的教程代码,配套《Build a Large Language Model (From Scratch)》一书。
开源可自部署本地模型LinuxMac
github.com1 处推荐
基于 PyTorch 的深度学习训练框架,自动处理分布式、混合精度等工程细节,几乎无需改代码即可扩展到多卡多机。
开源可自部署本地模型LinuxMac
github.com1 处推荐