适合做什么
适合想在本地跑开源大模型的人,先查硬件能带动哪些模型、量化格式与预期速度。
标签与属性
同类推荐
本地硬件 / 显存计算
本地硬件 / 显存计算
本地硬件 / 显存计算
本地硬件 / 显存计算用 llama.cpp 实测多种 NVIDIA GPU 与 Apple Silicon 跑 LLaMA 模型的推理速度,含显存占用与 tokens/s 对比。
可自部署本地模型LinuxMacWindows
github.com1 处推荐
适合想在本地跑开源大模型的人,先查硬件能带动哪些模型、量化格式与预期速度。
本地硬件 / 显存计算
本地硬件 / 显存计算
本地硬件 / 显存计算
本地硬件 / 显存计算用 llama.cpp 实测多种 NVIDIA GPU 与 Apple Silicon 跑 LLaMA 模型的推理速度,含显存占用与 tokens/s 对比。