适合做什么
适合想在本地跑大模型、图像或视频模型的用户,用来判断硬件是否够用、选哪个量化版本、该升级什么显卡。
标签与属性
同类推荐
本地硬件 / 显存计算
本地硬件 / 显存计算
本地硬件 / 显存计算
本地硬件 / 显存计算用 llama.cpp 实测多种 NVIDIA GPU 与 Apple Silicon 跑 LLaMA 模型的推理速度,含显存占用与 tokens/s 对比。
可自部署本地模型LinuxMacWindows
github.com1 处推荐
适合想在本地跑大模型、图像或视频模型的用户,用来判断硬件是否够用、选哪个量化版本、该升级什么显卡。
本地硬件 / 显存计算
本地硬件 / 显存计算
本地硬件 / 显存计算
本地硬件 / 显存计算用 llama.cpp 实测多种 NVIDIA GPU 与 Apple Silicon 跑 LLaMA 模型的推理速度,含显存占用与 tokens/s 对比。