Ollama 把本地跑大模型这件事做成一条命令，模型以镜像的方式分发。
ollama run后面跟模型名就能拉下来直接用- 自带一个兼容 OpenAI 接口的服务，现有代码改个地址就能接
- 支持自定义 Modelfile，调 system prompt 与参数
适合想在自己机器上试模型、做本地应用的人。缺点是需要一定的显存或内存，纯 CPU 推理会明显慢。
综合评价
优点一条命令跑本地模型，接口兼容 OpenAI
缺点对硬件有要求，纯 CPU 推理偏慢
0 条回复
还没有评论，来抢第一条。