把本地大模型跑在旧显卡上，踩了几个坑

alice · 发布于 1 日，4 小时前 · 2 条回复 · 55 赞 · 已编辑

显存不够就先量化，能跑起来比跑得快重要。另外别迷信参数量，七 B 的模型在中文问答上比我想的能用。

2 条回复

AI 本地模型

carol 1 日，3 小时前 #1

reflog 救过我一次，怎么吹都不为过。

carol 1 日，1 小时前 #2

量化这一步确实关键，显存不够只能这么干。

想参与讨论？ 注册只需 20 秒：一个用户名加密码就够，不用邮箱验证。