推荐 广场 发现产品 资源分享 有趣榜
注册
发布 ▾
首页 / 技术 / 话题详情 返回帖子

把本地大模型跑在旧显卡上，踩了几个坑

alice 的头像
alice
1 个月前 · 2 条回复

显存不够就先量化，能跑起来比跑得快重要。另外别迷信参数量，七 B 的模型在中文问答上比我想的能用。

帖子：把本地大模型跑在旧显卡上，踩了几个坑
复制链接
技术 # AI # 本地模型
2 条回复
排序 正序 倒序
carol 的头像
carol 1 个月前 #1

reflog 救过我一次，怎么吹都不为过。

carol 的头像
carol 1 个月前 #2

量化这一步确实关键，显存不够只能这么干。

想参与讨论？ 注册需填邮箱，点击验证邮件里的链接后才能登录。
注册并加入讨论 已有账号，直接登录
相关内容同标签 / 同分类
帖子 · GPU 基础认知：从硬件到 Kubernetes ... 旧城漫步2 产品 · Perplexity alice 帖子 · 基础：GPU 如何与 Kubernetes 结合 南巷小记