首先阅读
在 Careti 中运行本地模型：您需要知道的事项 🤖
Careti 是一个强大的 AI 编码助手，使用工具调用来帮助您编写、分析和修改代码。虽然在本地运行模型可以节省 API 成本，但有一个重要的权衡：本地模型在使用这些基本工具时的可靠性要低得多。
为什么本地模型不同 🔬
当您运行模型的"本地版本"时，您实际上运行的是原始模型的大幅简化版本。这个过程称为蒸馏，就像试图将专业厨师的知识压缩到基本食谱中 - 您保留了简单的食谱，但失去了复杂的技术和直觉。
本地模型是通过训练较小的模型来模仿较大的模型创建的，但它们通常只保留原始模型容量的 1-26%。这种大规模的减少意味着：
- 理解复杂上下文的能力降低
- 多步推理能力减弱
- 工具使用能力有限
- 决策过程简化
可以把它想象成在计算器上而不是在计算机上运行开发环境 - 它可能处理基本任务，但复杂操作变得不可靠或不可能。
.png)
实际会发生什么
当您在 Careti 中运行本地模型时：
性能影响 📉
- 响应速度比云服务慢 5-10 倍
- 系统资源（CPU、GPU、RAM）被大量利用
- 您的计算机对其他任务的响应可能会变慢
工具可靠性问题 🛠️
- 代码分析变得不太准确
- 文件操作可能不可靠
- 浏览器自动化功能减少
- 终端命令可能更频繁地失败
- 复杂的多步任务经常失败
硬件要求 💻
您至少需要：
- 具有 8GB 以上显存的现代 GPU（RTX 3070 或更好）
- 32GB 以上系统内存
- 快速 SSD 存储
- 良好的散热解决方案
即使有这些硬件，您也将运行更小、功能更弱的模型版本：
| 模型大小 | 您将获得的内容 |
|---|---|
| 7B 模型 | 基本编码，有限的工具使用 |
| 14B 模型 | 更好的编码，不稳定的工具使用 |
| 32B 模型 | 良好的编码，不一致的工具使用 |
| 70B 模型 | 最佳本地性能，但需要昂贵的硬件 |
简单来说，这些模型的云（API）版本是模型的完整版本。DeepSeek-R1 的完整版本是 671B。这些蒸馏模型本质上是云模型的"稀释"版本。
实用建议 💡
考虑这种方法
- 使用云模型进行：
- 复杂的开发任务
- 当工具可靠性至关重要时
- 多步操作
- 关键代码更改
- 使用本地模型进行：
- 简单的代码补全
- 基本文档
- 当隐私至关重要时
- 学习和实验
如果您必须使用本地模型
- 从较小的模型开始
- 保持任务简单和集中
- 频繁保存工作
- 准备好在复杂操作时切换到云模型
- 监控系统资源
常见问题 🚨
- "工具执行失败"： 本地模型经常难以处理复杂的工具链。简化您的提示。
- "无法建立连接，因为目标机器主动拒绝"： 这通常意味着 Ollama 或 LM Studio 服务器未运行，或在与 Careti 配置使用的端口/地址不同的端口/地址上运行。请仔细检查 API 提供商设置中的基本 URL 地址。
- "Careti 遇到问题..."： 将模型的上下文长度增加到最大大小。
- 响应缓慢或不完整： 本地模型可能比基于云的模型慢，尤其是在功能较弱的硬件上。如果性能是个问题，请尝试使用较小的模型。预期处理时间会显著延长。
- 系统稳定性： 注意高 GPU/CPU 使用率和温度
- 上下文限制： 本地模型通常比云模型具有更小的上下文窗口。将任务分解为更小的部分。
展望未来 🔮
本地模型的功能正在改进，但它们还不能完全取代云服务，尤其是对于 Careti 基于工具的功能。在承诺仅使用本地模型之前，请仔细考虑您的特定需求和硬件能力。
需要帮助？ 🤝
记住：在不确定时，对于重要的开发工作，优先考虑可靠性而不是节省成本。