为您的私有部署选择正确的AI模型
匡优数言 私有化部署中最重要的决定之一是使用哪个AI模型。正确的选择取决于您组织的隐私要求、基础设施、性能需求和内部政策。
本指南引导您了解选项并帮助您做出决定。
两条路径
决策框架
使用此框架快速缩小选择范围。
在以下情况下选择开源：
- 您的数据在任何情况下都不能离开您的网络
- 您在空气隔离环境中���署
- 您有关于数据驻留的监管或合规要求
- 您想避免依赖第三方API可用性
- 您需要可预测的成本且无按token计费
在以下情况下选择闭源：
- 您的数据敏感性允许外部API调用（使用您自己的账户）
- 您希望获得复杂推理任务的最高输出质量
- 您没有可用的GPU基础设施
- 您想快速开始且无需模型设置
- 您在承诺GPU硬件之前正在运行试点
两者结合：
- 不同工作流有不同的敏感性级别
- 您希望对敏感数据使用开源、对非敏感任务使用闭源
- 您希望在一个不可用时使用备用模型
匡优数言支持在同一部署中路由不同工作流到不同模型。
开源模型比较
| 模型 | 参数 | 所需VRAM | 语言 | 许可证 | 最适合 |
|---|---|---|---|---|---|
| Qwen3.5-397B-A17B | 397B (MoE, 17B活跃) | 64 GB | 201+ 语言 | Apache 2.0 | 最大质量、复杂分析 |
| Qwen3.5-122B-A10B | 122B (MoE, 10B活跃) | 24–48 GB | 201+ 语言 | Apache 2.0 | 高质量、复杂任务 |
| Qwen3.5-35B-A3B | 35B (MoE, 3B活跃) | 16 GB | 201+ 语言 | Apache 2.0 | 多语言、一般分析 |
| DeepSeek V3 | 671B (MoE, 37B活跃) | 32–48 GB | EN、ZH、多语言 | MIT | 数学推理、代码生成 |
| Gemma 4-31B | 31B | 24 GB | 140 语言 | Apache 2.0 | Agentic工作流、结构化输出 |
| Qwen3.5-9B | 9B | 16 GB | 201+ 语言 | Apache 2.0 | 经济高效的本地部署 |
所有开源模型在本地运行。初始设置后不需要互联网连接。许可证允许商业使用。
闭源模型比较
| 模型 | 提供商 | 上下文窗口 | 最适合 |
|---|---|---|---|
| GPT-5.4 | OpenAI | 1M tokens | 复杂推理、英语优先 |
| Claude Opus 4.6 | Anthropic | 1M tokens | 长文档、细致分析 |
| Gemini 3.1 Pro | 1M tokens | 非常大的文件、混合内容 |
您使用您自己的API密钥。匡优数言不充当中间人 — 您的数据直接从您的环境发送到提供商。
使用闭源模型时您的数据会发生什么
当您使用闭源模型时，您的电子表格数据被发送到该提供商的API进行处理。这意味着：
- 提供商根据其服务条款处理您的数据
- OpenAI、Anthropic和Google的企业API协议通常包括限制训练使用的数据处理协议（DPA）
- 您应该在启用此选项之前审核提供商的 数据处理政策
- 匡优数言建议仅对非敏感数据使用闭源模型，或在审核并接受提供商的企业数据条款后使用
为获得最大的数据主权，请使用开源模型。
匡优数言中的模型路由
匡优数言支持在同一部署中为不同用例配置不同的模型。
示例配置：
工作流：财务报告 → DeepSeek V3（本地、敏感数据）
工作流：营销摘要 → GPT-5.4（API、非敏感）
工作流：默认 → Qwen3.5-35B（本地、通用）
这允许您的组织根据数据敏感性为每个工作流应用正确的模型，而不是在所有用例中强制单一选择。
常见问题
部署后可以切换模型吗？ 可以。模型选择是配置更改，不是重新部署。您的IT团队可以在不停机的情况下更新模型路由配置。
我们需要自己下载模型权重吗？ 不需要。匡优数言部署包包含模型获取指南。对于空气隔离环境，我们提供在部署前预加载模型权重的说明。
如果我想使用不在此列表中的模型怎么办？ 联系我们。匡优数言的模型层设计为可扩展的。如果您有特定的模型要求，我们可以讨论兼容性。
我可以使用微调或自定义模型吗？ 这在企业级可用。请联系我们讨论您的要求。
需要帮助决策吗？
预约演示，我们将帮助您将正确的模型策略映射到您的环境、数据敏感性和性能要求。
您还可以查看技术架构文档以了解更多关于模型层如何与系统其他部分集成的详细信息。