主流大模型横评——我用 6 个模型做同一道题的实测
主流大模型横评——我用 6 个模型做同一道题的实测
6 个模型、同一道题、6 轮对比。结果有几个反直觉的发现——尤其是国产模型。
横评背景
我做 AI 项目这一年,几乎每周都要回答一个问题:“这个场景用哪个模型?”
网上横评很多,但大部分是跑 benchmark、跑分数。我自己用的是真实业务场景——所以这次我用 6 个主流模型,在同一组真实任务上跑一遍。
参与横评的 6 个模型(2026 年 7 月最新版):
| 模型 | 厂商 | 定位 |
|---|---|---|
| GPT-4o | OpenAI | 通用旗舰 |
| Claude Sonnet 4.5 | Anthropic | 长文+代码 |
| Gemini 2.5 Pro | 多模态 | |
| Qwen3-Plus | 阿里 | 中文+开源 |
| GLM-4.5 | 智谱 | 通用 |
| DeepSeek-V3 | DeepSeek | 推理+代码 |
测试题目设计
我不跑 benchmark——跑 6 道我自己业务里真实遇到的题:
- 长文本摘要:把一份 5000 字的产品 PRD 摘要成 5 段
- 代码 review:一段 200 行的 Python 代码,找出 3 个潜在 bug
- 复杂推理:经典的”狼羊菜过河”扩展版(7 个对象 1 条船)
- 中文写作:写一篇 800 字的产品介绍,要”不 AI 味”
- 工具调用:让 Agent 调 3 个工具完成”查天气→订餐厅→发邮件”流程
- 多轮对话:连续 5 轮追问同一问题,看上下文保持能力
关键结果
1. 长文本摘要:GPT-4o 和 Claude 双雄,国产追平
5000 字 PRD 摘要成 5 段——GPT-4o 摘要最完整,Claude 信息保留度最高,Qwen3-Plus 意外接近(中文场景下)。
GLM-4.5 和 DeepSeek 在这种中文长文本任务上,没有拉开明显差距——这是 2024 年还不敢想的事。
2. 代码 review:Claude 仍然领先
200 行 Python 找 3 个 bug——这道题 Claude 一骑绝尘,3 个 bug 全找到且解释到位。
GPT-4o 找到 2 个,DeepSeek 找到 2 个,Qwen 找到 1 个(但找的那个是真 bug,其他模型没找到)。
GLM 和 Gemini 各找到 1 个,且有一个是误报。
3. 复杂推理:DeepSeek 反超
“狼羊菜过河”扩展版(7 个对象 1 条船)——
- GPT-4o:3 步给出正确答案
- Claude:3 步,正确
- DeepSeek:2 步(链式推理自带优化)
- 其他:4-5 步,且有 2 个模型出错
这是反直觉的发现——以前都说”国外模型推理强”,DeepSeek 在链式推理上反而是最优的。
4. 中文写作:Qwen 胜出,但都不是”零 AI 味”
800 字产品介绍,要求”不 AI 味”——这道题没有模型真正做到”零 AI 味”。
但 Qwen 写出来的最接近”人话”,其次是 GLM。GPT-4o 和 Claude 都能写出”地道中文”,但句式还是有点”翻译腔”。
这是 AI 写作的通病——模型学的是”中文语料”,但学不到”中文语境”。
5. 工具调用:GPT-4o 稳定性最好
“查天气→订餐厅→发邮件”——
- GPT-4o:6 次跑 6 次成功
- Claude:6 次跑 5 次成功(1 次漏调发邮件)
- Gemini:6 次跑 5 次成功(1 次参数错)
- 其他:3-4 次成功
GPT-4o 在工具调用稳定性上仍是第一梯队。
6. 多轮对话:Claude 上下文保持最强
5 轮连续追问——
- Claude:第 5 轮仍能引用第 1 轮的细节
- GPT-4o:第 4 轮开始有轻微遗忘
- 其他:第 3 轮就开始丢上下文
几个反直觉的结论
1. 国产模型不再是”陪跑”
Qwen3-Plus 和 GLM-4.5 在中文场景下,和 GPT-4o 差距 < 10%。
一年前还不敢这么说——现在可以说了。
2. DeepSeek 在推理任务上是”隐藏王者”
如果你做的是数学题、逻辑推理、代码生成——DeepSeek-V3 可能是首选。
它不像 GPT 那么”全面”,但在推理深度上是真强。
3. 没有”万能模型”
6 个模型各有胜负:
- 写作:Qwen / GLM
- 推理:DeepSeek
- 代码:Claude
- 工具:GPT-4o
- 多模态:Gemini
- 综合:Claude / GPT-4o
别追求”用一个模型搞定所有事”——做项目时混用模型才是常态。
4. “AI 味”是个普遍问题
不管哪个模型,写出来的东西都有 AI 味——只是程度不同。
真正要做到”不 AI 味”,必须人工二次加工。
我的选型建议(2026 年 7 月版)
按场景推荐:
| 场景 | 推荐模型 | 理由 |
|---|---|---|
| 通用对话 | Claude Sonnet 4.5 | 综合最强 |
| 代码生成 | Claude Sonnet 4.5 | 代码最稳 |
| 中文写作 | Qwen3-Plus | 中文最地道 |
| 数学/推理 | DeepSeek-V3 | 推理最强 |
| 工具调用 | GPT-4o | 最稳定 |
| 多模态 | Gemini 2.5 Pro | 图文最强 |
| 成本敏感 | DeepSeek / Qwen | 性价比最高 |
写在最后
横评这件事,最忌讳的是”参数党”——只盯着 benchmark 分数,不看真实场景。
我建议你自己拿真实任务跑一轮——只有你自己的场景说了算。
我这次跑了 6 道题,得出 6 个不同结论。真实场景的横评,远比 benchmark 复杂。
模型没有”最好”,只有”最适合你的场景”。