11 月 10 日,海外 AI 工程领域的独立技术媒体 Latent Space 推出了全新的模型测评栏目,首期评测对象是一家中国公司的开放权重模型——NaiveAI 的 Naive-N0.5-Flash。对照组是当时在 OpenRouter 上热度较高的两款 Flash 模型:DeepSeek V4.1 Flash 1017 与 GLM 5.3 Flash。(来源:Latent Space 20…
11 月 10 日,海外 AI 工程领域的独立技术媒体 Latent Space 推出了全新的模型测评栏目,首期评测对象是一家中国公司的开放权重模型——NaiveAI 的 Naive-N0.5-Flash。对照组是当时在 OpenRouter 上热度较高的两款 Flash 模型:DeepSeek V4.1 Flash 1017 与 GLM 5.3 Flash。(来源:Latent Space 2026-11-10 测评文章)
Latent Space 的读者群体,是真正把模型接进生产环境的工程师;他们为新模型做“不带立场”的第三方测评,结果随后被国内媒体量子位在 11 月 13 日跟进报道。(来源:量子位 2026-11-13 报道)对长沙企业而言,值得关心的并不是“谁又拿了更好的名次”,而是一个更具体的经营问题:一次更快的响应,在按 Token 计费的账单上,究竟是更省还是更贵。
模型底子:从小米 MiMo-V2.5 长出来的国产开放权重模型
NaiveAI 是一家成立不到一年的中国公司,创始人为清华大学电子工程系副教授代季峰。(来源:量子位 2026-11-13 报道)该模型定位在 AI 编码与研发工作流,以开放权重形式发布,配套自研推理引擎 NaiveRT。
它的底座来自小米的 MiMo-V2.5:310B 总参数、15B 激活的稀疏 MoE 架构,原模型训练数据规模 48T tokens,语言骨干采用滑动窗口注意力与全局自注意力混合设计。NaiveAI 在此权重基础上做多阶段继续训练,适配 DeepSeek 稀疏注意力(DSA)层,约追加 3.25T tokens,其中约 3T 在 1M 上下文长度下训练。(来源:Latent Space 2026-11-10 测评文章)
该公司还选择了“AI 参与模型研发”的路线,公开信息显示其每周支持近千万次沙箱运行、峰值并发达 10 万个。(来源:量子位 2026-11-13 报道)
公开跑分:仓库级生成领先,整体并非全面领先
| 模型 | NL2Repo-Bench | DeepSWE v1.1 | Agent’s Last Exam (ALE) |
|---|---|---|---|
| Naive-N0.5-Flash | 71.9 | 67.8 | 32.4 |
| DeepSeek V4.1 Flash 1017 | 68.2 | 77.0 | 35.4 |
| GLM 5.3 Flash | 56.3 | 63.4 | 26.3 |
数字本身很有信息量:Naive-N0.5 在“按自然语言需求生成完整代码仓库”这一项上领先另外两款模型,但在软件工程综合任务与 Agent 综合评测两项上,DeepSeek V4.1 Flash 1017 的成绩更高。三个数字来自不同团队的自评报告,评测口径并不完全一致,只宜作横向参考,不宜直接当成采购结论(来源:Latent Space 2026-11-10 测评文章)。另外,测评发布时,NaiveAI 的模型尚未进入 Artificial Analysis 的成绩库。
速度:峰值很亮眼,条件也很苛刻
测评方给每个模型出了 30 道题:10 道简单题(MATH-500)、10 道中等题(GPQA-Diamond)、10 道难题(HLE-Diamond),最大输出限制 256K tokens,记录响应速度、输出长度与端到端耗时。
| 指标 | Naive-N0.5-Flash(思考模式) | DeepSeek V4.1 Flash 1017(high) | GLM 5.3 Flash(high) |
|---|---|---|---|
| 端到端响应时间中位数 | 3.1 秒 | 10.1 秒 | 5.3 秒 |
| 端到端响应时间均值 | 45.3 秒 | 45.0 秒 | 86.9 秒 |
| 难题任务平均耗时 | 89.8 秒 | 79.7 秒 | — |
| 解码速度(思考 / 作答阶段) | 约 984 / 1816 token/s | — | — |
| 单秒峰值吞吐 | 约 2100 token/s | — | — |
中位数看起来优势明显,但均值几乎与 DeepSeek 拉平;在难题任务上,Naive-N0.5 反而比 DeepSeek 慢。测评方给出的解释是:这类模型在困难问题上会展开更长的推理链。
至于被反复引用的 2100 token/s,测评方明确标注为“单秒峰值,属于上限而非典型速率”。其测试条件相当苛刻:单台 8 卡 Blackwell 节点、配合 FP8 草稿模型做投机解码,且针对单流解码延迟优化,而非批量吞吐;草稿模型的接受率在关闭思考时为 70.6%,开启思考后降到 43.4%。引擎侧,一轮完整的投机解码(草稿、校验、采样、提交)在 NaiveRT 上耗时 3.4 毫秒,对照 SGLang 的 12.3 毫秒,降幅约 72.4%。(来源:Latent Space 2026-11-10 测评文章)
测评方也做了必要的限定:三款模型的吞吐数字来源不同,Naive 取自服务端测量,另两款取自 OpenRouter,因此并未给出具体倍数结论;样本量小,且未对答案正确率评分。在应用生成环节,三款模型同题生成 3D 太阳系、3D 生长树与光线追踪网页,该模型在太阳系场景中细节更丰富(可见黑子与地球夜面城市灯光),生长树与 DeepSeek 接近,光线追踪场景下 DeepSeek 的渲染效率更高;关闭思考时,它在生长树任务上未能产出可用应用。(来源:Latent Space 2026-11-10 测评文章)
核心:响应更快,不等于账单更便宜
这才是本文最值得中小厂商留意的一段数据:在 HLE 难题上,Naive-N0.5-Flash 开启思考平均消耗约 108,500 个输出 tokens,大约是 GLM 5.3 Flash(high)的 9 倍、DeepSeek V4.1 Flash 1017(high)的 11 倍。30 道题的中位输出约 3,200 tokens,均值却超过 51,000——少数超长推理链把均值拉了上去。(来源:Latent Space 2026-11-10 测评文章)
换算成企业真正在付的账单,公式其实很简单:
单任务成本 ≈ 输出 tokens 单价 × 输出 tokens 数量(输入与缓存读取另行计算)
Naive-N0.5-Flash 公布的目标价为:0.10 美元/百万输入 tokens、0.40 美元/百万输出 tokens、0.01 美元/百万缓存读取 tokens。(来源:Latent Space 2026-11-10 测评文章)按 2026 年 11 月 14 日 1 美元兑 6.68 元人民币的市场参考汇率折算,约合输入 0.67 元/百万 tokens、输出 2.67 元/百万 tokens、缓存读取 0.067 元/百万 tokens(汇率为当日参考价,实际以服务商结算为准)。
把它放进本站《2026年10月国产大模型API最新报价》的口径里(各平台标准商用价、输入与输出分列):DeepSeek V4.1 为输入 0.5 元、输出 1.5 元/百万 tokens;豆包 Doubao-Pro 为 3 元、9 元;智谱 GLM-4-Plus 为 5 元、15 元;混元-pro 为 6 元、18 元;通义千问 Qwen-Max 为 8 元、24 元。
结论很清楚:Naive-N0.5 的目标价落在豆包与智谱之间,输入侧高于 DeepSeek V4.1,输出侧约为 DeepSeek 的 1.8 倍。它的卖点并不是单价便宜,而是速度与编码场景的匹配度。
口径说明:Naive-N0.5 是 2026 年 11 月的新模型,上述为厂商公布的目标价,与平台实际上架价格可能存在差异;上表为 2026 年 10 月的报价批次,两者不是同一批次口径,不能相减得出降幅结论。
还有一个容易被忽略的变量:缓存读取 0.067 元/百万 tokens。在长上下文、多轮 Agent 场景里,缓存命中率对月度账单的影响,往往比单次生成速度更直接。这一点可以对照站内《大模型 API 计费方式怎么谈》里的合同条款一起看。
长沙企业可以怎么做:四步自测清单
一、先确认渠道,再谈指标。
这款国产模型当时尚未进入 Artificial Analysis 成绩库,国内主流云平台是否已上架、是否面向企业开放、是否有服务等级协议与本地技术支持,都需要逐一问清楚。没有稳定渠道,性能数字再亮眼也进不了选型表。
二、用自家 20 到 30 条真实样本做小样本测试,不要用跑分替代。
从真实工单、报价单、合同条款里抽 20 到 30 条,固定输出结构,记录四项数据:输出 token 数(多数平台会返回 usage 字段)、端到端耗时、一次通过率、人工返修耗时。把返修耗时按人力成本折算进来,才得到真实的单任务成本。这套验收口径可以参考站内《2026年AI Agent企业落地调研数据》里关于“部署了但没跑通生产”的差距分析。
三、按场景分流,而不是全局换模型。
- 高频、低复杂度、输出短(客服 FAQ、分类打标、摘要)→ 成熟国产模型加缓存,账单更可控;
- 多轮、长上下文、调用频繁 → 优先看缓存命中与并发吞吐,而不是单次峰值;
- 代码生成、复杂重构、需要长推理链 → 这才是高速模型的主战场,也正是这类高速路线的主战场。
四、评估私有化部署还是继续走 API。
开放权重意味着可以自建,但公开测速环境是单台 8 卡 Blackwell 节点加自研推理引擎,硬件与调优门槛明显高于普通中小企业的预算区间。数据不出域要求高的场景(客户合同、报价、图纸等),可优先评估本地或专有云方案,成本对照可看站内《2026国产大模型本地化部署成本分析》。若企业对外提供生成式服务,仍需遵守备案与合规要求,相关流程可参考站内《新技术新应用备案系统上线》。
一张选型对照表
| 业务场景 | 建议路径 | 主要依据 |
|---|---|---|
| 客服问答、工单分类、短摘要 | 成熟国产模型 + 缓存优先 | 输出短,token 消耗小,单价与吞吐更关键 |
| 多轮 Agent、跨系统取数 | 关注缓存命中与并发吞吐 | 长上下文重复发送,缓存读取价差被放大 |
| 代码生成、复杂重构 | 可试这类高速开放权重模型 | 编码任务跑分接近头部,速度优势明显 |
| 合同、图纸等敏感数据 | 本地或专有云部署优先 | 开放权重可自建,需核算硬件与调优投入 |
结语
这次测评值得关注的,不是“国产模型又赢了一次”,而是它把一个被长期忽略的变量摆到了台面上:在按 Token 计费的商业世界里,速度与成本是两件事。速度影响的是用户体验和任务周期,token 消耗与单价决定的是月度账单。这款国产模型在速度维度给出了亮眼的数字,同时在难题上给出了明显更高的 token 消耗——这恰好说明,别再只拿单价表做选型决策。
对长沙企业来说,成本可控的路径不是追新模型,而是用两周时间、20 到 30 条自己的业务数据,把“输出 token 数 × 单价 + 人工返修耗时”这张表算出来。这张表算完,模型选谁自然清楚。
免责声明:本文基于行业通用场景分析与公开测评信息撰写,所述效果为典型应用中的可能表现,具体结果因行业、业务规模及实施条件而异,不构成对预期效果的承诺。文中引用的第三方测评数据均标注来源,测评样本量有限,结论仅供参考。
