这项由英伟达（NVIDIA）领导，联合佐治亚理工学院、香港大学、芝加哥大学和麻省理工学院研究人员共同完成的研究，以预印本形式于2026年7月7日发布在arXiv平台，论文编号为arXiv:2607.05722v1。感兴趣的读者可以通过该编号查询完整论文。
**当AI说话要一个字一个字蹦出来**
你有没有注意到，当你跟AI聊天时，屏幕上的字是一个一个"打"出来的，就像有人在实时敲键盘？这种现象背后隐藏着一个深层的技术瓶颈：现有的主流大语言模型，也就是支撑ChatGPT、Qwen等助手的核心技术，在生成文字时只能严格地"一个字一个字地往下生成"，每生成一个字，都必须等上一个字完全确定下来才能开始下一个。这种方式就像一个打字员，必须先把第一个字完整地打出来，才能去想第二个字。
这种逐字生成的方式在用户量少的时候还好，但当服务器同时面对成千上万个用户的时候，GPU（图形处理器，可以理解为AI的"计算大脑"）就会严重"闲置"——它明明有能力同时处理很多任务，却被迫排队等待，浪费了大量的算力资源。
为了解决这个问题，研究人员这些年一直在探索一种叫做"扩散模型"（Diffusion Model）的新方法。这种方法的思路是：与其一字一字地生成，不如先扔出一堆"噪音占位符"，然后一次性把它们都变成有意义的文字——一次可以生成好几十个字。这就好比一个雕塑家，不是一笔一笔地画素描，而是先捏出一个大致的泥人形状，再一次性精雕细琢所有的细节。
然而现实很骨感。现有的扩散模型在生成质量上一直不如传统的"逐字生成"模型——它们就像一个雕塑家，速度快了，但雕出来的作品没那么精致。更棘手的是，即便与另一种加速方法"多令牌预测（MTP）"相比，现有的扩散模型在实际运行效率上也没有表现出明显优势。
就在这个关键节点，英伟达的研究团队推出了 **Nemotron-Labs-Diffusion**，一个将"逐字生成"、"扩散生成"和一种全新的"自猜自验"模式融为一体的三模式语言模型。这个模型试图回答三个业界一直争论不休的核心问题：逐字模型和扩散模型究竟是竞争关系还是互补关系？扩散模型能否在加速上超越MTP方法？扩散模型的长期潜力到底有多大？
一、同一个大脑，三种思维方式
要理解Nemotron-Labs-Diffusion的核心设计，不妨把它比作一位多才多艺的翻译官。这位翻译官拥有三种工作模式：第一种是"正常翻译模式"，就像普通翻译一样，一个词一个词地翻译，速度中规中矩，但质量有保障；第二种是"批量翻译模式"，把整段话先打上草稿，再一次性修改完善，速度很快；第三种是"草稿审核模式"，先用批量方式打一份草稿，再用精细的逐词方式审核，速度和质量双兼顾。这三种模式都由同一个人（同一个模型）来完成，不需要请三个不同的翻译官。
**第一种模式：经典的"逐字生成"**
这就是传统大语言模型的工作方式。模型从左到右，一个字接一个字地生成，每生成一个字，都要结合之前所有已经生成的内容来决定下一个字是什么。这种方式的优势是生成质量高、逻辑连贯，因为每一步都在充分利用前面的所有信息。在用户量大、服务器同时服务很多人的高并发场景下，这种模式依然是最稳定的选择。
**第二种模式：并行的"扩散生成"**
扩散生成模式借鉴了图像生成领域的技术逻辑。具体来说，这个模型采用了一种叫做"分块扩散"的方式——把要生成的文字分成若干个"块"，每次处理一个块。在处理当前块时，模型会同时预测这个块里所有位置的文字，而不是一个一个来。这就好比你在拼一幅拼图，不是一块一块地找，而是先把某一个区域的所有碎片一次性归位。
在生成过程中，模型从一堆"占位符"（用特殊的遮罩标记代替）开始，逐步把这些占位符替换成真实的文字。每一轮替换，模型会根据自信程度优先确定最有把握的位置，不断迭代，直到整个块完全生成完毕。生成完一个块后，已经确定的内容会被保存下来，用于辅助生成下一个块。
为了让扩散模式更高效，研究团队还专门训练了一个轻量级的"采样器"——一个只有480万参数的小型神经网络（相比于主模型的80亿参数，这只是约0.06%的额外开销）。这个采样器的工作是预测"当前这个位置的推测结果是否正确"，就像一个质检员，帮助模型更聪明地决定哪些位置的结果可以直接采纳，哪些需要再想想。实验证明，加了这个采样器之后，在相同准确率下，模型能多生成30%的字（即1.3倍的生成效率），或者在相同效率下，准确率提升10.6个百分点。
**第三种模式：聪明的"自猜自验"**
这是这篇论文最有创意的贡献之一。"自猜自验"（Self-Speculation）的思路是：先让模型用扩散方式"猜"出一批候选文字，然后再让同一个模型用逐字方式"验"这些候选文字对不对。
具体流程是这样的：以已经确定的文字为基础，在后面加上若干个占位符，让扩散模式一次性预测出所有占位符的值，得到一批"草稿文字"。然后，用逐字模式从左到右重新过一遍这批草稿文字，在每个位置预测"如果按逐字方式生成，这里应该是什么字"。如果逐字模式的预测结果和草稿一致，这个字就被"接受"；一旦出现不一致，就从那个位置开始停止接受，同时把逐字模式在第一个不一致位置的预测结果作为一个新的"正确字"纳入结果。这样一来，每轮操作至少确认1个字，最多确认"草稿长度+1"个字。
为了让草稿的质量更好（从而让更多草稿字被接受），研究团队还用了一种叫做LoRA（低秩适配，一种轻量级微调技术，只需训练极少参数就能改善模型特定行为）的技术，专门针对扩散生成路径做了额外训练，让草稿的分布更贴近逐字验证的结果。加了这个改进之后，在三个不同规模的模型（30亿、80亿、140亿参数）上，每轮生成的有效字数分别提升了14.4%、32.5%和27.6%。
除了这种"线性自猜自验"（先猜后验、两次前向传播），研究团队还设计了"二次自猜自验"（Quadratic Self-Speculation），能在一次前向传播中同时完成猜测和验证，进一步减少计算开销。不过由于目前底层算子支持还不够优化，实际运行效率略逊于线性版本，因此默认使用线性版本。
二、让两种"学习方式"相互促进，而非互相拆台
理解Nemotron-Labs-Diffusion的训练方式，可以用这样一个比喻：培养一个既能写诗又能做数学的全才学生。传统做法是让他专注于一门——要么只学文，要么只学理。这个研究团队的做法是：同时教他两种技能，而且发现这两种技能不但不会互相干扰，反而会相互促进。
**联合训练的数学逻辑**
在技术层面，模型在训练时同时接受两种"作业"：一种是传统的"预测下一个字"作业（AR损失），另一种是"从被遮住的文字中恢复原文"作业（扩散损失）。最终的优化目标是两个损失的加权组合：总损失 = AR损失 + 0.3 × 扩散损失。
这里的系数0.3是经过仔细调参得出的。研究团队在训练中发现，扩散损失的数值通常比AR损失大很多，如果简单地把两者等权叠加，扩散损失会"压制"AR损失，导致模型逐字生成能力下降。将系数设定为0.3，让两个损失的量级大致对齐，能同时让两种能力都达到最优。更有趣的是，在0.1到0.5的系数范围内，无论提高还是降低系数，两种能力都会同步下降——它们在0.3这个点上共同达到了最优，说明两个目标并不是此消彼长的竞争关系，而是真正的互补关系。
**巧妙的注意力机制设计**
在训练时，模型的输入是同一段文字的两个版本：一个是"干净版"（原文），一个是"加了噪声的版本"（部分文字被遮掩）。模型的注意力机制需要在这两个版本之间建立联系，而注意力的连接方式有严格规定：加噪声的文字块内部可以双向互相"看"（因为扩散模式需要同时预测整个块）；加噪声的文字可以"看"干净版中它前面的内容（作为上下文）；干净版内部则只能从左往右单向"看"（严格因果关系，用于计算AR损失，避免未来信息泄露）。这个精心设计的注意力模式，让一次前向传播就能同时计算两种损失，大大提升了训练效率。
**两阶段训练策略**
为了让模型能更好地学会两种技能，研究团队采用了两阶段训练。第一阶段完全用逐字方式训练，在海量数据上打好"语言理解"的基础，形成强大的从左到右的语言先验知识。第二阶段才开启联合训练，在第一阶段的基础上引入扩散损失。消融实验（控制变量的对比实验）清楚地展示了这个策略的价值：仅靠两阶段训练这一个改进，模型的扩散生成准确率就提升了5.74个百分点，是所有单项改进中贡献第二大的。
研究团队还发现了一个值得关注的细节：在训练扩散目标时，由于每个样本被遮掩的字数是随机的，不同样本对训练损失的"贡献权重"天然不均等。如果简单地对每个样本取平均，那些被遮掩字数很少但每个字损失很高的样本会对训练产生不成比例的影响，造成训练不稳定。研究团队的解决方案是"全局损失平均"：不按样本平均，而是把批次中所有字的损失放在一起平均，让每个字的权重相等。这个看似简单的调整，使模型准确率提升了2.12个百分点。
三、扩散模式的理论上限到底有多高
在验证了模型的实际性能之后，研究团队做了一件非常有价值的事：他们计算了扩散生成模式的"理论速度上限"（Speed-of-Light，SOL），也就是说，如果有一个完美的采样策略，扩散生成最多能有多快？
**如何找到理论上限**
要计算这个上限，首先需要定义什么是"正确答案"。研究团队的做法是：用一种"串行去噪"过程，每次只确定一个最有把握的位置，从头到尾运行整个块，得到的最终结果就是"基准答案"。这个过程需要N次前向传播（N等于块的长度），但它代表了模型在没有任何并行压力下能够收敛到的最佳输出。
有了基准答案，就可以问：如果用一个理想的并行策略，需要多少次前向传播才能得到同样的结果？研究团队设计了一种叫做"递归动态压缩"的方法来近似回答这个问题：每次前向传播后，找出预测结果与基准答案一致的所有位置，然后用一种聪明的搜索策略找到最大的"安全子集"——即一次性确认这些位置不会影响其余位置的最终预测结果——并把它们全部确认。通过这种方式，每次前向传播可以确认多个位置，大大减少所需的总轮数。
**令人振奋的数字**
在对713个来自不同领域的真实问题进行测试后，结果相当惊人。当块大小设为32时，平均每次前向传播可以正确确认7.60个位置，也就是每次"并行处理"能替代串行方式的7.60步。在代码生成和多语言内容上，这个数字甚至超过了10倍。这说明扩散模式本身具有很强的内在并行性——很多位置的内容其实并不相互依赖，完全可以同时确定。
相比之下，目前实际采用的基于置信度的采样策略（选当前最有把握的位置来确认）只能达到约3倍的每次前向传播确认字数，与理论上限的7.60倍相差甚远。这意味着当前的采样方法只开发出了扩散并行潜力的约40%，还有巨大的改进空间等待探索。
**与"自猜自验"的对比**
把扩散模式的SOL和线性自猜自验做对比，结果更加耐人寻味。在"接受率"（每个接受步骤确认多少字）这个指标上，SOL达到7.60，线性自猜自验达到6.82，差距只有约10%——说明用AR验证来筛选扩散草稿，是一种接近理论上限的有效方法。
但在"真实每次前向传播确认字数"这个更实际的指标上，差距就大了：SOL达到6.02，线性自猜自验只有3.41，差距高达76.5%。这个差距来自两个原因：首先，线性自猜自验每个接受周期需要两次前向传播（一次扩散、一次AR验证），而SOL每次前向传播就能直接确认多个位置；其次，线性自猜自验只能接受从头开始连续一致的前缀，一旦中间某个位置不一致就必须停止，抛弃后面即使正确的位置。这两个局限性合在一起，造成了实际效率与理论上限之间的76.5%差距，也指明了未来改进扩散采样器的方向。
四、完整的模型家族与实战表现
基于上述训练框架和推理算法，英伟达研究团队交付了一个完整的模型家族，覆盖30亿、80亿、140亿三个参数规模，每个规模都提供基础版（Base）、指令微调版（Instruct）以及视觉语言版（VLM）三种变体。
**与顶尖对手的正面比拼**
在指令模型评测中，研究团队把Nemotron-Labs-Diffusion-8B与当前最强的开源逐字模型（Qwen3-8B、Qwen2.5-7B、Ministral3-8B）以及最强的开源扩散模型（LLaDA-8B、Dream-7B、SDAR-8B）进行了全面对比，涵盖科学问答（GPQA）、指令遵循（IFEval）、知识评测（MMLU）、代码生成（HumanEval、MBPP、LiveCodeBench-CPP）以及数学推理（Math500、GSM8K、AIME24、AIME25）共10个基准测试。
结果显示，在逐字模式下，Nemotron-Labs-Diffusion-8B的平均准确率为63.61%，比Qwen3-8B高出0.86个百分点，同时超越了所有其他对比模型。这说明联合训练不但没有损害逐字生成能力，反而略有提升。
在扩散模式下，模型以2.57倍的每次前向传播生成字数实现了63.18%的平均准确率——依然比Qwen3-8B的62.75%高出0.43个百分点，同时比最强的扩散对手SDAR-8B高出整整9.09个百分点。
采用LoRA增强的线性自猜自验模式，模型在保持62.81%平均准确率的同时，将每次前向传播生成字数提升到了5.99倍，是Qwen3-8B的近6倍并行效率。
**规模化的一致性**
把评测范围扩展到30亿和140亿参数，结论非常一致。在30亿规模上，模型在线性自猜自验模式下以4.36倍每次前向传播生成字数超越Qwen3-4B 1.77个百分点。在140亿规模上，以5.96倍每次前向传播生成字数超越Qwen3-14B 1.19个百分点。更有趣的规律是：模型规模越大，并行潜力越强——线性自猜自验的每次前向传播生成字数从30亿参数的4.36倍增长到140亿参数的5.96倍。研究团队认为这是因为更大的模型具有更强的"预见未来"的能力，草稿的质量更高，从而让更多草稿字能通过AR验证。
**基础模型同样优秀**
在基础模型（未经指令微调）评测中，与扩散领域的标杆LLaDA-8B和Dream-7B相比，Nemotron-Labs-Diffusion-8B在扩散模式下的平均准确率分别高出17.21%和6.83%。逐字模式也以71.89%的平均准确率超越了Qwen3-8B（71.58%）和Ministral3-8B（66.75%）。
**延伸到视觉理解**
为了证明这个框架的通用性，研究团队还把Nemotron-Labs-Diffusion扩展到了图文理解任务。具体做法是：在80亿参数的指令模型基础上，接入一个视觉编码器和一个两层的多模态投影器（负责把图像特征翻译成语言模型能理解的格式），然后在多模态指令数据上继续联合训练。
一个工程上的小创新值得一提：原本的双流注意力设计（训练时同时处理加噪声和干净两个版本的输入）如果把图像词元也包含在加噪声版本中，会浪费大量计算资源，因为图像词元永远不会被遮掩。研究团队的解决方案是"非对称双流"设计：在加噪声版本中只保留文字部分，去掉图像词元，而在干净版本中保留完整的图文内容。这样做既不损失视觉上下文，又显著减少了计算量。
在视觉语言基准测试（AI2D图表理解、ChartQA图表问答、DocVQA文档理解、MMMU多学科理解、MathVista数学视觉推理等）上，Nemotron-Labs-Diffusion-VLM-8B在逐字模式下比最强的扩散视觉语言对手LLaDA-V-8B高出1.3个百分点；在线性自猜自验模式下，对于超过200字的长回答，每次前向传播生成字数达到7.45倍，且准确率几乎不降。
五、在真实硬件上的实际速度表现
数字游戏终究要落地。研究团队在三种不同定位的英伟达GPU上进行了实际吞吐量测试，并与当前业界最流行的加速方案Qwen3-8B-Eagle3（Eagle3是一种基于额外小型"草稿头"的多令牌预测方法）进行了对比。
在最高端的GB200 GPU上，使用SGLang推理框架在单用户（批次大小为1）的场景下，Nemotron-Labs-Diffusion-8B的线性自猜自验模式以851 token/秒的速度运行，是同模型逐字模式（256 token/秒）的3.32倍，是Qwen3-8B-Eagle3（354 token/秒）的2.4倍。使用专门优化过的计算核心，线性自猜自验甚至能达到1015 token/秒，折合3.97倍加速。研究团队还估算了该平台上的SOL理论上限吞吐量为1471 token/秒，意味着仍有约45%的提升空间有待挖掘。
在面向创意专业人士的RTX Pro 6000上，线性自猜自验在FP8精度下达到277 token/秒（逐字模式为80 token/秒，加速3.46倍），Eagle3为137 token/秒。若采用INT4量化，线性自猜自验甚至能跑到525 token/秒（加速6.56倍），远超Eagle3的211 token/秒。
在针对边缘计算的DGX Spark上，线性自猜自验在FP8精度下达到77.5 token/秒（逐字模式24.7 token/秒，加速3.14倍），Eagle3为43.2 token/秒。
在多用户并发场景（同时服务多人）下，随着并发量提高，逐字模式逐渐追上甚至超越自猜自验模式——这符合预期，因为高并发时GPU已经跑满，不再有资源来利用多令牌并行。Nemotron-Labs-Diffusion的价值在于：它在低并发场景下的加速效果显著优于Eagle3，在高并发场景下又能无缝切换为逐字模式，成为一个真正的"全场景通用"方案。
从对各类任务的接受长度（每次接受周期确认的有效字数）来看，Nemotron-Labs-Diffusion-8B在不加LoRA和加LoRA两种配置下，平均接受长度分别为5.46和6.82，对比Eagle3的2.75和多令牌预测的4.24，在所有11个测试类别中均大幅领先。在模型最擅长的代码、数学、推理和多语言四个类别中，差距进一步扩大到6.75和8.69（Nemotron-Labs-Diffusion）对比2.81（Eagle3）。
说到底，Nemotron-Labs-Diffusion做了一件看起来简单但背后逻辑深刻的事：它证明了"逐字生成"和"并行扩散"这两种AI生成方式并不是非此即彼的选择，而是可以在同一个模型里共存、互补，各自在最擅长的场合发挥作用。
对于普通用户来说，这意味着未来使用AI助手时，不管是独自深夜提问还是在公司服务器上与数百人同时使用，AI都有望给出更快、更流畅的回应。对于开发者来说，这意味着一个模型可以覆盖以往需要多个模型才能兼顾的部署场景，大幅降低维护成本。
研究团队也坦诚地指出了这项工作的局限和未来方向：当前扩散模式的实际效率与理论上限之间还有76.5%的差距，如何设计更聪明的采样策略来逼近这个上限，是摆在所有研究者面前的重要挑战。此外，如何让AR验证突破"只能接受连续前缀"的限制、接受非连续位置的正确草稿，以及如何在段落级别实现更高维度的并行生成，也是非常值得探索的方向。
如果你对这项研究的技术细节感兴趣，可以通过arXiv编号 **arXiv:2607.05722v1** 查阅完整论文；模型权重也已开源，可在Hugging Face平台搜索"Nemotron-Labs-Diffusion"找到完整的模型家族。
Q&A
Q1：Nemotron-Labs-Diffusion的三种模式分别适合什么场景？
A：逐字模式适合服务器同时面对大量用户的高并发场景，保证稳定质量；扩散模式通过一次性并行生成多个字来提高速度，适合对时延敏感的中等并发场景，可以灵活调整准确率和速度的平衡；自猜自验模式则专为单用户或低并发场景设计，用扩散方式打草稿、用逐字方式验证，在响应速度上实现最高加速，在GB200 GPU上单用户吞吐量是纯逐字模式的3到4倍。
Q2：自猜自验比Eagle3快多少，为什么能更快？
A：在英伟达GB200 GPU上单用户场景，Nemotron-Labs-Diffusion的线性自猜自验比Qwen3-8B-Eagle3快约2.4倍，在RTX Pro 6000上快约2.3倍。原因主要有两点：一是扩散草稿的平均接受长度（约6.82字/轮）远高于Eagle3（约2.75字/轮），意味着每次验证能确认更多字；二是扩散草稿是并行生成的，不像Eagle3那样需要用小模型逐个递归预测，GPU利用率更高。
Q3：Nemotron-Labs-Diffusion联合训练会不会让逐字生成能力变差？
A：不会。研究团队的对比实验显示，在同等训练数据量下，加入扩散训练目标（权重系数0.3）之后，逐字生成的平均准确率反而略有提升——基础模型提升0.14个百分点，指令模型提升0.43个百分点。研究者认为这是因为扩散训练让模型学会了更好地"预见未来"，从而也增强了逐字预测时的规划能力。