猫眼电影记者 陈峰 报道首次登录送91元红包

机器之心发布

机器之心编辑部

今年，文本生成领域迎来了从自回归（Auto-Regressive）向扩散语言模型（Diffusion LM）的重要范式转变。然而，长序列训练的不稳定性一直是制约扩散模型发展的核心痛点。上下文窗口限制使得模型在处理复杂的数学推理、编程任务，尤其是需要深度推理的「慢思考」场景时，显得捉襟见肘。

华为近日正式发布 openPangu-R-7B-Diffusion，基于openPangu-Embedded-7B 进行少量数据（800B tokens）续训练，成功将扩散语言模型的上下文长度扩展至 32K

在「慢思考」能力的加持下，该模型在多个权威基准中创下了 7B 参数量级的全新 SOTA 纪录：

多学科知识（MMLU-Pro）：超越 16B 参数量的 LLaDA 2.0-mini-preview22%数学推理（MATH）：得分，大幅领先同类模型。代码生成（MBPP）：得分，展现出卓越的逻辑泛化能力。

Base模型链接：https://ai.gitcode.com/ascend-tribe/openPangu-7B-Diffusion-Base慢思考模型链接：https://ai.gitcode.com/ascend-tribe/openPangu-R-7B-Diffusion

接下来，我们将深入解析这款模型背后的技术革新。

1. 架构创新：

前文因果注意力掩码，自回归到 BlockDiffusion 的无缝迁移

openPangu-R-7B-Diffusion 在注意力机制上并未沿用传统扩散模型（如 LLaDA）的全注意力（Full Attention），也未采用 SDAR 或 Fast-dLLMv2 的分块掩码（Block Attention），而是创新性地融合了自回归的前文因果注意力掩码（Causal Attention Mask）。

这一设计从根本上解决了架构适配难题：

消除适配壁垒：以往将自回归模型适配至扩散模型，往往需要 Attention Mask Annealing 或 Shift Operation 等复杂操作来弥合差异。而 openPangu-R-7B-Diffusion 通过保留前文的因果注意力特性，使得模型仅需从「预测 Next Token」转变为「预测 Next Block 中的 Mask Token」，极大地降低了适配成本。兼容性最大化：该设计让模型能够自然继承自回归模型的预训练知识，为长窗口训练打下坚实基础。

2. 训练与推理：双模式解码与效率倍增

在训练策略上，openPangu-R-7B-Diffusion 延续了 BlockDiffusion 的思路（拼接带掩码的 Block 与无掩码的 Context），但进行了关键优化：

Context 利用率 100%：传统方法往往忽略无掩码 Context 部分的 Loss 计算，导致一半的数据被浪费。openPangu-R-7B-Diffusion 则将这部分数据用于标准的自回归 Next Token Prediction 训练。双模式解码：这种训练方式赋予了模型「自回归 + 扩散」的双重解码能力。用户可以通过不同的采样设置，灵活权衡生成质量与速度。极致性能：模型完整保留了变长推理与 KV-Cache 特性。在并行解码模式下，其速度最高可达自回归解码的2.5 倍

可视化实测：亲眼见证「慢思考」与扩散生成的融合

为了更直观地展示 openPangu-R-7B-Diffusion 的工作机制，我们对模型的推理过程进行了可视化处理。

在输入一道经典的数学逻辑推理题（Claire 的煎蛋问题）后，我们可以清晰地观察到扩散语言模型的独特生成方式：模型并非像传统自回归模型那样「逐词蹦出」，而是在 4 个生成步数（Generation Steps）内，并行地将多个 [MASK] 噪声逐步去噪还原为

、Claire、makes 等清晰的语义 Token。

图中首位的Token 尤为关键，它标志着模型正在启动我们前文提到的 「慢思考」模式。这种结合了扩散并行生成与深度思维链（Chain-of-Thought）的能力，正是 openPangu-R-7B-Diffusion 能够在数学和编程基准上大幅超越同类模型的核心原因。

结语：开启扩散语言模型的新篇章

openPangu-R-7B-Diffusion 的发布，不仅仅是一个新模型的开源，更是对「扩散模型能否处理复杂长文本」这一难题的有力回应。凭借其创新的因果注意力掩码架构，它成功证明了扩散模型不仅可以「快」（并行解码），更可以「深」（32K 长文与慢思考）。

值得一提的是，openPangu-R-7B-Diffusion 的训练、推理及评测全流程均在昇腾 NPU集群上完成，有力证明了国产算力在以前沿扩散语言模型领域的强劲实力。

  时事1：888集团所有网站

  12月26日,浙江湖州“民建助你上大学”：一笔善款，改变一个命运,然而，一种能够非常接近轨道上其他物体并与它们进行物理互动的太空飞行器，本质上就有能力充当武器。长期以来，人们一直担心所谓的“卫星杀手”可能会对太空中的其他物体发动各种不同类型的攻击。,银河游戏真人。

  12月26日,CBA常规赛：广东主场胜山东 豪取六连胜,双方主张北极应继续成为和平、稳定、建设性对话和互利合作之地，不应给该地区造成军事政治紧张局势。,乐博在哪里玩,金宝搏下载app,赌世界杯网站。

  时事2：千亿体育官网登陆

  12月26日,超22万吨！我国氢能产业发展“加速跑” 多项技术指标位居全球首位,——欢迎在中国哈尔滨举办第八届中俄博览会，支持中俄各界代表参与在两国举办的重要论坛和展会。,澳博体育app官方,bet365官方网站是多少,凯发娱乐官网app下载。

  12月26日,“多彩中华·文化西藏”国际图片微巡展亮相约翰内斯堡,去年，民航局、国家发改委联合发文《关于推进国际航空枢纽建设的指导意见》，画出国际航空枢纽的蓝图，提出“3+7+N”国际航空枢纽功能体系。,环亚旗舰厅App,mgm入口登录,电竞外围平台官网。

  时事3：必威手机端登录下载

  12月26日,中外合作破解大麦种子休眠机制 青藏高原青稞拥有全球最强活性,截至目前，1名落水救援人员已被救起。另外1名救援人员和溺水者失踪，当地正在全力搜救。,华球直播,捕鱼大师ios官网,乐鱼体育登录网站。

  12月26日,包银高铁开通运营 京兰通道实现全线贯通,公告称，依据《中华人民共和国证券法》的有关规定，对李国杰短线交易中科曙光股票行为进行了立案调查、审理，并依法向当事人告知作出行政处罚的事实、理由、依据及当事人依法享有的权利，当事人未提出陈述、申辩意见，也未要求听证。本案现已调查、审理终结。,云顶集团网站,手机体球比分网,世界杯买球怎么买。

  时事4：贝博在线充值

  12月26日,天津强化企业创新主体地位 培育超250家“猎豹企业”,近年来，全国高考报名人数连年突破历史新高，有关扩大优质高等教育资源、降低高考社会性焦虑的呼声不断。,真人代替国际象棋视频,AG8国际登录,bob体肓综合下载。

  12月26日,第二届北京陶瓷艺术精品展启幕 展现当代陶瓷多元风貌,据《陕西日报》消息，中国共产党的优秀党员，忠诚的共产主义战士，十届全国政协常委、中共陕西省委原书记、政协陕西省第八届委员会主席安启元同志，因病医治无效，于2024年4月23日18时38分在西安逝世， 享年91岁。,宝马会平台网址,买体育的app,188bet足球app。