猫眼电影记者 仁里-谐里 报道首次登录送91元红包

机器之心发布

机器之心编辑部

今年，文本生成领域迎来了从自回归（Auto-Regressive）向扩散语言模型（Diffusion LM）的重要范式转变。然而，长序列训练的不稳定性一直是制约扩散模型发展的核心痛点。上下文窗口限制使得模型在处理复杂的数学推理、编程任务，尤其是需要深度推理的「慢思考」场景时，显得捉襟见肘。

华为近日正式发布 openPangu-R-7B-Diffusion，基于openPangu-Embedded-7B 进行少量数据（800B tokens）续训练，成功将扩散语言模型的上下文长度扩展至 32K

在「慢思考」能力的加持下，该模型在多个权威基准中创下了 7B 参数量级的全新 SOTA 纪录：

多学科知识（MMLU-Pro）：超越 16B 参数量的 LLaDA 2.0-mini-preview22%数学推理（MATH）：得分，大幅领先同类模型。代码生成（MBPP）：得分，展现出卓越的逻辑泛化能力。

Base模型链接：https://ai.gitcode.com/ascend-tribe/openPangu-7B-Diffusion-Base慢思考模型链接：https://ai.gitcode.com/ascend-tribe/openPangu-R-7B-Diffusion

接下来，我们将深入解析这款模型背后的技术革新。

1. 架构创新：

前文因果注意力掩码，自回归到 BlockDiffusion 的无缝迁移

openPangu-R-7B-Diffusion 在注意力机制上并未沿用传统扩散模型（如 LLaDA）的全注意力（Full Attention），也未采用 SDAR 或 Fast-dLLMv2 的分块掩码（Block Attention），而是创新性地融合了自回归的前文因果注意力掩码（Causal Attention Mask）。

这一设计从根本上解决了架构适配难题：

消除适配壁垒：以往将自回归模型适配至扩散模型，往往需要 Attention Mask Annealing 或 Shift Operation 等复杂操作来弥合差异。而 openPangu-R-7B-Diffusion 通过保留前文的因果注意力特性，使得模型仅需从「预测 Next Token」转变为「预测 Next Block 中的 Mask Token」，极大地降低了适配成本。兼容性最大化：该设计让模型能够自然继承自回归模型的预训练知识，为长窗口训练打下坚实基础。

2. 训练与推理：双模式解码与效率倍增

在训练策略上，openPangu-R-7B-Diffusion 延续了 BlockDiffusion 的思路（拼接带掩码的 Block 与无掩码的 Context），但进行了关键优化：

Context 利用率 100%：传统方法往往忽略无掩码 Context 部分的 Loss 计算，导致一半的数据被浪费。openPangu-R-7B-Diffusion 则将这部分数据用于标准的自回归 Next Token Prediction 训练。双模式解码：这种训练方式赋予了模型「自回归 + 扩散」的双重解码能力。用户可以通过不同的采样设置，灵活权衡生成质量与速度。极致性能：模型完整保留了变长推理与 KV-Cache 特性。在并行解码模式下，其速度最高可达自回归解码的2.5 倍

可视化实测：亲眼见证「慢思考」与扩散生成的融合

为了更直观地展示 openPangu-R-7B-Diffusion 的工作机制，我们对模型的推理过程进行了可视化处理。

在输入一道经典的数学逻辑推理题（Claire 的煎蛋问题）后，我们可以清晰地观察到扩散语言模型的独特生成方式：模型并非像传统自回归模型那样「逐词蹦出」，而是在 4 个生成步数（Generation Steps）内，并行地将多个 [MASK] 噪声逐步去噪还原为

、Claire、makes 等清晰的语义 Token。

图中首位的Token 尤为关键，它标志着模型正在启动我们前文提到的 「慢思考」模式。这种结合了扩散并行生成与深度思维链（Chain-of-Thought）的能力，正是 openPangu-R-7B-Diffusion 能够在数学和编程基准上大幅超越同类模型的核心原因。

结语：开启扩散语言模型的新篇章

openPangu-R-7B-Diffusion 的发布，不仅仅是一个新模型的开源，更是对「扩散模型能否处理复杂长文本」这一难题的有力回应。凭借其创新的因果注意力掩码架构，它成功证明了扩散模型不仅可以「快」（并行解码），更可以「深」（32K 长文与慢思考）。

值得一提的是，openPangu-R-7B-Diffusion 的训练、推理及评测全流程均在昇腾 NPU集群上完成，有力证明了国产算力在以前沿扩散语言模型领域的强劲实力。

  时事1：im电竞下载地址

  12月23日,湖南开展药品安全突发事件二级应急演练,其上任后，与董事长房文斌共同推动国任保险深化改革，带领该公司向市场化、数字化、集团化方向发展。此后，国任保险保费规模持续扩张，并保持连年盈利。,手心捕鱼官方版下载。

  12月23日,泰国总理称将继续采取军事行动,5月4日的外交部例行记者会上，有记者提问北约计划在日本设立联络处一事。外交部发言人毛宁表示，亚洲是和平稳定的高地、合作开发的热土，不应成为地缘争夺的角斗场。北约持续东进亚太、干预地区事务，势必破坏地区和平稳定，促推阵营对抗，应引起地区国家高度警惕。,澳门皇冠视频在哪里,大赢家即时比分即,国际象棋真人游戏下载手机版。

  时事2：尊龙凯时ag旗舰厅官网

  12月23日,“冰雪经济”为冬季消费注入强劲动能 “冰雪+”多样化体验激活新引擎,该行表示，折扣持续的线上渠道可能第三季增长超过线下零售渠道，导致渠道组合的折扣力度更大。尽管如此，改行认为负面影响正在减弱，因为线下零售折扣同比变化幅度有所缩小。该行预计，2026财年下半年，费用控制措施将持续缓解毛利率压力。目前预计，2026财年下半年度收入将下降10.8%，净利将增12%至4.59亿元人民币，这意味着2026财年净利润将同比减3%。,世界杯在哪里买球直邮,99真人,游戏网址手机版。

  12月23日,河南将迎大范围雨雪强降温天气,此前杭州、潍坊、昆明、青岛、深圳、成都、湖州等地均已出台规定，将出租车业从业年限上调至65周岁。,云顶娱乐登陆,365必发,千亿国际pt客户端官网。

  时事3：大富豪网站多少

  12月23日,好评中国｜激活消费“主引擎”，为高质量发展提供坚实支撑,双方呼吁有关国家及组织停止采取对抗性政策和干涉他国内政，破坏现有安全架构，在国家间构筑“小院高墙”，挑动地区紧张局势，鼓吹阵营对抗。,乐虎国际外围官网,球探体育比分app安卓,伟德2022世界杯。

  12月23日,应对今冬首场强降雪 山西电力“立体巡检+科技融冰”力保电网安全,值得注意的是，所有责任人均提出“非会计专业人士”“信赖会计师事务所”等理由试图免责，但证监会明确指出：高管勤勉尽责义务不因专业背景而豁免，签字即担责。,ManBetX手机版m6,188宝金博真人百家乐,线上真人。

  时事4：千亿体育网址

  12月23日,今年前11个月洋山港各码头完成集装箱吞吐量同比上升9.7%,例如，2009年10月和11月，国际货币基金组织（IMF）向三个中央银行分别出售了共212吨黄金。,age官网官方入口,世界杯买球计划,世界杯下注官网。

  12月23日,菏泽鲁西新区：“土台子”唱活移风易俗,英媒称，俄罗斯总统普京周二要求FSB加强行动，打击乌克兰和西方国家日益增多的间谍活动和破坏活动。同日，俄罗斯国防部宣布在该国西部进行了一次战斗机训练演习。,打鱼现金可上下分,看世界杯最好的网站,美高梅手机app下载。