猫眼电影记者 阿舍尔 报道首次登录送91元红包

机器之心发布

机器之心编辑部

今年，文本生成领域迎来了从自回归（Auto-Regressive）向扩散语言模型（Diffusion LM）的重要范式转变。然而，长序列训练的不稳定性一直是制约扩散模型发展的核心痛点。上下文窗口限制使得模型在处理复杂的数学推理、编程任务，尤其是需要深度推理的「慢思考」场景时，显得捉襟见肘。

华为近日正式发布 openPangu-R-7B-Diffusion，基于openPangu-Embedded-7B 进行少量数据（800B tokens）续训练，成功将扩散语言模型的上下文长度扩展至 32K

在「慢思考」能力的加持下，该模型在多个权威基准中创下了 7B 参数量级的全新 SOTA 纪录：

多学科知识（MMLU-Pro）：超越 16B 参数量的 LLaDA 2.0-mini-preview22%数学推理（MATH）：得分，大幅领先同类模型。代码生成（MBPP）：得分，展现出卓越的逻辑泛化能力。

Base模型链接：https://ai.gitcode.com/ascend-tribe/openPangu-7B-Diffusion-Base慢思考模型链接：https://ai.gitcode.com/ascend-tribe/openPangu-R-7B-Diffusion

接下来，我们将深入解析这款模型背后的技术革新。

1. 架构创新：

前文因果注意力掩码，自回归到 BlockDiffusion 的无缝迁移

openPangu-R-7B-Diffusion 在注意力机制上并未沿用传统扩散模型（如 LLaDA）的全注意力（Full Attention），也未采用 SDAR 或 Fast-dLLMv2 的分块掩码（Block Attention），而是创新性地融合了自回归的前文因果注意力掩码（Causal Attention Mask）。

这一设计从根本上解决了架构适配难题：

消除适配壁垒：以往将自回归模型适配至扩散模型，往往需要 Attention Mask Annealing 或 Shift Operation 等复杂操作来弥合差异。而 openPangu-R-7B-Diffusion 通过保留前文的因果注意力特性，使得模型仅需从「预测 Next Token」转变为「预测 Next Block 中的 Mask Token」，极大地降低了适配成本。兼容性最大化：该设计让模型能够自然继承自回归模型的预训练知识，为长窗口训练打下坚实基础。

2. 训练与推理：双模式解码与效率倍增

在训练策略上，openPangu-R-7B-Diffusion 延续了 BlockDiffusion 的思路（拼接带掩码的 Block 与无掩码的 Context），但进行了关键优化：

Context 利用率 100%：传统方法往往忽略无掩码 Context 部分的 Loss 计算，导致一半的数据被浪费。openPangu-R-7B-Diffusion 则将这部分数据用于标准的自回归 Next Token Prediction 训练。双模式解码：这种训练方式赋予了模型「自回归 + 扩散」的双重解码能力。用户可以通过不同的采样设置，灵活权衡生成质量与速度。极致性能：模型完整保留了变长推理与 KV-Cache 特性。在并行解码模式下，其速度最高可达自回归解码的2.5 倍

可视化实测：亲眼见证「慢思考」与扩散生成的融合

为了更直观地展示 openPangu-R-7B-Diffusion 的工作机制，我们对模型的推理过程进行了可视化处理。

在输入一道经典的数学逻辑推理题（Claire 的煎蛋问题）后，我们可以清晰地观察到扩散语言模型的独特生成方式：模型并非像传统自回归模型那样「逐词蹦出」，而是在 4 个生成步数（Generation Steps）内，并行地将多个 [MASK] 噪声逐步去噪还原为

、Claire、makes 等清晰的语义 Token。

图中首位的Token 尤为关键，它标志着模型正在启动我们前文提到的 「慢思考」模式。这种结合了扩散并行生成与深度思维链（Chain-of-Thought）的能力，正是 openPangu-R-7B-Diffusion 能够在数学和编程基准上大幅超越同类模型的核心原因。

结语：开启扩散语言模型的新篇章

openPangu-R-7B-Diffusion 的发布，不仅仅是一个新模型的开源，更是对「扩散模型能否处理复杂长文本」这一难题的有力回应。凭借其创新的因果注意力掩码架构，它成功证明了扩散模型不仅可以「快」（并行解码），更可以「深」（32K 长文与慢思考）。

值得一提的是，openPangu-R-7B-Diffusion 的训练、推理及评测全流程均在昇腾 NPU集群上完成，有力证明了国产算力在以前沿扩散语言模型领域的强劲实力。

  时事1：贝博体彩app

  12月28日,跨越|擦亮国家名片 中国高铁以自主创新勇闯技术“无人区”,这种伙伴式的开发体验也让知乎鸿蒙技术团队印象深刻。知乎鸿蒙技术负责人高攀回忆，知乎鸿蒙版App上架之初，评论列表出现了卡顿问题，内部排查进度相对缓慢。令他意外的是，鸿蒙突击队的技术人员获悉情况后，主动联系并且进行现场沟通和指导，最终很快就定位到了具体问题，对App进行了优化。这种“鸿蒙速度”才是真正意义上的“共创”。,澳门新永利公司。

  12月28日,瑙鲁发生数起中国公民店铺遭抢劫案件 中使馆发布安全提醒,除此之外，本田、日产、保时捷、沃尔沃、捷豹等一众曾公布宏大电动化规划的车企，均已叫停或大幅缩减相关目标。通用汽车也放弃了‘2035 年全系车型纯电化’的承诺，旗下多个品牌的电动化时间表也同步延后。,华体会体育最新登录,银河下注网址,黄冠现金。

  时事2：买体育的app

  12月28日,冬季风暴侵袭美东北部 航班大面积延误 部分区域断电,美团数据也显示，7月以来，“网球”搜索量同比去年增长超60%。网球体验课、网球培训季度课包在平台热销，美团上网球运动相关团购订单量同比激增172%。,宝博游戏官网是多少,澳门皇宫娱乐体育,鸿博体育app下载安装。

  12月28日,（机遇香港）“香港专业服务出海平台”启动 助力内地企业出海,数据显示，今年温州全市共116个项目入选省“千项万亿”工程重大项目，总投资4568亿元，年度投资计划541亿元。,AG棋牌电玩,澳门新银河手机娱乐,uc体育官方。

  时事3：老街锦利娱乐开户

  12月28日,中新网评：考试次数做“减法”，教育导向更清晰,北京时间10日，沙特伊朗在中国的斡旋下，宣布达成协议，重新恢复外交关系。对此，也门政治评论人士默罕默德·沙姆桑在接受总台记者采访时表示，沙特和伊朗在也门冲突中扮演了重要角色，两国关系的改善，也让深陷冲突的也门人民看到了希望。,外围网站365注册,优德体育手机客户端,玩转大轮盘。

  12月28日,“太空小鼠”返回地面后现状如何？科研团队称幼仔活力良好,泰国队虽然世界排名在百位开外，但能在小组赛客场逼平韩国队，足以证明球队的实力绝非鱼腩。国足在射门、角球等多项数据上都处于劣势，如果不是王大雷的扑救和门柱帮忙，泰国队有可能在客场就将中国队出线的希望击碎。,赌钱app手机,澳门威斯尼斯人网站App,凯发k8国际版备用网址。

  时事4：澳博体育竞彩官网

  12月28日,增强供需适配性 打开万亿级消费新蓝海,据亿纬锂能中央研究院院长赵瑞瑞介绍，开发钠电池的核心目的是与锂电池形成互补，而非替代锂电池，两类电池在性能上的差异化特征，能够适配不同应用场景的需求。例如，数据中心长期处于高温环境下运作，若意外断电，钠电的高功率特性可实现瞬间补能，保障数据中心持续运行、避免数据丢失等。,澳门永利皇宫注册,cq9电子试玩网站,澳门永利最老登录入口。

  12月28日,2025三湘民营企业百强榜发布 各项主要指标稳步提升,其三，大多数央行实际上采用混合策略，平衡便利性和安全性。例如，尽管中国绝大部分黄金储备放在国内，但也会因国际交易需要，在国际清算银行等机构托管少量黄金。,威尼斯人官网,申博网站是多少,沙巴虚拟篮球比分。