猫眼电影记者 蒋妍 报道首次登录送91元红包

大模型最广泛的应用如 ChatGPT、Deepseek、千问、豆包、Gemini 等通常会连接互联网进行检索增强生成（RAG）来产生用户问题的答案。随着多模态大模型（MLLMs）的崛起，大模型的主流技术之一 RAG 迅速向多模态发展，形成多模态检索增强生成（MM-RAG）这个新兴领域。ChatGPT、千问、豆包、Gemini 都开始允许用户提供文字、图片等多种模态的输入。

然而，目前对于 MM-RAG 的应用和研究都还处于非常初级的阶段，现有的 MM-RAG 研究以及综述论文主要聚焦于文本和图像等少数模态组合；音频、视频、代码、表格、知识图谱、3D 对象等多种模态的组合均可用于检索增强生成，却仅有很少的探索和研究。这使得研究者和开发者难以全面把握 MM-RAG 的技术脉络和广阔的应用空间。

来自华中科技大学、复旦大学、中国电信、美国伊利诺伊大学芝加哥分校的研究者们共同发布了一篇全面覆盖几乎所有模态作为输入和输出组合的MM-RAG综述来全面且系统化地阐述这个广阔的研究和应用空间。

论文标题：A Comprehensive Survey on Multimodal RAG: All Combinations of Modalities as Input and OutputTechRxiv: https://doi.org/10.36227/techrxiv.176341513.38473003/v2GitHub 项目主页: https://github.com/INTREBID/Awesome-MM-RAG

该论文的最大亮点在于其前所未有的广度：

它首次覆盖了几乎所有可能使用的模态组合作为输入和输出，包括文本、图像、音频、视频、代码、表格、知识图谱、3D 对象等。

通过这种全面的梳理，作者们首先揭示了 MM-RAG 领域中庞大的潜在输入 - 输出模态组合空间，并指出了其中尚未被充分探索的空白（如表 1 所示）。在作者提出的 54 种潜在组合中，目前只有 18 种组合存在已有研究（表 1 中绿色对勾的格子），许多极具应用价值的组合 —— 例如 “文本 + 视频作为输入，生成视频作为输出”—— 仍是一片亟待开拓的蓝海。

表 1：基于输入 - 输出模态组合的 MM-RAG 分类法

在此基础上，作者们构建了一个基于输入 - 输出模态组合的全新 MM-RAG 分类法，不仅系统性地组织了现有研究，还清晰展示了不同 MM-RAG 系统的核心技术组件（如表 2 所示），为后续研究提供了统一框架和方法参考。

表 2不同输入输出模态下多模态 RAG 的核心技术组件、任务和应用

四大关键阶段剖析 MM-RAG 工作流

基于这个新的分类法，该综述深入分析了MM-RAG系统的工作流程，并将其划分为四个关键阶段（如图 1 所示）：

图 1 MM-RAG 的工作流

a)预检索 (Pre-retrieval)： 数据组织和查询的准备工作。

b)检索 (Retrieval)： 高效准确地从海量多模态知识库中找到相关信息。

c)增强 (Augmentation)： 将检索到的多模态信息有效地融入到大模型中。

d)生成 (Generation)： 根据输入和增强信息生成高质量的多模态输出。

论文详细总结了每个阶段的常用方法，并讨论了对于不同模态针对性的优化策略，为构建高性能的MM-RAG系统提供了实用的技术指导。

一站式指南：

训练、评估与应用前瞻

除了技术流程，该综述还提供了构建 MM-RAG 系统的一站式指南：

训练策略： 讨论了 MM-RAG 系统的训练方法，以最大化其检索和生成能力。评估方法： 总结了现有的MM-RAG 评估指标和 Benchmark，帮助研究者评估系统性能。应用与未来： 探讨了 MM-RAG 在多个领域的潜在应用，并指出了未来的重要研究方向。

作为首个覆盖所有常见输入 - 输出模态组合、并系统化解析了 MM-RAG 的工作流、组件、训练、评估等核心技术的综述，该论文不仅为研究者提供了索引式的知识入口，也为产业应用提供了全面的技术参考。论文作者还提供了持续更新的资源库，方便读者追踪最新进展。

  时事1：新金沙官网

  12月26日,甘肃1600多年历史的马蹄寺石窟群“转危为安”,“我从来没有想过一杯啤酒给香港市场带来翻天覆地的变化，这也是港交所史上第一次用啤酒，而非香槟庆祝一家公司上市。如果没有H股，香港及内地经济在过去30年的发展历程必定截然不同。”港交所主席史美伦此前在H股30周年庆典活动上表示。,9游会登录。

  12月26日,从嘎仙洞到洛阳城：拓跋鲜卑的万里迁徙与“心向中华”,事实上早在2023年，这个趋势已经显现。红餐产业研究院发布的《2023年中国餐饮消费趋势》报告显示，餐饮业消费已经显现出“第四消费时代”的特征，消费者对高性价比有着极致追求。我国的餐饮消费呈现出了“K形分化”，即一端向上探顶，一端往下坠落的分化走势，主张高端、差异化与主打刚需、价低质优的企业有较大机会承接住时代的红利。,白鲸app官网,斗球体育官网地址,千亿开户。

  时事2：金沙9797游戏网址大全

  12月26日,湖南“双肩包”创业潮 为发展注入青春动能,张先生说，因为网球人群的增多，网球运动关联经济也更加活跃。球衣、球袜、球包以及打球的各种装备和周边产品，包括网球训练课都在走俏。比赛数量的增加，更是提升了各地运动场馆的利用率。,华体会网址,体球网体球网,二八杠网上哪里可以玩。

  12月26日,黑龙江哈尔滨气温走低 “暖经济”升温,今年是“一带一路”倡议提出十周年。在中国与中亚五国领导人的共同擘画下，“一带一路”在中亚的高质量发展可期可待。未来，中国与中亚“一带一路”合作可以拓展至数字经济、人工智能、绿色能源、减贫等多个新领域。,真钱版诈金花,51nb论坛,美高梅足球。

  时事3：竞彩篮球官网首页

  12月26日,运动+研学 多地首个“雪假”有滋有味乐趣十足,也有多地表示暂不放宽。今年4月1日，温州市交通运输局称，根据出租汽车驾驶员（包括巡游、网约车驾驶员）从业资格管理有关规定，该市申请从业资格证的驾驶员年龄需在60周岁以下。还有，2022年《浙江省道路运输条例》修订时，温州市交通运输局曾提出将从业年龄放宽至65岁的建议，但省里研究后未采纳。,日博体育官方中文版,百老汇官网买球,必威手机版登录网页。

  12月26日,第十三届“东升杯”国际创业大赛收官 2061个项目参与角逐,环证国际证券集团首席执行官方颂贤表示，投资者应选择性增持那些在中国人工智能和限止领域 “自主化” 进程中受益的企业，同时将全球龙头企业保留在投资组合中。,大赢家有几个网站,ag真人国际,澳门皇冠360。

  时事4：世界杯竞猜网站排名榜

  12月26日,中国北方开启冰雪季 “冷资源经济”初现,“今日俄罗斯”报道称，至于斯诺登提到的“大规模监控”，指的就是他所经历的“棱镜门”事件。由美国政府发起的大规模电子监听项目“棱镜计划”在2013年被曝光。事发后，美国政府以盗窃政府财产、向未经授权的人提供机密信息等罪名指控斯诺登，并吊销其护照，最终斯诺登经历近十年流亡生涯后入籍俄罗斯。,ku113酷游net,五花牛牛棋牌,欧宝电竞首页在哪。

  12月26日,深圳机场迈入“三跑道时代” 助力大湾区世界级机场群建设,汪争猛怀疑，“是不是有人搞这些工商营业执照，是为了拿国家的什么补贴呢？如果这些注册信息被使用了，那些钱应该属于集体的，但村里的账目又没有对外公开。”,am8亚美ag旗舰,竞彩投注世界杯技巧,捷报足球比分官网。