猫眼电影记者 谢雪红 报道首次登录送91元红包

大模型最广泛的应用如 ChatGPT、Deepseek、千问、豆包、Gemini 等通常会连接互联网进行检索增强生成（RAG）来产生用户问题的答案。随着多模态大模型（MLLMs）的崛起，大模型的主流技术之一 RAG 迅速向多模态发展，形成多模态检索增强生成（MM-RAG）这个新兴领域。ChatGPT、千问、豆包、Gemini 都开始允许用户提供文字、图片等多种模态的输入。

然而，目前对于 MM-RAG 的应用和研究都还处于非常初级的阶段，现有的 MM-RAG 研究以及综述论文主要聚焦于文本和图像等少数模态组合；音频、视频、代码、表格、知识图谱、3D 对象等多种模态的组合均可用于检索增强生成，却仅有很少的探索和研究。这使得研究者和开发者难以全面把握 MM-RAG 的技术脉络和广阔的应用空间。

来自华中科技大学、复旦大学、中国电信、美国伊利诺伊大学芝加哥分校的研究者们共同发布了一篇全面覆盖几乎所有模态作为输入和输出组合的MM-RAG综述来全面且系统化地阐述这个广阔的研究和应用空间。

论文标题：A Comprehensive Survey on Multimodal RAG: All Combinations of Modalities as Input and OutputTechRxiv: https://doi.org/10.36227/techrxiv.176341513.38473003/v2GitHub 项目主页: https://github.com/INTREBID/Awesome-MM-RAG

该论文的最大亮点在于其前所未有的广度：

它首次覆盖了几乎所有可能使用的模态组合作为输入和输出，包括文本、图像、音频、视频、代码、表格、知识图谱、3D 对象等。

通过这种全面的梳理，作者们首先揭示了 MM-RAG 领域中庞大的潜在输入 - 输出模态组合空间，并指出了其中尚未被充分探索的空白（如表 1 所示）。在作者提出的 54 种潜在组合中，目前只有 18 种组合存在已有研究（表 1 中绿色对勾的格子），许多极具应用价值的组合 —— 例如 “文本 + 视频作为输入，生成视频作为输出”—— 仍是一片亟待开拓的蓝海。

表 1：基于输入 - 输出模态组合的 MM-RAG 分类法

在此基础上，作者们构建了一个基于输入 - 输出模态组合的全新 MM-RAG 分类法，不仅系统性地组织了现有研究，还清晰展示了不同 MM-RAG 系统的核心技术组件（如表 2 所示），为后续研究提供了统一框架和方法参考。

表 2不同输入输出模态下多模态 RAG 的核心技术组件、任务和应用

四大关键阶段剖析 MM-RAG 工作流

基于这个新的分类法，该综述深入分析了MM-RAG系统的工作流程，并将其划分为四个关键阶段（如图 1 所示）：

图 1 MM-RAG 的工作流

a)预检索 (Pre-retrieval)： 数据组织和查询的准备工作。

b)检索 (Retrieval)： 高效准确地从海量多模态知识库中找到相关信息。

c)增强 (Augmentation)： 将检索到的多模态信息有效地融入到大模型中。

d)生成 (Generation)： 根据输入和增强信息生成高质量的多模态输出。

论文详细总结了每个阶段的常用方法，并讨论了对于不同模态针对性的优化策略，为构建高性能的MM-RAG系统提供了实用的技术指导。

一站式指南：

训练、评估与应用前瞻

除了技术流程，该综述还提供了构建 MM-RAG 系统的一站式指南：

训练策略： 讨论了 MM-RAG 系统的训练方法，以最大化其检索和生成能力。评估方法： 总结了现有的MM-RAG 评估指标和 Benchmark，帮助研究者评估系统性能。应用与未来： 探讨了 MM-RAG 在多个领域的潜在应用，并指出了未来的重要研究方向。

作为首个覆盖所有常见输入 - 输出模态组合、并系统化解析了 MM-RAG 的工作流、组件、训练、评估等核心技术的综述，该论文不仅为研究者提供了索引式的知识入口，也为产业应用提供了全面的技术参考。论文作者还提供了持续更新的资源库，方便读者追踪最新进展。

  时事1：黄金城app下载地址

  12月27日,轮椅上的追风少女逆袭成“三冠王”：“凡事发生皆有利于我”,近些年来，中国在事关地区和全球安全稳定的热点问题中发挥的建设性作用越来越大，公正靠谱的形象深入人心。中国提出全球安全倡议，重视各国合理安全关切，坚持通过对话协商解决国家间分歧……,老版球探网。

  12月27日,广东龙门县：打造世界级森林温泉康养度假区,韩国外交部发言人任洙奭在记者会上表示，正与日方就司局级磋商地点和时间进行协调。他强调，借此机会，韩方专家们可前往现场考察核污染水处理设备及设施，开展必要的分析活动。,聚星平台,申博怎么开户,pp体育官网首页。

  时事2：申博入口登录

  12月27日,洪水和山体滑坡已致印尼超600人遇难,在一次学术会议上，一位哈萨克斯坦知名学者说的话令笔者深受震动。他说，“一带一路”给中亚带来的不仅是公路铁路桥梁隧道，不仅是工业园和各类合作项目，也不仅是中欧班列过境创造的物流机遇，更重要的是给中亚地区带来了中国开放包容合作共赢的思维理念，甚至中亚国家之间的关系改善也在一定程度上要归功于“一带一路”。,bbin网址大全,棋牌评测网,滚球外围体育下载。

  12月27日,（乡村行·看振兴）行走浙江金东八仙积道共富带：民宿焕新激活发展新图景,她发表了一段长达6分钟的演讲，指责邓肯在美国第五巡回上诉法院的工作对学生们造成了伤害，并建议学校需要重新考虑其言论自由政策，“你在法官席上发表的意见是对学生权利的绝对剥夺。”,新濠官网,bet365休育投注备用网站,国际十大娱乐正规网址。

  时事3：天博体育TB

  12月27日,海南封关 开放大幕拉开 谁的机会来了？,“我是个彻头彻尾的美国人。我开的是雪佛兰皮卡。”印第安纳州的一家建筑工地监控公司的老板埃里克·埃伯特说，“但美国的无人机无法与之竞争。”,大玩家现金平台,伟德体育投注登录,真钱博彩大全。

  12月27日,金观平：有能力实现全年经济社会发展目标,网友然崽告诉极目新闻记者，她看到赵菊英的家访视频后很是气愤，“觉得不像是在教育，比较像是在霸凌。”极目新闻记者注意到，针对赵菊英的教育方法，不少网友和然崽有着相同的看法，“是一种霸凌式的教育，也是一种公开处刑的羞辱式教育。”,足球世界杯网站官网,贝博体育app手机版bb,球探网苹果手机版。

  时事4：万豪国际棋牌官网

  12月27日,中国创造学会文化创意产业专委会在澳门成立,刘江永认为，日本声称新发现的这些“岛屿”可能有一部分是无人居住的“岛屿”，甚至根本不具备人类居住的条件，例如没有淡水。这样就不能给这些“岛屿”划定专属经济区或大陆架。,sbobet平台,各大棋牌游戏平台排名,新百胜网站多少。

  12月27日,国家发展改革委新闻发言人就《关于完善幼儿园收费政策的通知》答记者问,以北京为例，今年“五一”假期期间，记者走访海淀某新盘项目。一名房产中介对记者表示：“这处新房单价较低，但得房率不占优势，在76%左右；旁边的次新房得房率约85%。按照新房8.2万元/平方米计算，相当于买100平方米的三居，要花近200万在公摊面积上。”,日博体育在线注册登录官网,bbin免费白菜,九州滚球手机客户端。