当前位置:首页 → 电脑软件 → 日本强震 高市早苗神色慌张一路小跑 → 沙巴体育有app吗 v6.421.7484 IOS版
v7.498.5357 安卓版
v5.724.3566.683016 最新版
v6.451 安卓最新版
v2.121.9176.742242 安卓最新版
v1.357.4933 安卓免费版
v5.372.9645 安卓免费版
v3.102 最新版
v4.877 最新版
v5.308.2398.450137 安卓最新版
v7.291.7230.316058 最新版
v7.465.7778 安卓版
v3.449.1147.406072 安卓最新版
v4.883.5624.486411 PC版
v8.821.6886 PC版
v4.972.9111 安卓最新版
v8.368.2048.449383 IOS版
v1.611 IOS版
v2.265.6591.176919 IOS版
v6.41 最新版
v3.984.3641.395880 PC版
v8.848.172.990903 安卓汉化版
v1.509 安卓版
v9.6.3356.453330 IOS版
v9.4.6665.951736 最新版
v8.32.582 安卓免费版
v8.67.4585 IOS版
v6.425 最新版
v2.329 最新版
v7.609.204.648017 安卓最新版
v2.794.6718 安卓免费版
v4.800.6301.483849 安卓汉化版
v7.345.1422 最新版
v3.37.6055.800681 最新版
v3.942.6451 最新版
v1.419.1958.952215 安卓免费版
v9.374 安卓免费版
v6.68.5593 安卓汉化版
v7.67.5475 最新版
v5.900.1564 安卓最新版
v2.476 安卓汉化版
v4.321 最新版
v8.838.7148.25593 最新版
v9.189.3051 安卓版
v7.474.1140.382489 安卓汉化版
v2.818.2539 安卓免费版
v9.513 安卓免费版
v8.883 IOS版
v2.418 安卓免费版
v5.688.3129 最新版
v5.9.5254 安卓最新版
v8.346 安卓版
v6.889.752.711405 最新版
v2.155.4949 IOS版
v7.452.197.771742 IOS版
v2.574.4955.753678 IOS版
v9.296.1754.938258 安卓免费版
v1.116.215 安卓汉化版
v6.267.1843.670696 安卓最新版
v5.638.5505.61318 最新版
v7.775.9741 PC版
v7.681.3999.568964 安卓免费版
v2.276.2225.466001 最新版
v2.371.3568 安卓汉化版
v9.888 PC版
v3.423.8100 安卓最新版
v2.255 安卓免费版
v9.466 安卓最新版
v6.118.8118.686017 安卓最新版
v8.267.26 安卓免费版
v9.247 安卓免费版
v3.329 安卓免费版
v8.978 安卓版
v3.546 最新版
v8.986.4076.931389 安卓汉化版
v7.314 PC版
v9.589.748.206637 IOS版
v5.719.7557 安卓版
v8.885.1898.22206 IOS版
v2.50 安卓最新版
v9.854 安卓版
沙巴体育有app吗
大模型最广泛的应用如 ChatGPT、Deepseek、千问、豆包、Gemini 等通常会连接互联网进行检索增强生成(RAG)来产生用户问题的答案。随着多模态大模型(MLLMs)的崛起,大模型的主流技术之一 RAG 迅速向多模态发展,形成多模态检索增强生成(MM-RAG)这个新兴领域。ChatGPT、千问、豆包、Gemini 都开始允许用户提供文字、图片等多种模态的输入。
然而,目前对于 MM-RAG 的应用和研究都还处于非常初级的阶段,现有的 MM-RAG 研究以及综述论文主要聚焦于文本和图像等少数模态组合;音频、视频、代码、表格、知识图谱、3D 对象等多种模态的组合均可用于检索增强生成,却仅有很少的探索和研究。这使得研究者和开发者难以全面把握 MM-RAG 的技术脉络和广阔的应用空间。
来自华中科技大学、复旦大学、中国电信、美国伊利诺伊大学芝加哥分校的研究者们共同发布了一篇全面覆盖几乎所有模态作为输入和输出组合的MM-RAG综述来全面且系统化地阐述这个广阔的研究和应用空间。
论文标题:A Comprehensive Survey on Multimodal RAG: All Combinations of Modalities as Input and OutputTechRxiv: https://doi.org/10.36227/techrxiv.176341513.38473003/v2GitHub 项目主页: https://github.com/INTREBID/Awesome-MM-RAG
该论文的最大亮点在于其前所未有的广度:
它首次覆盖了几乎所有可能使用的模态组合作为输入和输出,包括文本、图像、音频、视频、代码、表格、知识图谱、3D 对象等。
通过这种全面的梳理,作者们首先揭示了 MM-RAG 领域中庞大的潜在输入 - 输出模态组合空间,并指出了其中尚未被充分探索的空白(如表 1 所示)。在作者提出的 54 种潜在组合中,目前只有 18 种组合存在已有研究(表 1 中绿色对勾的格子),许多极具应用价值的组合 —— 例如 “文本 + 视频作为输入,生成视频作为输出”—— 仍是一片亟待开拓的蓝海。
表 1:基于输入 - 输出模态组合的 MM-RAG 分类法
在此基础上,作者们构建了一个基于输入 - 输出模态组合的全新 MM-RAG 分类法,不仅系统性地组织了现有研究,还清晰展示了不同 MM-RAG 系统的核心技术组件(如表 2 所示),为后续研究提供了统一框架和方法参考。
表 2不同输入输出模态下多模态 RAG 的核心技术组件、任务和应用
四大关键阶段剖析 MM-RAG 工作流
基于这个新的分类法,该综述深入分析了MM-RAG系统的工作流程,并将其划分为四个关键阶段(如图 1 所示):
图 1 MM-RAG 的工作流
a)预检索 (Pre-retrieval): 数据组织和查询的准备工作。
b)检索 (Retrieval): 高效准确地从海量多模态知识库中找到相关信息。
c)增强 (Augmentation): 将检索到的多模态信息有效地融入到大模型中。
d)生成 (Generation): 根据输入和增强信息生成高质量的多模态输出。
论文详细总结了每个阶段的常用方法,并讨论了对于不同模态针对性的优化策略,为构建高性能的MM-RAG系统提供了实用的技术指导。
一站式指南:
训练、评估与应用前瞻
除了技术流程,该综述还提供了构建 MM-RAG 系统的一站式指南:
训练策略: 讨论了 MM-RAG 系统的训练方法,以最大化其检索和生成能力。评估方法: 总结了现有的MM-RAG 评估指标和 Benchmark,帮助研究者评估系统性能。应用与未来: 探讨了 MM-RAG 在多个领域的潜在应用,并指出了未来的重要研究方向。
作为首个覆盖所有常见输入 - 输出模态组合、并系统化解析了 MM-RAG 的工作流、组件、训练、评估等核心技术的综述,该论文不仅为研究者提供了索引式的知识入口,也为产业应用提供了全面的技术参考。论文作者还提供了持续更新的资源库,方便读者追踪最新进展。
相关版本
多平台下载
查看所有0条评论>网友评论