01研究背景事件预测为什么需要“动态多模态”传统知识图谱通常关注结构化事实例如主体 — 关系 — 客体例如Trump — LiveAt — White House但现实世界中的事件并不是静止的。一个实体在不同时间会出现不同的事件、文本描述和图像信息。也就是说知识图谱中的信息会随着时间不断变化。作者指出真实场景中的多模态时间知识不仅包含结构四元组subjectrelationobjecttimestamp还包含随时间变化的辅助模态例如文本描述和图像信息。图1中通过 Trump 相关事件展示了结构、文本、图像如何随时间共同演化。02现有方法的核心不足作者认为已有研究主要存在两类问题● 问题一动态知识获取不充分不少方法只能建模单一结构空间或者只能捕捉浅层关系。但知识图谱中的结构并不只有一种几何形态欧氏空间更适合表达链式关系双曲空间更适合表达层次结构复数空间更适合表达对称、反对称、逆关系和组合关系等逻辑模式。因此仅使用单一空间很难完整表达多模态时间知识图谱中的复杂结构。● 问题二多模态融合过于静态过去的多模态融合方法通常关注图像、文本、结构之间的静态交互。但在事件预测任务中不同模态在不同时间点的重要性并不相同。例如预测未来政治事件时最近的结构关系可能比很久以前的图像信息更有用而某些场景下文本描述又可能比图像更关键。作者因此提出模型不仅要融合多模态还要动态判断“哪个时间点、哪种模态更重要”。03DyMRL 是什么DyMRL 的全称是Dynamic Multispace Representation Learning即动态多空间表示学习模型。它的目标是从历史多模态时间知识图谱中学习结构、图像和文本的动态表示并用于未来事件预测。整体来看DyMRL 由三个核心模块组成动态结构模态获取模块动态辅助模态获取模块双重融合—演化注意力模块图2是整篇论文最重要的模型架构图展示了 DyMRL 如何从结构、视觉、语言三类信息出发经过融合与演化注意力最终完成未来事件预测。04核心模块一动态结构模态获取作者将结构信息放入三个不同几何空间中建模① 欧氏空间捕捉链式关联欧氏消息用于建模局部邻居之间的直接关系。它更像是在捕捉“谁与谁直接相关”的链式结构体现一种类似人类联想记忆的能力。② 双曲空间捕捉高阶层次双曲空间擅长表示层次结构。作者利用双曲消息来捕捉事件之间更高阶、更抽象的层级关系例如不同实体、事件群体之间的层次组织方式。③ 复数空间捕捉关系逻辑复数空间用于表达知识图谱中的关系逻辑例如对称关系反对称关系逆关系组合关系。作者进一步将三类空间中的消息通过注意力机制融合再使用多层图神经网络进行深层传播从而获得更丰富的动态结构表示。05核心模块二动态视觉与语言信息获取除了结构信息DyMRL 还引入了图像和文本。● 视觉模态作者使用预训练视觉模型提取实体在不同时间点对应的图像特征。这些图像并不是静态附属信息而是随时间变化的视觉线索。● 语言模态作者使用预训练语言模型提取时间敏感的文本描述。例如某个实体在不同时间点的简介、新闻描述、事件说明都可以为未来预测提供重要背景。这两类辅助模态随后也会经过更新模块形成动态视觉表示和动态语言表示。06核心模块三双重融合—演化注意力DyMRL 最关键的设计之一是dual fusion-evolution attention。它分为两个层次第一层Fusion Attention这一层用于回答在同一个时间点结构、图像、文本哪一种模态更重要也就是说它负责在每个时间片内部进行多模态融合。第二层Evolution Attention这一层用于回答在多个历史时间点中哪些时间点的信息更重要也就是说它进一步建模历史信息对未来事件的影响。作者没有简单地让不同模态彼此互相分配注意力而是引入初始化矩阵作为第三方注意力分配者使模型能够更公平、更动态地学习不同模态与不同时间点的贡献。07实验设置四个多模态时间知识图谱数据集作者构建了四个多模态时间知识图谱数据集GDELT-IMG-TXTICE14-IMG-TXTICE0515-IMG-TXTICE18-IMG-TXT这些数据集都包含结构、图像和文本三类信息并按照时间顺序划分为历史集、当前集和未来集。08实验结果DyMRL 明显领先实验中作者将 DyMRL 与两大类方法进行比较● 静态多模态方法例如 TransAE、MoSE、OTKGE、IMF、DySarl 等。● 动态单模态方法例如 RE-GCN、TiRGN、CENET、RPC、ReTIN、LogCL、TempValid、CognTKE、ANEL 等。结果显示DyMRL 在四个数据集上都取得了最优表现。例如在 MRR 指标上DyMRL 分别达到GDELT-IMG-TXT79.34ICE14-IMG-TXT62.84ICE0515-IMG-TXT75.83ICE18-IMG-TXT64.56这说明 DyMRL 同时利用“动态结构建模”和“多模态动态融合”确实比只使用静态多模态或动态单模态的方法更有效。09消融实验哪些模块最关键作者进一步做了消融实验验证每个模块的作用。实验结果表明去掉结构信息后性能下降非常明显去掉多层消息传播后模型只能捕捉浅层结构效果大幅降低去掉注意力分配器后模型退化为类似传统共注意力方法性能明显变差语言模态的贡献通常高于视觉模态融合后的多模态表示优于单独使用某一种模态。10进一步分析时间、模态和空间都很重要作者还通过多组分析实验进一步解释 DyMRL 的优势。● 不同时间点的贡献不同越接近未来事件的历史时间点通常预测价值越高。● 多模态融合优于单模态结构模态最重要其次是语言模态视觉模态也能提供补充信息。11总结DyMRL 的主要价值整体来看作者提出的 DyMRL 有三点重要价值第一它把多模态知识图谱从“静态融合”推进到“动态融合”模型不再只是简单拼接结构、文本和图像而是考虑这些信息如何随时间变化。第二它把结构学习从“单空间”扩展到“多空间”欧氏空间、双曲空间和复数空间分别捕捉不同类型的结构特征使模型能够更全面地理解知识图谱。第三它让事件预测更接近真实世界真实世界中的事件发展依赖历史、文本、视觉和复杂关系。DyMRL 正是试图把这些信息统一起来从而更准确地预测未来事件。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】