近日，团队成员2021级研究生梁婉莹、团队创始人汤庸教授以及团队合作导师朱佳教授在计算机领域顶级期刊ACM Computing Surveys发表题为 “A Survey of Multi-modal Knowledge Graphs: Technologies and Trends”的论文。论文在线链接为https://dl.acm.org/doi/10.1145/3656579。

人类感知系统本质上是多模态的，因为周围的物体通常由多种信号组合表示，例如视觉和文本。多模态知识图谱将结构化知识表示与多种模态结合起来，是知识图谱的强大扩展。尽管多模态知识图谱可以处理某些类型的任务或标准知识图谱无法处理的查询，并可有效地解决一些标准问题，但仍然缺乏对多模态知识图谱的广泛接受的定义。该论文提供了多模态知识图谱的严格定义，并基于现有方法如何解决四个基本挑战（表示、融合、对齐和转换）的分类方案，这些挑战对于改进多模态知识图谱至关重要。该论文的分类方案灵活，可以轻松地纳入新的方法，并可以比较两种方法在如何解决上述基本挑战中的表现。作为对多模态知识图谱的首次全面调查，该论文旨在激发并为人工智能领域的相关研究人员提供参考。

《ACM Computing Surveys》（《美国计算机学会计算概观》）是ASSOCIATION for COMPUTING MACHINERY出版社旗下的刊物，于1969年创刊，致力于接收计算机领域具有代表性的前沿综述论文，帮助从业者和研究人员了解迅速发展的计算领域前沿科学问题。该刊属于中科院SCI一区，影响因子为16.6，实时影响因子为21.76，是计算机领域国际权威顶级期刊之一。