MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Completion
MyGO: 离散模态信息作为细粒度标记用于多模态知识图谱补全
https://doi.org/10.48550/arXiv.2404.09468
arXiv:2404.09468
Abstract. 综述翻译
多模态知识图谱（MMKG）存储了包含有丰富的多模态描述信息的、结构化的世界知识。为了克服其固有的不完整性，多模态知识图谱补全（MMKGC）希望利用三元组（注：即head entity, relation, tail entity）的结构信息及实体的多模态信息，从给定的MMKG中发掘未观察到的信息。现有的MMKGC多采用预训练模型提取多模特特征，并通过融合模块将其与三元组预测结合。然而，这种方式往往导致对多模特数据的粗略处理，忽略了细微的、精细的细节变化及其相互作用。为了解决这一问题，我们引入了一个新颖的框架MyGO，用于处理、融合和增强MMKG中的细粒度模态信息。MyGO将多模态的原始数据转换为细粒度的离散标记，并通过跨模态实体编码器（Cross-modal entity encoder）学习实体的表示。为了进一步增强多模特表现，MyGO引入了细粒度对比学习，以突出实体表现的特异性。标准MMKGC基准测试的实验结果表明，我们的方法超过了20种最新模型，彰显出其卓越的性能。
