所属栏目：计算机网络论文范文发布时间：2026-01-16浏览量:763
在教育领域中，知识图谱融合起着关键的作用。作为知识图谱融合的一个核心技术，实体对齐的目标是从多个知识图谱中识别等价的实体对。目前实体对齐方法大部分建立在假设源实体在目标知识图谱中有对应实体的基础上，当使用跨语言与跨图谱实体集时就会产生悬挂实体问题。针对该问题，提出双生成器参数共享对抗网络实体对齐模型DGSAN-EA。该模型采用参数部分共享和择优策略训练双生成器，选择最优生成器用于条件生成跨知识图谱的新实体，达到增强数据集的目的，以解决悬挂实体问题。接下来，采取渐进式融合策略和引入分布一致性损失函数，有效解决多模态实体对齐中融合特征信息失真及模态间不对齐的问题。在多个公开数据集上进行验证，实验表明，与现有的多模态实体对齐模型相比，DGSAN-EA在hit@k和MMR得分整体都有提高，证明了其在实体对齐任务中的有效性。
关键词：知识图谱;实体对齐;对抗网络;双生成器;参数共享;渐进式融合;分布一致性
论文《基于生成对抗网络与渐进式融合的多模态实体对齐》发表在《计算机应用研究》，版权归《计算机应用研究》所有。本文来自网络平台，仅供参考。
0 引言
在大数据时代背景下，知识图谱(KG)作为结构化知识表示的重要工具，其应用已扩展至教育、医疗、金融等关键领域。特别是在智慧课堂流媒体的背景下，知识图谱能够将课件、教材、视频和实验等教育资源相互连接，构建一个高度关联的教育资源网络[1]。在此网络环境下，教师与学生能够迅速定位相关资源，便于知识的拓展和应用。例如，某一物理概念可以与相关视频、文章或实验案例相链接，使学生有更多的参考材料。然而，为了全面覆盖知识领域并满足跨学科需求，通常需要合并来自多个来源的知识图谱。因此，如何将不同来源、不同领域，甚至跨语言的知识图谱无缝整合为一个统一的网络，形成更丰富的教育资源池，成为知识图谱融合的核心挑战之一。
在此背景下，实体对齐(entity alignment, EA)技术作为知识图谱融合的关键步骤，显得尤为重要。实体对齐旨在判断不同知识图谱之间的真实世界的同一实体，将不同数据源中表示同一个现实对象的实体映射到一起[2]。传统的实体对齐研究方法主要侧重于比较实体关系的推理、利用实体属性的相似性计算等技术来实现实体对齐任务。而目前比较主流的实体对齐方法主要是基于深度学习的方法，包括但不限于基于对比学习、图神经网络等方法。这些方法都是通过训练实体的嵌入，将其映射到低维空间中进行处理，旨在提高不同空间中同一实体表示的相似性[3]。伴随着实体对齐的发展历程，研究者们利用除文本以外的其他内容作为EA的补充信息，以提高实体对齐的准确性和全面性，由此诞生出多模态实体对齐任务。
多模态实体对齐是通过将每个实体与其相关的额外信息进行关联[4]，从而利用其他模态的信息作为补充，将这些相关信息应用于实体对齐，进而增强实体固有的特征信息，提高实体嵌入信息的独特性，增强实体嵌入的表达能力，最终实现提高实体对齐精确性和全面性的目的。其中，Chen等人[5]提出了一种开创性的多模态实体对齐框架MMEA，通过嵌入图像、数字模态信息实现了较好的多模态实体对齐效果。Liu等人[6]证明了视觉模态增强了从其他模态获得较少信息的长尾实体匹配问题，并且使用迭代学习的策略提出一个完全无监督设置，但是只考虑了视觉知识的方法。然而以上的模型以及目前大多数多模态实体对齐模型仍旧存在以下不足：a)悬挂实体[7,8]问题。由于训练的数据集本身的局限性，源知识图谱中经常存在一些实体是目标知识图谱中所没有的，即悬挂实体。如图1所示，由于每个KG可能基于独立创建的或者由不同群体贡献的单独语料库，所以不同KG拥有不同的实体集是很常见的。悬挂实体的存在对于一些任务需要花费额外的时间和精力去解决，例如，现有国内的电化学教材知识图谱和国外的电化学教材知识图谱，由于国家政策、语言、教育理念的不同，两个图谱的实体内容存在不同，其中国外教材舍弃了电极过程动力学和应用电化学[9]，所以国内教材的知识图谱就会存在电极过程动力学和应用电化学两个悬挂实体，从而导致将国内电化学教材知识图谱融入国外教材的知识图谱时，这两个实体与其他相关知识需要人为地去翻译并补充缺失部分的信息，否则可能会出现这两个知识点无法融入图谱中的情况。如果能够将悬挂实体从源KG转换为目标KG的实体表示，则可以为许多知识工程任务(例如知识集成和事实检查)节省大量时间和精力。其中，Sun等人[7]虽然提出了一个针对悬挂实体检测的框架，但是该框架只做到了对悬挂实体的检测并选择放弃对悬挂实体的对齐，没有真正解决悬挂实体从源KG转换为目标KG中的实体表示问题。b)融合特征信息失真及模态间不对齐的问题。不同模态通常具有不同的数据格式和特征空间，这些特征差异导致模型在融合过程中无法充分利用所有模态的信息，从而影响实体对齐的准确性。现有方法中，融合后的特征往往过于集中于某一模态，而丧失了如图像模态的其他模态的特征信息，从而造成信息的差异化。
针对现有不足，本文采用生成对抗模型通过对源图谱中的悬挂实体进行建模，训练生成器在缺失的目标实体及其属性的情况下生成与目标图谱中实体相似的嵌入，从而实现在目标KG中缺少部分对齐信息或者实体时，通过已知的信息来生成补全信息增加对齐精度或者直接生成目标图谱中的实体;其次引入渐进式融合策略和基于高阶矩的分布一致性损失函数，通过迭代融合加深对多模态特征的挖掘，利用基于高阶矩的分布一致性损失函数防止迭代融合而产生的信息失真问题。因此本文提出了一种双生成器参数共享对抗网络实体对齐模型(DGSAN-EA)，通过对抗性训练生成提高对源知识图谱和目标知识图谱之间的实体对齐效果。本文模型作出的主要贡献如下：a)设计参数部分共享的双生成器对抗训练网络，防止出现模式崩溃的同时训练生成器对悬挂实体进行建模，通过生成跨知识图谱的新实体和生成其相关属性信息，达到信息重建提高对齐精度和直接生成目标图谱的实体目的;b)设计渐进式融合策略，通过渐进式迭代深入挖掘多模态信息，同时引入分布一致性损失函数，弥合融合前后分布的差异，避免渐进式融合过程中不可避免的模态特征失真和模态间不对齐问题。
1 相关研究
1.1 实体对齐
近年来，随着深度学习技术的兴起，基于表示学习的实体对齐方法成为研究热点。实体对齐旨在寻找并识别不同知识图谱中的等价实体x∈X，y∈Y，进而促进不同知识图谱之间的融合，其中X代表源知识图谱的实体集，Y代表目标知识图谱的实体集。在此之中，基于表示学习的方法通过嵌入技术将实体和关系映射到低维向量空间中，使得相似的实体在向量空间中距离相近。TransE[10]作为代表性的翻译嵌入模型，将关系视为实体间的翻译操作，通过最小化翻译误差来学习实体和关系的嵌入表示。在TransE的基础上，MTransE[11]通过共享嵌入空间实现跨知识图谱的实体对齐，同时考虑不同图谱间的结构差异。然而，基于TransE的模型在处理简单的一对一关系时表现较好，但在处理复杂关系(如一对多、多对多关系)时可能会遇到困难。
基于TransE的方法更多的是考虑能够更好地进行实体表示，而没有考虑将实体间的信息也进行利用，为此出现了基于图神经网络(graph neural networks)的实体对齐方法[12,13]，GNN的主要目的是通过图结构和节点特征及其邻居的特征来学习节点的表示，通过消息传递机制聚合邻居节点的特征，从而生成每个节点的高维嵌入，这对实体对齐来说刚好弥补了基于TransE方法的不足。其中就有利用GCN(graph convolution networks)[14]和GAT(graph attention networks)[15]等方法来帮助实体对齐任务，GCN-Align[16]是首个提出使用图神经网络来完成实体对齐的模型，有效利用图结构信息，提高实体对齐的准确性。此外，图注意力网络(GAT)在实体对齐中引入注意力机制，对节点分类任务产生了显著效果。
1.2 多模态实体对齐
为了提升实体对齐模型的精度和性能，文献[17,18]指出，额外的知识图谱信息经过适当编码可以进一步提高实体对齐方法的性能，随着多模态知识图谱的日益普及和发展，在EA中融入视觉模态，即多模态实体对齐，已经逐渐受到关注和研究，多模态知识图谱实体对齐是指综合考虑文本、图片等不同模态数据来研究该问题。其中，MMEA是较早从多模态的角度解决知识图谱实体对齐问题的模型，将多模态与知识图谱实体对齐任务进行了结合，利用多模态信息之间的互补性，扩充实体特征所携带的信息，提高了知识图谱实体对齐任务的性能。另一个MIMEA[19]则从不同角度获取文本嵌入，并利用图像数据丰富文本嵌入，实现多模态信息融合以完成实体对齐。MCLEA[20]更是考虑面向任务的模态，并对每个实体表示的模态间关系进行建模，从多种模态中学习多个个体表示，然后进行对比学习以联合建模模态内和模态间的交互。MEAformer[21]提出一种动态跨模态加权模块生成用于模态校正的元模态权重，从而通过浅层交叉注意网络实现模态间相互评级。这些方法可以实现模态间增强融合，动态学习模态内和模态间的交互信息，然而却忽略了悬挂实体的问题以及融合前后数据的分布差异问题。
1.3 生成对抗网络
生成对抗网络(generative adversarial networks, GAN)[22]是一种生成式框架，其核心思想是通过对抗方式训练生成器和鉴别器，逐步提高生成样本的质量。GAN的目标是生成尽可能多的真实数据。GAN在图像生成、视频生成、图像修复、语义分割、图像到图像翻译和文本到图像合成等多个领域取得了可喜的成果。然而训练GAN的过程非常不稳定，难以实现纳什均衡(p_r = p_g)，面临梯度消失问题并且倾向于生成特定模式的样本导致模式崩溃[23]，生成器可能会找到某些输出，认为它们对鉴别器最合理，并始终生成这些输出。
2 方法
本文提出的双生成器参数共享对抗网络实体对齐模型，如图2所示，DGSAN-EA主要由多模态嵌入层、基于参数部分共享的双生成器对抗网络层和渐进式融合层三个模块组成。模型首先将多模态数据输入至多模态嵌入层，以提取实体的各模态信息特征，然后将特征输入至基于参数部分共享的双生成器对抗网络层中。该过程主要是通过DGSAN训练，旨在从已有实体特征中恢复丢失或缺失信息的生成器，利用输入训练出最优的生成器推测目标图谱中缺少的实体可能的属性，并根据源图谱中的信息生成一个逼真且合理的目标实体特征，最终解决由悬挂实体造成的问题。随后，将这些特征输入至渐进式融合层，并通过迭代方式对各模态信息特征进行融合。最后，将融合后的特征表示与普通EEA模型输出的目标实体表示进行实体对齐。各部分的具体实现细节将在后续内容中详细阐述。
2.1 多模态嵌入
本节详细阐述了如何将实体的每种模态m嵌入到给定低维空间中得到低维向量h^m。
2.1.1 图结构嵌入
图注意力网络是一种典型的直接处理结构化数据的神经网络[12]，因此本文借用GAT对随机初始化图嵌入x_i^g进行线性变换，利用自注意力机制计算节点与其邻居节点之间的注意力权重，并基于这些权重对邻居节点的特征进行加权求和，进而得到节点新的特征表示：
h_i^g = GAT(x_i^g, A) (1)
其中，A表示图邻接矩阵。
2.1.2 关系、属性、视觉嵌入
对于关系、属性两个模态，本文遵循文献[24]使用词袋特征来表示关系和属性，并将其输入到一个简单的前馈层中以获得嵌入h_i^r和h_i^a。因此这些嵌入计算如下：
h_i^m = W^m u_i^m + b^m, m ∈ {r, a} (2)
其中，W^m和b^m是可学习参数;u_i^m是词袋关系特征和属性特征。
针对视觉嵌入，采用预训练的视觉模型ResNet-152[25]来学习视觉嵌入，本文将实体e_i的图像v_i输入到预训练的视觉模型获取实体e_i的每个可用图像v_i的视觉嵌入x_i^v，并取logits之前的最终层输出作为图像特征。
2.2 基于参数部分共享的双生成器对抗网络
在多模态实体对齐任务中，由于实体模态信息的缺失，造成源图谱和目标图谱同一实体的嵌入表示存在较大的差异性，或者存在悬挂实体，导致目标知识图谱缺乏与源图谱中实体对应的嵌入表示，影响实体对齐效果。所以本文借助生成模型，通过训练生成器对所有实体进行建模，生成补足实体的其他模态信息和生成存在于目标图谱的新实体表示，以解决多模态实体对齐存在的问题。在许多生成任务中，例如图像合成，条件变量(例如文本描述)和输入变量(例如图像)在模态上有所不同。然而，在本文的实验中，它们是来自不同知识图谱的实体。为了利用生成模型对源图谱中的悬挂实体进行建模，并通过重建目标图谱实体的信息来生成新的目标实体，从而解决悬挂实体存在的问题。本文提出基于参数部分共享的双生成器对抗网络(DGSAN)来训练生成器，使得生成器生成源图谱实体缺失的模态信息或者真实存在的实体尽可能相似的假实体，从而补足实体缺失的模态信息或目标图谱中缺乏的与源图谱匹配的悬挂实体表示。最终使模型不仅可以对齐现有实体，还能借助训练过的生成器生成悬挂实体在目标图谱中的特征。
由于借鉴使用生成对抗网络作为生成模型，其中不可避免地存在模式崩溃问题，其对于悬挂实体问题来说，意味着生成器可能无法产生足够多样化的目标实体表示，特别是在目标图谱中缺失的实体特征生成方面，从而无法有效地映射源图谱中的悬挂实体。为了解决这一问题，本文设计了双生成器架构，而不是传统的单一生成器和鉴别器结构，通过引入两个生成器，在对抗训练的过程中增加了对实体各模态特征生成的多样性。由于悬挂实体通常存在于源图谱中，但在目标图谱中缺失，生成器需要能够生成接近真实实体的特征表示以进行有效对齐。双生成器架构通过为每个实体模态生成多个候选特征，避免了生成器只生成少量与真实样本相似的实体表示，从而确保生成器能够探索更广泛的实体特征空间，减少模式崩溃现象，确保生成的实体具有更多样的特征组合，有助于填补目标图谱中的悬挂实体。为了进一步提升双生成器的训练效果，本文在设计中加入了参数部分共享机制，将生成器学习到的有关生成实体各模态特征的参数共享给另一个生成器，加速对生成器的训练速度。不同于完全共享的方式，部分参数共享能够加速生成器的训练过程，同时防止两个生成器在训练过程中趋向于相似。参数共享机制确保生成器能够从共享的知识中受益，同时避免两个生成器趋于一致，从而保持其多样性和独立性。此外，为了增强训练的鲁棒性，本文在生成器中引入了dropout层。dropout层通过随机丢弃神经元的连接，进一步防止了生成器在训练过程中的过拟合问题，也有效降低了模型在训练过程中出现的协同崩溃。最终，在训练过程中，本文将根据生成器的表现评估其效果，选择表现更优的生成器，并将其作为最终模型进行标记和使用。这一设计不仅提高了生成器的训练速度，还通过防止模型趋同确保了生成器生成更具多样性和更高质量的实体特征。
具体来说，在训练过程中生成器G₁和G₂接收一个从标准正态分布z~N(0,1)中采样的噪声向量z作为输入。通过一系列线性变换和非线性激活，生成器逐步将该低维噪声映射到高维目标样本空间，之后配合鉴别器的使用，训练生成器通过输入源图谱中实体的基本属性，从而生成目标图谱中对应实体缺失的信息，达到补全缺失属性和生成一个完整目标实体的目的。生成器的变换过程可以表示为：
其中，Wᵢʲ和bᵢʲ分别表示第j个生成器第i层的权重矩阵和偏置向量;φ(·)表示ReLU非线性激活函数;最后一层使用Tanh函数将输出限制在(-1,1)。
此外，本文对生成器G采用了参数共享的策略，将生成器的多个子模块设计为部分参数共享。这一策略使得在训练过程中，同一组参数被多次传递使用，从而有效地减少了需要优化的参数数量，加快了训练速度。当G₁对实体特征的生成效果比G₂更加优秀时，参数会进行以下传递：
当G₂的生成效果比G₁更加优秀时，参数会进行以下传递：
即G₁会传递一二层的参数给G₂，而G₂会传递四五层的参数给G₁，这避免了生成器趋向一致，同时提高了多个生成器在实体特征学习过程中的速度。
对于鉴别器，其作用是接收输入数据，并通过多层线性变换和非线性激活函数来区分输入是来自真实分布还是生成器生成的伪造数据，具体过程如下：
其中，x可能为真实的图谱实体各模态数据或者生成器生成的实体各模态数据;Wᵢ和bᵢ分别表示第i层的权重矩阵和偏置向量;φ(·)表示非线性激活函数;最后一层使用sigmoid激活函数σ(·)，输出一个范围在[0,1]的值，表示输入数据为真实图谱中的实体各模态特征的概率。
在DGSAN中，生成器G的目标是根据源KG的实体生成符合目标KG中的新实体及其模态信息，而鉴别器D则需要尽可能区分出生成器生成的符合目标KG的新实体及其模态信息与真实存在于目标图谱中的实体。因此，DGSAN的训练可以被视为生成器和鉴别器之间的博弈，其目标是找到一个纳什均衡点，使得生成器生成的样本无法被鉴别器轻易辨别。鉴别器D的目标是最大化它对真实样本的输出，同时最小化它对生成样本的输出。因此，本文定义鉴别器的损失函数为均方差损失：
其中，D(Gᵢ(zᵢ))为鉴别器对生成器i生成的目标实体的真假性预测;D(xᵢ)为鉴别器对源知识图谱实体x的真实数据的预测;D(yᵢ)为鉴别器对目标知识图谱实体y的真实数据的预测;label_x_fake、label_y_fake、label_x_real和label_y_real分别为源知识图谱实体及目标知识图谱实体的真实与虚假标签;loss_D为鉴别器的损失。
考虑到本文使用了两个生成器进行训练，因此为这两个生成器引入权重平衡机制，根据判别器的反馈计算每个生成器的损失，使得生成器的更新权重与损失成反比，即损失较高的生成器应当获得较高的权重，促进改进的同时避免其中一个生成器始终被选择。因此，生成器的损失函数定义为：
其中，loss_G₁、loss_G₂分别是判断生成器一、二生成实体特征质量的损失，通过计算鉴别器对生成器一和二各自生成的实体特征的真假预测与真实数据的均方误差来衡量生成器生成样本的真实性;wʲ为生成器j的动态权重，其根据loss_G₁和loss_G₂值的高低对生成器进行优越性辨别，增加其中生成质量比较差的生成器的训练权重，减少另一个生成器的训练权重，让两个生成器能够较为平衡的得到训练，防止出现只训练其中一个生成器的情况;w_min为权重的最小值;Δ_w和Δ'_w分别为生成器权重的调整步长。本文模型在实验时将权重最小值设置为0.1，生成器权重调整步长Δ_w和Δ'_w分别设置为0.1和0.05。
通过生成器和鉴别器之间的对抗过程，生成器不断改进，以生成更加真实的目标图谱中的实体。生成器会接收源图谱中悬挂实体的嵌入向量，并生成与目标图谱中实体最接近的表示;鉴别器则判断生成的实体是否为目标图谱中的真实实体，通过优化过程，引导生成器逐步提升生成实体的质量。最后，DGSAN根据训练过程中生成器的效果，选择在不同模态下特征生成效果最好的生成器，组成最终的生成器组合用于后续生成符合目标知识图谱的新实体。具体过程如下：
hₛ→ᵧᵐ = G_optᵐ(hₛᵐ) (20)
其中，m∈{v,g,r,a}代表了其所属的模态;hₛᵐ代表源知识图谱实体的m模态特征信息;hᵧᵐ代表目标知识图谱实体的m模态特征信息;G_optᵐ代表对抗训练中m模态选择的最优生成器;hₛ→ᵧᵐ表示经过生成器重构生成的目标知识图谱实体y的m模态信息;x→y表示输入的信息是来源于源知识图谱中的实体x，输出的信息对应目标知识图谱实体y;hᵧ→ₓᵐ同理。
2.3 渐进式融合
渐进式融合(progressive fusion)模块由初步融合层和迭代融合层两部分构成，采用渐进式迭代策略，在初步将所有模态特征进行融合得到浅层融合表示之后，进一步利用迭代策略将各模态特征再次与浅层融合表示进行进一步融合，更进一步地挖掘各模态的深层次信息，确保融合特征信息的完整性。
2.3.1 初步融合层
初步融合层将嵌入的各模态向量进行第一次融合，本文通过将多模态特征集成到实体e的单个表示ĥ⁰中来实现简单的加权串联：
ĥ⁰ = concat(wᵥhᵛ, w_g h_g, w_r h_r, w_a h_a) (21)
其中，M={v,g,a,r}为4个模态的集合;wᵢ是第i个模态的可训练参数权重;ĥ⁰表示初步融合层融合得到的实体e的特征信息表示;在加权串联之前对输入嵌入执行L₂归一化，避免模型对训练数据过拟合。然而只进行一次融合得到的特征表示所蕴涵的信息还不够准确以及丰富，因此初步融合得到的特征表示将会在迭代融合层中进一步挖掘各模态的深层特征。
2.3.2 迭代融合层
为了深度挖掘各模态特征，加速融合特征表示的信息丰富度，迭代融合层构建一个迭代网络，通过多轮信息的深度交互，将每个模态的特征向量与其他模态的特征向量相结合，逐步消除模态间的差异，并增强实体的跨模态表示。具体而言，在每次迭代过程中，附加输入(即来自不同模态的特征向量)与上一轮迭代的输出向量通过加权融合的方式进行信息交互，再一次从各模态数据特征中挖掘信息，使得每个模态的特征得到充分利用，并逐步加强模态间的交互。通过这样的迭代方式，本文能够更好地捕捉各模态之间的关联性，从而得到更加准确且一致的实体表示。最终经过T次迭代后输出的融合向量将能够有效地表示实体的多模态特征，促进实体对齐任务的优化。其理论上的数学表达式如下：
x̂ᵢₘʲ = add(hᵢₘ, hᵢʲ⁻¹) (22)
hᵢʲ = F(x̂ᵢ₉ʲ, x̂ᵢᵣʲ, x̂ᵢₐʲ, x̂ᵢᵥʲ) (23)
其中，hᵢₘ为实体i第m个模态下的嵌入表示;hᵢʲ⁻¹表示第j-1次迭代融合得到的特征张量;x̂ᵢₘʲ为实体i第j次迭代交互得到的m模态特征向量;加权平均与信息融合操作由F完成，通过融合不同模态的信息来提升实体的表示精度。
2.4 预对齐
预对齐旨在通过最小化生成的特征与目标知识图谱中实体特征的差异来促进模型更好地对齐实体。其通过对实体的嵌入进行建模，使得DGSAN能够从已有的实体特征中恢复出丢失的或缺失的信息。例如，对于源图谱中的实体x，其对应的图结构嵌入hₛᵍ和属性嵌入hₛᵃ会作为子嵌入进行处理，然后将其输入到对应的生成器G_g和G_a中，根据式(20)将输入的模态嵌入重构为目标图谱中的模态特征。
为了确保生成特征与目标特征格式和维度一致，本文使用编码器对生成的特征表示进行重构，因此预对齐损失公式为：
loss_pre = MSE(y'_recon, y') (24)
其中，y'_recon代表重构后的特征向量;y'代表对应的目标知识图谱中的真实特征。
2.5 后对齐
后对齐旨在量化重构融合特征与真实融合嵌入之间的差距，确保生成的不同模态融合特征属于同一实体，本文将生成的各模态嵌入输入到融合层中，重构出联合嵌入，然后使用均方误差(MSE)损失构造后对齐损失：
loss_post = MSE(ŷₛ→ᵧ, ŷᵧ) (25)
其中，ŷᵧ表示目标知识图谱中模态m的真实特征融合得到的特征表示;ŷₛ→ᵧ表示由生成特征融合得到的特征表示。
2.6 弥合分布差异
在多模态实体对齐任务中，各模态的特征通常存在不同的分布特性，直接融合这些模态特征可能导致信息失真或模态间对齐不当。为了解决这一问题，本文引入了中心矩差(CMD)为基础的分布一致性损失函数(DCLoss)，用于衡量各模态特征与融合后表示之间的分布差异，减少跨模态间的分布不一致，提高融合后的张量与源数据的分布相似性，确保融合操作没有丢失原始数据的核心语义信息，有助于保留每个模态的关键信息，从而增强整体的语义表达。
DCLoss通过计算两组向量(模态特征与融合表示)的中心矩差，逐级考虑高阶矩的差异。最终目标是使每个模态特征与融合后的特征表示在多个中心矩上保持一致，从而增强模态之间的对齐与交互效果。
首先计算两个输入特征，并将其中心化：
其中，x₁和x₂是两个输入特征;μ₁和μ₂分别是x₁和x₂的均值;s₁和s₂是两个中心化后的向量。
接着进行中心矩差计算，在第k阶矩上，两个中心化后的向量的矩差可以定义为：
CMD_k(s₁, s₂) = ‖(1/n)∑ᵢ₌₁ⁿs₁ᵏ - (1/n)∑ᵢ₌₁ⁿs₂ᵏ‖₂ (28)
其中，k表示第k阶矩(如均值、方差、偏度等)。
最终的CMD损失通过累加n阶矩的差异来计算，衡量两个分布的差异，具体表达式为：
CMD_total(x₁, x₂) = ∑ₖ₌₁ⁿCMD_k(s₁, s₂) (29)
这个损失被直接应用于每个模态的特征表示xₘ与融合后的表示h之间：
loss_DC = (1/|M|)∑ₘ∈ₘCMD_total(xₘ, h) (30)
综上所述，最终训练损失定义为：
loss_total = loss_D + loss_G + loss_pre + loss_post + loss_DC (31)
3 实验结果与分析
3.1 环境与参数设置
本实验基于PyTorch框架构建，运行于Ubuntu 22.04操作系统，配置为NVIDIA GeForce RTX 4090。在标准计算环境下，使用高性能GPU加速。在训练过程中，本文均使用Adam优化器进行参数优化，且batchsize、epochs的参数值均设置为2000、200。具体参数设置如表1所示。
表1 模型参数设置
| dataset | learning rate | dropout rate | iteration steps | k-th order moment |
| DBP15K ZH_EN | 0.001 | 0.3 | 3 | 4 |
| DBP15K JA_EN | 0.001 | 0.3 | 3 | 4 |
| DBP15K FR_EN | 0.001 | 0.3 | 6 | 4 |
| FB15K-DB15K | 0.0005 | 0.3 | 1 | 4 |
| FB15K-YAGO15K | 0.0005 | 0.3 | 1 | 4 |
3.2 实验数据集
本文在DBP15K、FB15K-DB15K和FB15K-YAGO15K三个数据集上进行了实验，并且排除表面信息(即文本标签信息)，防止数据泄露[26]。DBP15K是一个用于评估跨语言知识图谱对齐的标准数据集，包含来自DBpedia的四个特定语言的知识图谱，存在三个版本的跨语言知识图谱实体对齐数据集，分别是中-英、法-英和日-英版本。FB15K-DB15K和FB15K-YAGO15K都由两个不同的数据集组成，用于评估模型在两个不同知识图谱之间的对齐能力。DBP15K、FB15K-DB15K和FB15K-YAGO15K三个数据集的具体结构统计如表2所示。
表2 数据集结构统计
| 数据集 | 子数据集 | 实体 | 关系 | 属性 | 图像 | 关系三元组 | 属性三元组 |
| DBP15K ZH-EN | ZH(Chinese) | 19388 | 1701 | 8111 | 15912 | 70414 | 248035 |
| | EN(English) | 19572 | 1323 | 7173 | 14125 | 95142 | 343218 |
| DBP15K JA-EN | JA(Japanese) | 19814 | 1299 | 5882 | 12739 | 77214 | 248991 |
| | EN(English) | 19780 | 1153 | 6066 | 13741 | 93484 | 320616 |
| DBP15K FR-EN | FR(French) | 19661 | 903 | 4547 | 14174 | 105998 | 273825 |
| | EN(English) | 19993 | 1208 | 6422 | 13858 | 115722 | 351094 |
| FB15K-DB15K | FB15K | 14951 | 1345 | 116 | 13444 | 592213 | 29395 |
| | DB15K | 12842 | 279 | 225 | 12837 | 89197 | 48080 |
| FB15K-YAGO15K | FB15K | 14951 | 1345 | 116 | 13444 | 592213 | 29395 |
| | YAGO15K | 12842 | 279 | 225 | 12837 | 89197 | 48080 |
为了便于与现有工作进行对比分析，本文遵循同样的数据集比例划分，针对跨语言数据集，采用30%的标签数据作为训练集，其余作为测试集;针对跨图谱数据集，采用20%的标签数据作为训练集，其余作为测试集。本文将采样实体对中的源实体视为悬挂实体，并使其目标实体在训练过程中不可见，因而从训练集中删除了涉及这些目标实体的所有信息。
3.3 评价指标
本文采用hits@k和MRR作为模型的评价指标，其中，hits@k表示正确对齐的实体在候选实体中排在前k位的比例，hits@k值越大表示模型效果越好。
hits@k = (1/|N|)∑ᵢ₌₁ᴺΠ(rankᵢ ≤ k) (32)
其中，Π(·)是indicator函数。
MRR表示对齐结果中所有正确对齐实体排名的倒数的平均值，MRR值越大表示模型的效果越好。
MRR = (1/|N|)∑ᵢ₌₁ᴺ(1/rankᵢ) (33)
其中，rankᵢ表示对齐到正确实体的排名;N为对齐实体对的数量。
3.4 实验结果与分析
3.4.1 迭代次数设置与影响
针对提出的渐进式融合策略，本文对其中的迭代次数进行适当的参数实验。从图3(a)可以看出，DBP15K中的三个子数据集在不同迭代参数情况下实验得到的不同结果，可以看出当迭代参数(iteration steps)分别取3、3、6时，实验得到的hits@1分值达到最高;从图3(b)可以看出，在FB15K-DB15K、FB15K-YAGO15K数据集上，当迭代参数的取值都为1时，实验得到的hits@1分值达到最高。
3.4.2 对比实验
选择MUGNN[27]、AliNet[28]、decentRL[29]、EVA[4]、MSNEA[30]、MCLEA[20]、AF²M-EA[31]和GEEA[26]作为本文模型的对比模型，其中MUGNN、AliNet和decentRL是针对关系图定制的方法，而EVA、MSNEA、MCLEA和AF²M-EA是较为先进的多模态EEA方法，GEEA则是最新的生成式多模态EEA方法。本文在主要实验中选择GEEA作为本文模型的基线模型。为了公平比较，神经层和输入、隐藏、输出维度保持相同。其中EVA、MSNEA、MCLEA的实验结果全部引自文献[26]，而MUGNN、AliNet、decentRL、AF²M-EA的结果则引自其各自原文。
本文做了两种对比实验，一种是针对跨语言知识图谱的多模态实体对齐，围绕英文与其他三种不同语言，以本文模型与所选择的其他不同模型进行跨语言多模态实体对齐实验，验证本文模型在跨语言知识图谱上的有效性，最终实验所得结果如表3所示。另一种实验是针对跨知识图谱的多模态实体对齐，旨在验证生成对抗网络、分布一致性损失和渐进式融合策略在跨知识图谱上的有效性，以及与其他对比模型之间的差异，最终的实验结果如表4所示。
表3 DBP15K数据集不同模型的性能结果(排除表面信息)
| model | DBP15K ZH_EN | | | DBP15K JA_EN | | | DBP15K FR_EN | | |
| | hits@1 | hits@10 | MRR | hits@1 | hits@10 | MRR | hits@1 | hits@10 | MRR |
| MUGNN | 0.494 | 0.844 | 0.611 | 0.501 | 0.857 | 0.621 | 0.495 | 0.870 | 0.621 |
| AliNet | 0.539 | 0.826 | 0.628 | 0.549 | 0.831 | 0.645 | 0.552 | 0.852 | 0.657 |
| decentRL | 0.589 | 0.819 | 0.672 | 0.596 | 0.819 | 0.678 | 0.602 | 0.842 | 0.689 |
| EVA | 0.680 | 0.910 | 0.762 | 0.673 | 0.908 | 0.757 | 0.683 | 0.923 | 0.767 |
| MSNEA | 0.601 | 0.830 | 0.684 | 0.535 | 0.775 | 0.617 | 0.543 | 0.801 | 0.630 |
| MCLEA | 0.715 | 0.923 | 0.788 | 0.715 | 0.909 | 0.785 | 0.711 | 0.909 | 0.782 |
| GEEA | 0.761 | 0.946 | 0.827 | 0.755 | 0.953 | 0.827 | 0.776 | 0.962 | 0.844 |
| DGSAN-EA | 0.782 | 0.961 | 0.846 | 0.779 | 0.960 | 0.846 | 0.784 | 0.971 | 0.853 |
表4 FB15K-DB15K和FB15K-YAGO15K数据集的实验结果(排除表面信息)
| model | FB15K-DB15K | | | FB15K-YAGO15K | | |
| | hits@1 | hits@10 | MRR | hits@1 | hits@10 | MRR |
| EVA | 0.199 | 0.448 | 0.283 | 0.153 | 0.361 | 0.224 |
| MSNEA | 0.114 | 0.296 | 0.175 | 0.103 | 0.249 | 0.153 |
| MCLEA | 0.295 | 0.582 | 0.393 | 0.254 | 0.484 | 0.332 |
| GEEA | 0.343 | 0.661 | 0.450 | 0.298 | 0.585 | 0.393 |
| AF²M-EA | 0.178 | 0.341 | 0.233 | 0.217 | 0.402 | 0.282 |
| DGSAN-EA | 0.367 | 0.682 | 0.475 | 0.309 | 0.597 | 0.407 |
从表3的实验结果可以看出，多模态方法相较于单模态方法展现出了显著的优越性，这一优势得益于对不同资源的有效整合与利用。在跨语言的任务中，不同语言的实体名称和语义可能存在差异，例如“积分”这个词根据不同语境既可以是指购物积分，也可以是微积分中积分。单一模态的模型难以捕捉到这些信息，而多模态模型能够结合语言特征、上下文信息等以及图像多个维度进行联合学习，有效地识别其真实意思并准确对齐其在另一个语言图谱中的实体。尤为值得关注的是，本文DGSAN-EA在所有三个数据集的所有评估指标上整体优于所有的基线模型，均达到了最先进的性能水平。在DBP15K的三个子数据集中，与同样是解决悬挂实体的生成式模型GEEA相比，本文模型在hits@1指标上分别提高了2.1、2.4、0.7个百分点，在hits@10和MRR上也取得了最优的效果。该结果可以归因于DGSAN-EA与传统方法相比，生成器能够生成更加多样化且细节丰富的实体表示，以补足实体缺失模态的信息，增强了实体嵌入信息丰富度的目的，确保了生成实体的多样性和真实性的同时，能够生成具有高质量、接近真实分布的实体嵌入，从而生成能够弥补目标图谱中实体缺失的嵌入，解决悬挂实体问题，进而提高实体对齐的精度。说明解决悬挂实体问题对于实体对齐任务是有益的。
如表4的结果所示，在FB15K-DB15K和FB15K-YAGO15K两个跨知识图谱数据集上进行多模态方法的性能比较。结果表明在两个不同知识图谱上，DGSAN-EA在所有评估指标中再次达到了最好的效果。由于在进行跨知识图谱的对齐任务中，不同知识图谱对于同个实体的表达方法是不一样的，所以跨知识图谱实体对齐任务普遍具有较低的精确度。本文模型能够取得较好的效果，主要得益于渐进式融合策略和分布一致性损失，传统的实体对齐方法很难处理不同图谱之间的模态差异，而渐进式融合策略通过多次迭代融合各模态特征，逐步加深模态间的交互，能够更好地捕捉到各模态中的关键信息，避免了模态信息丢失或失真。分布一致性损失的加入则最小化源模态和融合后模态之间的高阶矩差异，使得融合过程更加平滑，最终得到如表4所示的跨知识图谱实体对齐精度。这再一次证实了DGSAN-EA在跨知识图谱实体对齐中的优越性。
3.4.3 消融实验
为了验证DGSAN框架、分布一致性损失以及渐进式融合策略对于EA任务的有效性，本文在DBP15K中的ZH_EN数据集上进行了消融实验，进而探讨DGSAN在解决悬挂实体和实体对齐任务中的有效性、分布一致性损失与渐进式融合策略对于多模态特征信息是否能够深层次挖掘相应的信息且保留核心语义信息。结果如表5所示，对于DGSAN-EA，依次删除DGSAN框架、分布一致性损失以及渐进式融合策略，对比于完整的DGSAN-EA模型，删除任何模块都会导致DGSAN-EA性能的显著下降。首先，DGSAN对EA效果影响最大，在移除DGSAN时，hits@1下降了1.4个百分点，hits@10和MRR分别下降了0.6和1个百分点。这表明DGSAN对于多模态实体对齐任务至关重要，尤其是在处理悬挂实体问题时，DGSAN通过其生成器和鉴别器的对抗训练，使得生成器能够生成接近真实分布的实体特征，从而有效地填补目标图谱中缺失的悬挂实体。失去DGSAN的支持后，模型无法充分学习源图谱和目标图谱之间的实体映射关系，从而导致对齐效果明显下降。其次，分布一致性损失的移除同样导致了性能的下降。分布一致性损失在模型中起到了确保融合前后嵌入分布的一致性作用。在多模态实体对齐任务中，不同模态的信息需要通过合理的方式融合，并保持与原始模态的核心语义一致性。缺乏分布一致性损失时，模型可能在融合过程中丧失部分关键信息，导致对实体嵌入的理解出现偏差，从而影响对齐准确性。去除这一损失会使融合后的实体嵌入出现较大偏差，从而影响任务的性能。最后，渐进式融合策略的移除也导致了各项指标的下降。渐进式融合通过多次迭代逐步整合来自不同模态的信息，每次融合时都会对模态特征进行加权融合，确保信息的充分交互，并保持信息的核心语义。没有渐进式融合，模型可能无法充分利用不同模态的信息，导致模态间信息融合效果不佳，进而影响多模态实体对齐的精度。此外，渐进式融合还能够通过反复优化来提高特征表示的质量，使得每个模态的特征都能在最终的对齐结果中发挥最大的作用。由此可见，分布一致性损失以及渐进式融合策略有助于提高对多模态实体的信息挖掘程度和对语义核心信息的保留度。综上所述，每个模块的独立贡献通过消融实验得到了验证，移除任何模块都会显著降低模型的整体性能，说明它们在提升多模态实体对齐任务精度中的重要作用。因此，DGSAN框架、分布一致性损失和渐进式融合策略共同作用，有效提高了多模态实体对齐任务的精确性和鲁棒性。
表5 DBP15K ZH_EN消融实验结果对比
| DGSAN | DCLoss | P-fusion | hits@1 | hits@10 | MRR |
| √ | √ | √ | 0.782 | 0.961 | 0.846 |
| × | √ | √ | 0.768 | 0.955 | 0.836 |
| √ | × | √ | 0.776 | 0.956 | 0.841 |
| √ | √ | × | 0.775 | 0.952 | 0.840 |
3.4.4 案例分析
为了验证DGSAN训练得到的生成器的效果，本文选用了FB15K-YAGO15K中的一个教育领域的代表性案例，展示了该模型如何有效解决悬挂实体问题。具体来说，本文以著名物理学家Isaac Newton为例，展示了与其相关的属性和邻居节点，包括其发明的无穷小微积分、万有引力、三大运动定律等。这些属性和邻居节点为展示Isaac Newton在目标知识图谱中的关键信息提供了基本视角。
然而，在源知识图谱中，Isaac Newton缺乏足够的上下文与其他实体建立有效联系，这通常使得对齐任务变得更加复杂。通过DGSAN的生成，能够有效地补充缺失的属性和邻居节点，显著提升了实体之间的整体关联度。当出现目标知识图谱中没有Issac Newton实体时，DGSAN也能通过生成器生成属于目标知识图谱中的Issac Newton实体及其相关信息，从而融入目标知识图谱中，进一步加快融合知识图谱的速度。根据表6的结果，本文展示了通过DGSAN训练的生成器如何基于Isaac Newton的实体名和图像生成相应的属性和邻居节点，其中加粗部分表示与目标图谱中的属性或邻居节点一致。
结果表明，对于Isaac Newton实体，模型生成的图像以及大部分属性和邻居节点都与源知识图谱一致，成功补充了源知识图谱中的缺失信息。对于其他不同的属性和邻居节点，模型生成的结果也与实际情况相符，符合真实的背景和上下文。在结合所有生成的缺失信息后，计算与目标图谱中实体的相似度达到了99.16%，而未补充缺失信息的AF2M-EA仅达到了81.37%的相似度，这表明DGSAN在处理缺失属性和邻居节点时表现出色，成功填补了源图谱中的空白，显著提高了对齐精度。此外，针对悬挂实体问题，当实体仅存在于源图谱中，而目标图谱中缺失时，DGSAN能够直接生成符合目标图谱的新实体及其信息，成功解决了这一问题。
表6 模型生成样本结果显示
| 源图谱 | | 目标图谱 | | | 模型生成输出 | | | 相似度 | |
| 实体 | 图像 | 图像 | 邻居实体 | 属性 | 图像 | 邻居实体 | 属性 | DGSAN-EA | AF2M-EA |
| Isaac Newton | - | - | Infinitesimal calculus, Universal Gravitation, Three Laws of Motion, Gottfried Wilhelm Leibniz | Nationality: "English", BirthDate: "25 December 1642", DeathDate: "20 March 1727", Profession: "Mathematician、Physicist" | - | Infinitesimal calculus, Universal Gravitation, Newton's laws of motion, Modern Physics, Gottfried Wilhelm Leibniz | Nationality: "English", BirthDate: "25 December 1642", DeathDate: "20 March 1727", Profession: "Mathematician、Physicist" | 0.9916 | 0.8137 |
4 结束语
本文提出了一种双生成器参数共享对抗网络实体对齐模型DGSAN-EA。该模型在实体对齐过程中利用双生成器对抗网络进行条件生成跨知识图谱的新实体，增强数据集从而解决悬挂实体的问题。同时采用渐进式的融合策略以及引入分布一致性损失函数，进一步提高融合特征的信息完整性以及融合特征与源数据的分布相似性，解决了多模态实体对齐中融合特征信息失真或模态间的不对齐问题。
虽然本文模型在跨语言和跨知识图谱的数据集中都取得了较好效果，但是由于跨知识图谱任务对于同一实体的文本表达存在着较大的差异，所以导致其特征嵌入难以较好地发掘其相同的本质信息，造成跨知识图谱实体对齐任务的精确度不高。因此未来工作将集中于对跨知识图谱实体对齐任务的研究，寻找更优秀的实体信息特征嵌入的方法，以及能够挖掘其最本质信息的方法，进而提高跨知识图谱实体对齐任务的精度。
参考文献
[1] 李洪修, 刘笑. 数字化背景下高校智慧课堂建构的技术之维[J]. 高校教育管理, 2023, 17(5): 81-89, 124.
[2] 王键霖, 张浩, 张永爽, 等. 基于双层图注意力网络的邻域信息聚合实体对齐方法[J]. 计算机应用研究, 2024, 41(6): 1686-1692.
[3] 朱蓓蓓. 面向知识图谱的实体对齐研究[D]. 长春: 吉林大学, 2023.
[4] Ni Wenxin, Xu Qianqian, Jiang Y, et al. PSNEA: pseudo-siamese network for entity alignment between multi-modal knowledge graphs[C]//Proc of the 31st ACM International Conference on Multimedia. New York: ACM Press, 2023: 3489-3497.
[5] Chen Liyi, Li Zhi, Wang Yijun, et al. MMEA: entity alignment for multi-modal knowledge graph[C]//Proc of Knowledge Science, Engineering and Management. Cham: Springer, 2020: 134-147.
[6] Liu Fangyu, Chen Muhao, Roth D, et al. Visual pivoting for (unsupervised) entity alignment[C]//Proc of AAAI Conference on Artificial Intelligence. 2021: 4257-4266.
[7] Sun Zequn, Chen Muhao, Hu Wei. Knowing the no-match: entity alignment with dangling cases[C]//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2021: 3582-3593.
[8] Liu Juncheng, Sun Zequn, Hooi B, et al. Dangling-aware entity alignment with mixed high-order proximities[C]//Proc of Findings of the Association for Computational Linguistics: NAACL 2022. Stroudsburg, PA: Association for Computational Linguistics, 2022: 1172-1184.
[9] 王志勇, 张树永. 国内外代表性物理化学教材电化学部分的比较[J]. 大学化学, 2023, 38(6): 142-145.
[10] Bordes A, Usunier N, Garcia-Durán A, et al. Translating embeddings for modeling multi-relational data[C]//Proc of the 27th International Conference on Neural Information Processing Systems. New York: ACM Press, 2013: 2787-2795.
[11] Chen Muhao, Tian Yingtao, Yang Mohan, et al. Multilingual knowledge graph embeddings for cross-lingual knowledge alignment[C]//Proc of the 26th International Joint Conference on Artificial Intelligence. [S.l.]: International Joint Conferences on Artificial Intelligence Organization, 2017: 1511-1517.
[12] Gao Yunjun, Liu Xiaoze, Wu Junyang, et al. ClusterEA: scalable entity alignment with stochastic training and normalized mini-batch similarities[C]//Proc of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York: ACM Press, 2022: 421-431.
[13] Liu Zhiyuan, Cao Yixin, Pan Liangming, et al. Exploring and evaluating attributes, values, and structures for entity alignment[C]//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2020: 6355-6364.
[14] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[EB/OL]. (2017-02-22). https://arxiv.org/abs/1609.02907.
[15] Velickovic P, Cucurull G, Casanova A, et al. Graph attention networks[EB/OL]. (2018-02-01). https://arxiv.org/abs/1710.10903.
[16] Wang Zhichun, Lyu Qingsong, Lan Xiaohan, et al. Cross-lingual knowledge graph alignment via graph convolutional networks[C]//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2018: 349-357.
[17] Zhang Ziheng, Liu Hualuo, Chen Jiaoyan, et al. An industry evaluation of embedding-based entity alignment[C]//Proc of the 28th International Conference on Computational Linguistics: Industry Track. [S.l.]: International Committee on Computational Linguistics, 2020: 179-189.
[18] Sun Zequn, Zhang Qingheng, Hu Wei, et al. A benchmarking study of embedding-based entity alignment for knowledge graphs[J]. Proceedings of the VLDB Endowment, 2020, 13(12): 2326-2340.
[19] 刘春梅, 高永彬, 余文俊. 融合图像信息的多嵌入表示实体对齐方法[J]. 计算机工程与应用, 2024, 60(15): 111-121.
[20] Lin Zhenxi, Zhang Ziheng, Wang Meng, et al. Multi-modal contrastive representation learning for entity alignment[C]//Proc of the 29th International Conference on Computational Linguistics. [S.l.]: International Committee on Computational Linguistics, 2022: 2572-2584.
[21] Chen Zhuo, Chen Jiaoyan, Zhang Wen, et al. MEAformer: multimodal entity alignment transformer for meta modality hybrid[C]//Proc of the 31st ACM International Conference on Multimedia. New York: ACM Press, 2023: 3317-3327.
[22] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144.
[23] Guo Lingbing, Zhang Qiang, Sun Zequn, et al. Understanding and improving knowledge graph embedding for entity alignment[C]//Proc of the 39th International Conference on Machine Learning. 2022: 8145-8156.
[24] Yang H W, Zou Yanyan, Shi Peng, et al. Aligning cross-lingual entities with multi-aspect information[C]//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2019: 4430-4440.
[25] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2016: 770-778.
[26] Guo Lingbing, Chen Zhuo, Chen Jiaoyan, et al. Revisit and outstrip entity alignment: a perspective of generative models[EB/OL]. (2024-02-24). https://arxiv.org/abs/2305.14651.
[27] Cao Yixin, Liu Zhiyuan, Li Chengjiang, et al. Multi-channel graph neural network for entity alignment[C]//Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: Association for Computational Linguistics, 2019: 1452-1461.
[28] Sun Zequn, Wang Chengming, Hu Wei, et al. Knowledge graph alignment network with gated multi-hop neighborhood aggregation[C]//Proc of AAAI Conference on Artificial Intelligence. Palo Alto, CA: AAAI Press, 2020: 222-229.
[29] Guo Lingbing, Wang Weiqing, Sun Zequn, et al. Decentralized knowledge graph representation learning[C/OL]//Proc of the 9th International Conference on Learning Representations. (2020-09-28)[2024-11-15]. https://openreview.net/forum?id=fw1-fHJpPK.
[30] Chen Liyi, Li Zhi, Xu Tong, et al. Multi-modal Siamese network for entity alignment[C]//Proc of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York: ACM Press, 2022: 118-126.
[31] 郭浩, 李欣奕, 唐九阳, 等. 自适应特征融合的多模态实体对齐研究[J]. 自动化学报, 2024, 50(4): 758-770.