熊婉悦 徐峰 黄宇廷 韩星宇 范自柱
收稿日期：2023-10-24
基金项目：国家自然科学基金项目（61991401）；
衢州市科技计划项目（2023K265）
文章编号：1005-0523（2024）03-0119-08
摘要：【目的】超图神经网络（HGNN）具有学习类间唯一性和类内共性的能力，可以显著提高学习性能。但是，传统HGNN方法缺乏决定低维数据节点间如何进行连接交互的强关系归纳。针对此问题，提出一种基于模糊理论的模糊HGNN（FHGNN）节点分类算法，根据数据节点的特征信息构建超图结构，加强了图的节点信息对节点连接的影响。【方法】FHGNN首先采用了一个边聚焦的图神经网络（GNN），通过边标签的迭代更新进行边预测。并根据边预测的输出设计模糊隶属度函数，以实现更精确的节点间连接关系表示。最后通过得到的关系表示构造超图，并再次对节点进行分类训练得到结果。在FHGNN中使用了边标签损失函数和节点标签损失函数并分别对其参数进行训练学习。【结果】实验结果表明，所提的FHGNN方法更能够适应小规模低维数据，并在节点分类任务上取得好的效果。【结论】对于不同数据集的分类任务，FHGNN可以更有效学习节点的相关特征信息，提高学习的效果。
关键词：超图；
超图神经网络；
模糊系统；
节点分类
中图分类号：TP183 文献标志码：A
本文引用格式：熊婉悦，徐峰，黄宇廷，等.基于模糊超图神经网络的节点分类方法[J]. 华东交通大学学报，2024，41（3）：119-126.
Node Classification Method Based on Fuzzy
Hypergraph Neural Network
Xiong Wanyue， Xu Feng， Huang Yuting， Han Xingyu， Fan Zizhu
（School of Science， East China Jiaotong University， Nanchang 330013， China）
Abstract：
【Objective】Hypergraph neural networks （HGNN） have the ability to learn inter-class uniqueness and intra-class commonality， which can significantly improve learning performance. However， traditional HGNN methods are in lack of the strong relational induction which determines the way how low-dimensional data nodes interact with each other. In order to solve this problem， a fuzzy HGNN（FHGNN） classification algorithm based on fuzzy theory is proposed， and hypergraph structure is constructed according to the characteristic information of data nodes. 【Method】FHGNN first adopts an edge-focused GNN to make edge prediction through iterative updates of edge labels. The fuzzy membership function is designed according to the output of edge prediction to achieve a more accurate representation of the connection relationship between nodes. Finally， the hypergraph is constructed by the relation representation. Then the nodes are classified again and the result is obtained. The edge label loss function and node label loss function are used in FHGNN and their parameters are trained and learned respectively. 【Result】Experimental results prove the proposed FHGNN method is more suitable for small-scale data with low node information dimension， and performs well in node classification tasks.【Conclusion】For classification tasks of different data sets， FHGNN can learn the relevant feature information of nodes more effectively and improve the learning effect.
Key words： hypergraph; hypergraph neural network; fuzzy system; node classification
Citation format：
XIONG W Y， XU F， HUANG Y T， et al. Node classification method based on fuzzy hypergraph neural network[J]. Journal of East China Jiaotong University， 2024， 41（3）：
119-126.
【研究意义】近年来，图神经网络（graph neural network，GNN）在数据处理的优秀性能受到机器学习领域的广泛关注。组成GNN的普通图结构只允许对象进行成对的交互，而在许多现实应用中，对象之间的交互会超越成对交互，涉及高阶关系。例如，在大脑的连接网络中，多个大脑区域通常以神经系统的方式一起工作，以完成某些功能任务。为了真实地描述这种连接，普通图结构中的两两建模是不够的，必须要在大脑区域之间合并高阶的交互信息。因而引入的超图结构表明了多个区域之间的相关性。超图中的每个顶点代表一个大脑区域，每个超边则代表多个大脑区域之间的相互作用。普通图中多个对象的成对关系和高阶关系之间存在着明显的区别，而普通图结构的容量有限，它们只能描述成对的关系。与普通图相比，在处理真实数据时，超图在表示多个对象之间的高阶关系方面具有显著优势。例如，在多智能体（multi-agent）轨迹预测[1]过程中，采用多尺度超图构建的超图神经网络可以提取不同尺度的节点组之间的交互，相比以往只能单独描述成对交互的基于普通图的方法，超图表现得更详细直观。因而基于超图构建的超图神经网络（hypergraph neural network，HGNN）也被广泛应用于各种数据处理任务中，如节点分类[2]、链接预测、社区检测、多标签分类、3D对象分类[3]、点云匹配和聚类。
【关键问题】基于图的学习方法的主要任务之一是寻找样本之间相似性质。但“相似”是一个模糊的概念，它并没有明确的定义。为了解决此问题引入了模糊理论，提出模糊超图神经网络（Fuzzy HGNN，FHGNN）模型。模糊理论能够很好地处理有关模糊、主观性和不精确判断的问题，从而FHGNN利用模糊理论使得相似节点样本有更好的连接关系表示。与以往的HGNN方法不同，FHGNN提供了一个计算边信息的过程，而不是采用以往的k近邻方法构图。该模型将节点之间的边关系构造视为一个模糊问题，计算每条边元素的隶属度，由边预测来生成HGNN中的边特征值。这里的隶属度是一种更合理的模糊关系表示，可以为不同的学习应用提供更合适的样本节点间连接方式。
【研究进展】本文提出的FHGNN由一个侧重于节点的HGNN和一个侧重于边的GNN组成。首先，构造一个全连接的完全普通图结构，通过一个GNN来执行节点链接关系即边的预测并计算损失。然后根据损失函数更新后的边信息和设计的隶属度函数构造超边。这些超边就将原本完全普通图更新为新的超图结构。最后再次使用节点信息通过HGNN进行节点分类。
【创新特色】总结FHGNN方法的优点有：为超图神经网络提供了一个边预测过程，以获得有用的节点连接信息表示；
通过模糊理论中的隶属度函数来生成更合理的超边连接；
边信息更新和节点信息更新使用的不同损失函数可以提高对不同任务的泛化能力。
1 相关研究背景
1.1 超图
超图结构已经被用于许多机器学习任务中，对数据之间的高阶相关性进行建模。超图（hypergraph）是离散数学中的一个重要概念，是图的推广。因此，超图的许多概念的定义，与图的定义有关。超图可表示为H=（X， E），即一个超顶点集和一个超边集，图1所示为超图。超顶点集X是一个有限集，而超边表示顶点集的子集，E为超边的集合。
传统的图论问题是最早期超图研究的焦点。在之后超图理论快速发展，一些更为广泛的应用性问题才在超图上被有针对性地加以研究，并在近些年成为研究热点。超图学习最早应用于视频对象分割和对图像关系进行建模。之后为了进一步改进超图结构，超边权重作为一个对数据相关性建模有很大影响的因素，引起了超图研究的关注。
1.2 超图神经网络
超图应用于同时建立多个节点的语义关系，并连接非线性的高阶关联。图结构数据的爆炸式增长，使得超图神经网络被广泛应用于社交网络分析、图像处理、生物反应解析等领域。超图的表示理论也在近些年快速发展。Feng等[3]提出了超图神经网络框架，设计了一种超边卷积操作来处理超图表示学习，实现了超图结构信息和节点特征信息更好的融合。Jiang等[4]设计的DHGNN模型利用聚类方法提取超图的隐藏关系，并根据局部和全局特征建立和更新拓扑结构。对于噪声的过滤，Yadati等[5]提出的Hyper-GCN模型可以过滤采样过程中可能存在的数据噪声。Yang等[6]提出了一种新的超图展开方法LE（line expansion），更多地保留了超图的原始结构，解决了信息丢失的问题。
1.3 模糊理论
模糊理论可以处理与模糊、主观性和不精确判断的相关问题，它可以量化现有数据的各个方面在决策时的倾向。有许多的概念都是不能清晰定义的，比如“年轻”的概念，因为在“年轻”和“不年轻”之间没有一个确定的边界。模糊理论中的模糊集合就是由这些待考察的模糊对象和反映他们关系的模糊概念组成。模糊理论对模糊集合进行运算，它通过建立合适的隶属度函数，来对模糊对象进行分析。隶属度函数衡量了模糊对象中的元素对模糊集合的隶属度。FHGNN方法则将图节点之间的关系看作一个模糊概念，通过一个隶属度函数，将图节点之间的关系映射到一个单位区间[0，1]，并利用隶属度函数为强相似的节点组间连接超边。
2 模糊超图神经网络
如图2所示，FHGNN模型主要由两个部分组成：关系编码器φ和分类器[θ]。其中关系编码器为GNN，分类器为HGNN。关系编码器利用节点特征进行节点间连接关系的计算，输出节点连接关系表示的预测，然后利用隶属函数得到的连接关系表示构建超边。最后将节点信息通过新的超图结构进行HGNN节点分类。FHGNN在关系编码器的输出使得构建的超图在相似节点有更强的连接。
在FHGNN中，每个样本用一个节点表示，这些样本之间的连接关系用超边表示。将[G=（v，ε;t）]定义为对任务T学习得到的图。[V=vii=1：t]是节点集（个数为[t]），其中[vi]是节点的特征。[E=eiji，j=1：t]是边的集合，其中[eij]是边的特征。设[X=xii=1：t]，[x∈Rn]，为所有样本t的特征，而[Y=yii=1：t]为样本的类别标签。边预测的值[Y=yiji，j=1：t]定义为
[yij=0，if yi=yj1，if yi≠yj] （1）
2.1 关系编码器
关系编码器基于一个GNN来计算每个节点间的连接程度。在GNN计算过程中，节点信息通过图传播，节点和边可以根据图结构聚合他们的邻居信息，并通过邻居得到其他节点间的连接关系。因此，两个节点的连接关系计算并不仅仅依赖于节点本身，还依赖于图中其他节点的连接信息。
关系编码器输入的是节点的初始特征向量。在第L层关系编码器中，连接关系特征首先通过更新函数[fle]进行更新，输入为两个不同节点的特征[2]
[el+1ij=flevli，vlji，j=1：t] （2）
然后通过节点更新函数[flv]来更新节点特征[2]
[vl+1i=flvjel-1ijvl-1jjel-1ijvl-1i] （3）
式中：||为连接操作。关系编码器φ将通过在任务T结束时损失L进行优化[2]
[Lφ=1ei，j=1：tleeL1ij，yij;φ] （4）
式中：[L1]为关系编码器中的层数。通过将关系编码器的更新函数最后输出的节点关系表示值设置为一个一维向量，使得每层的更新可以使用相同的关系编码器。
2.2 隶属度函数构建超边
通过模糊理论将节点之间的模糊连接关系转化成可计算的隶属度函数。用隶属度函数?来推断关系编码器预测的节点连接关系。隶属度函数由FHGNN中的边集合层的输出来定义
[μeij=1，if eij≥α0，if eij<α] （5）
即对于任意点[vi]构建超边[Ei]，如果[eij<αj≠i]，那么[Ei]这条超边就会包括[vj]，其中[i=1：t，][0<α<1]，超边[Ei=vi，vj1，vj2，…]。通过隶属度函数[μ]来处理的节点连接关系，使得形成的超边会倾向链接有相似特征信息的节点。
2.3 HGNN分类器
通过隶属度函数构建超图，得到用于HGNN分类器中超图的邻接矩阵H。然后根据矩阵H来聚合邻域信息更新节点的特征向量。其中，关系编码器和分类器中的节点更新函数具有不同的参数。然后，将超边集连接起来，生成超图相邻矩阵H，将超图相邻矩阵H和节点特征输入HGNN。然后利用公式建立一个超边卷积层[3]
[Xl+1=σD-1/2vHWD-1eHTD-1/2vXlΘl] （6）
式中：[Xl=RN×C]为l层超图的节点特征矩阵；
[X0=X]，[X∈RN×C1]为超图节点的初始特征矩阵，具有N个节点和[C1]维特征；
[σ]为非线性激活函数；
W初始化为一个单位矩阵；
[Θ∈RC1×C2]为需要训练学习的参数，将超图的节点信息通过滤波器[Θ]提取有用特征。经过卷积得到[Y∈RN×C2]来用于分类。
最后为每个任务T优化HGNN分类器θ，使用以下损失函数优化分类器模型
[Lθ=i=1：tlθvL2i，yi;θ] （7）
式中：[lθ]为交叉熵损失；
[L2]为HGNN分类器中的层数。更新后的[θ]将会更适合于当前的任务T。
3 实验
3.1 数据集
为验证模型的总体性能，用UCI官网下载的几个常用分类数据集在模型上进行实验。表1显示了实验所用到的数据集。
1） 超图数据集。Zoo数据集的每个样本包含17个布尔类型的属性。超边是由所有具有相同分类特征值的节点创建的。NTU2012是来自计算机视觉/图形学领域的数据。实验从原始论文[3]中复制相同的设置，包括超图的结构，并使用80%的数据作为训练，剩下的20%被分成验证和测试。
2） 表格数据集。Wine Quality数据集是来自葡萄牙北部的葡萄酒样本。分类目标是基于物理和化学测试来模拟葡萄酒的质量，通过输入基于物理化学试验的11个变量类型分类葡萄酒质量得分。
Cardiotocography数据集是 由产科专家分类的心电图。首先通过自动处理2 126张胎儿心电图（ctg），并测量各自的诊断特征，包括测量的胎儿心率（FHR）和子宫收缩（UC）特征；
再由3位产科专家进行分类，并为每个专家分配共识的分类标签，分类针对形态模式（A，B，C，…）分为10类。
Image Segmentation数据集由从7张户外图片中随机抽取的样本组成，通过手工分割图片为3×3的像素区域，即实验的样本实例。
Vehicle Silhouettes数据集是一些二维轮廓信息，根据二维图像中的三维对象的形状特征提取。目的是通过训练从一组轮廓中提取的特征，将给定的轮廓划分为4种类型的车辆。
Mice Protein Expression数据集由被修饰过的77种蛋白质数据组成，这些具有检测信号的蛋白质在小鼠皮层的核部分产生。对照组小鼠38只，唐氏综合征三体小鼠34只，共72只。在实验中，对每个样品小鼠的蛋白质进行了15次测量。因此，对于对照小鼠有38×15个测量值，对于三染色体小鼠有34×15个测量值。每次测量都是一个独立的样本。根据小鼠的基因型、行为和治疗等特征区分为八类小鼠。实验目的即根据小鼠的蛋白质亚群识别小鼠的类别。
Arrhythmia数据库的每个样本节点包含279个属性，其中206个为线性值，其余为标称值，目的是区分心律是否失常，并将其分类为16类。01类是正常心电图，02～15类是不同类型的心律失常，16类是其他未分类的心律失常。
3.2 实验设置
FHGNN架构包括关系编码器[φ]和分类器[θ]。关系编码器[φ]包括边更新函数和节点更新函数，是一个聚焦于边的图神经网络。通过一个全连接层批量归一化和一个Sigmoid激活函数来更新节点关系即边信息。节点更新函数是由一个全连接层批量归一化和一个LeakyReLU激活函数构成。分类器[θ]是一个聚焦于节点的HGNN过程，它直接使用通过隶属度函数得到的超边，与关系编码器[φ]相比，没有再对边信息进行更新。HGNN模型很浅（2层或3层），如果模型层数很深，输出特征就会过度平滑，来自不同集群的节点可能会变得无法区分。实验中关系编码器的层数[L1=1]，HGNN分类器层数[L2=2]。
首先将FHGNN模型与一些超图神经网络和图神经网络模型进行节点分类的对比。其中超图神经网络选取了Feng等提出的HGNN（hypergraph neural networks）[3]和他们在2023年改进的HGNN+[7]，Yang等的LE（line expansion hypergraph）[6]和Jiang 等的DHGNN（Dynamic HGNN）[4]。使用了超图数据集和表格数据在节点分类上进行对比。对于未提供边信息的表格数据，它们的超图结构通过k邻阶方法获得。
用来与FHGNN模型比较的普通图神经网络选取了GCN[8]和GAT[9]，并根据不同的图神经网络采样方法，选取了基于层级采样的FastGCN[10]、ASGCN和LADIES[11]，基于子图集采样的GraphSAINT[12]，HC-GNN[13]和DNGNN[14]进行对比实验。实验数据集中的表格数据均使用k邻阶方法构边建立图结构。通过将FHGNN与两个网络结构（HGNN[3]和FGCN）分别进行了分类实验对比，证明FHGNN方法的有效性。为了证明关系编码器的有效性，将k临界方法形成的超边HGNN模型和通过边聚合计算形成的超边模型进行对比。同时，通过FGCN模型来验证模糊隶属度函数构建超图过程的重要性。FGCN将通过隶属度函数得到超图结构改成普通图结构，并用GCN进行分类。
3.3 实验结果及分析
3.3.1 与其他图神经网络对比结果
表2所示为FHGNN分别与其他超图神经网络和图神经网络进行对比的结果。FHGNN在各个数据集分类的准确率显著优于其他神经网络。对于超图数据集Zoo和NTU2012，FHGNN分别有97.2%和78.8%准确率的较好表现。实验中将超图数据集的超边拆分成普通边用于实验中的图神经网络。对于其他6个表格数据集FHGNN的分类准确率也有很大提升，其中Mice Protein Expression数据集提升效果最好，只有Arrhythmia的结果没有达到最优，但相比其他大部分的分类结果，FHGNN仍具有较好表现。
FHGNN通过归纳节点之间的联系强弱，显著提高了学习性能。但是由于FHGNN第一步对边进行聚合时需要占用大量内存，对于大规模数据网络，FHGNN并不能很好处理。同时实验结果表明FHGNN能更好的聚合同类别节点的信息，显著提高分类的准确率。相比于高维数据集，那些提供节点信息很少的低维小数据集，比如Mice Protein Expression和Cardiotocography，更能让FHGNN发挥优势。
3.3.2 消融实验结果
FHGNN与传统GNN方法的区别主要在于两个方面：关系编码器和隶属度函数构造超图。表3显示了这两部分分别对结果的影响。HGNN模型和FHGNN模型对比显示了关系编码器对分类结果的影响。FHGNN有约17%的改进，这表明通过关系编码器可以将节点关系表示映射到一个更合理的分布。同时实验结果显示超图结构的FHGNN比普通图结构的FGCN模型多出约6.7%。因为超图结构能够传达数据之间复杂的高阶相关性，与普通图结构的方法相比，可以更好地表示出数据之间的底层关系。图3所示为模型FGCN和FHGNN的分类结果折线图对比。从折线图可以看出，两个模型的结果在Vehicle Silhouettes和Mice Protein Expression数据集上的差距更大。可能的原因是这些数据集的节点维度低携带的特征信息较少，更不容易分类。同时Vehicle Sihouettes数据的样本数较少，用于训练的数据信息就比较少。对比表明FHGNN中边聚合过程可以更准确地学习到相同类别之间的关系，抓住样本之间的联系，从而使隶属度功能更有效。
4 结论
本文提出一种具有强关系归纳的模糊超图神经网络FHGNN模型，用于处理低维数据集的分类问题。
1） FHGNN是在传统HGNN中加入了模糊理论，由隶属度函数从具有模糊关系的节点集合中生成合理的超图结构。对于不同数据集的分类任务，FHGNN可以更有效学习节点的相关特征信息，确保了学习任务的高效。
2） 选取多个数据集在图神经网络和超图神经网络上分别进行测试，并进行了消融实验，结果表明FHGNN在分类任务上取得了更好的效果。
3） FHGNN模型算法可以应用于数据的预测分类任务。但在实际应用中，大规模图面临计算效率低下、内存占用大等挑战。未来工作会尝试改进模型，以支持大规模的图处理。
参考文献：
[1] XU C， LI M， NI Z， et al. Groupnet：
Multiscale hypergraph neural networks for trajectory prediction with relational reasoning[C]//New Orleans：
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022.
[2] WEI T， HOU J， FENG R. Fuzzy graph neural network for few-shot learning[C]//Glasgow：
2020 International Joint Conference on Neural Networks （IJCNN）， 2020.
[3] FENG Y， YOU H， ZHANG Z，et al. Hypergraph neural networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence， 2019，33（1）：
3558-3565.
[4] JIANG J， WEI Y， FENG Y，et al. Dynamic hypergraph neural networks[C]//Macao：
Proceedings of the 28th International Joint Conference on Artificial Intelligence， 2019.
[5] YADATI N， NIMISHAKWVI M， YADAV P， et al. HyperGCN：
A new method of training graph convolutional networks on hypergraphs[J].Advances in Neural Information Processing Systems， 2019， 32：
1511-1522.
[6] YANG C， WANG R， YAO S， et al. Semi-supervised hypergraph node classification on hypergraph line expansion[J]. Association for Computing Machinery， 2022：
2352-2361.
[7] GAO Y， FENG Y， JI S， et al. HGNN+：
General hypergraph neural networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023（3）：
3181-3199.
[8] KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks[C]//Toulon：
5th International Conference on Learning Representations（ICLR），2017.
[9] VELIKOVI P， CUCURULL G， CASANOVA A， et al. Graph attention networks[C]// Vancouver：
6th International Conference on Learning Representations（ICLR），2018.
[10] CHEN J， MA T， XIAO C. FastGCN：
Fast learning with graph convolutional networks via importance sampling[C]//Vancouver：
6th International Conference on Learning Representations（ICLR），2018.
[11] ZOU D， HU Z， WANG Y，et al. Layer-dependent importance sampling for training deep and large graph convolutional networks[C]//Vancouver：
33rd Conference on Neural Information Processing Systems（NeurIPS）， 2019.
[12] ZENG H， ZHOU H， SRIVASTAVA A， et al. GraphSAINT：
Graph sampling based inductive learning method[C]//Addis Ababa：
Eighth International Conference on Learning Representations（ICLR），2020.
[13] ZHONG Z Q， LI C T， PANG J. Hierarchical message-passing graph neural networks[J].Data Mining and Knowledge Discovery， 2023，37：
381-408.
[14] MAURY S K， LIU X， MURATA T. Feature selection：
Key to enhance node classification with graph neural networks[J]. CAAI Transactions on Intelligence Technology， 2023， 8：14-28.
第一作者：熊婉悦（1999—），女，硕士研究生，研究方向为人工智能、深度学习。E-mail：531818418@qq.com。
通信作者：范自柱（1975—），男，博士，教授，博士生导师，研究方向为模式识别、机器学习。E-mail：zzfan3@163.com。