图形神经网络

图形神经网络（GNN）是一类人工神经网络，用于处理可以表示为图形的数据。在几何深度学习这一更普遍的主题中，某些现有的神经网络架构可以被解释为在适当定义的图形上运行的GNN。卷积神经网络，在计算机视觉的背景下，可以被看作是一个应用于像素网格结构的图形的神经网络。在自然语言处理的背景下，变压器可以被看作是应用于完整图形的GNN，其节点是句子中的单词。GNN的关键设计元素是使用成对的信息传递，这样，图的节点通过与它们的邻居交换信息来迭代更新它们的表示。自成立以来，已经提出了几种不同的GNN架构，它们实现了不同类型的消息传递。截至2022年，是否有可能定义超越消息传递的GNN架构，或者是否每个GNN都可以建立在适当定义的图上的消息传递，是一个开放的研究问题。图神经网络的相关应用领域包括社交网络、引文网络、分子生物学、化学、物理学和NP-hard组合优化问题。目前有几个实现图神经网络的开源库，如PyTorchGeometric（PyTorch）、TensorFlowGNN（TensorFlow）和jraph（GoogleJAX）。架构通用GNN的架构实现了以下基本层。包容等值：包容等值层将一个图的表示映射到同一图的更新表示中。在文献中，包络等值层是通过图节点之间的成对消息传递来实现的。直观地说，在消息传递层中，节点通过汇总从其近邻收到的消息来更新其表示。

因此，每个消息传递层都会使GNN的感受野增加一跳。本地池化：本地池化层通过下采样对图进行粗化。本地池化被用来增加GNN的感受野，其方式与卷积神经网络中的池化层类似。例子包括k-近邻池化、top-k池化和自我注意池化。全局池化：全局池化层，也被称为读出层，提供整个图的固定尺寸表示。全局池化层必须是变化无常的，这样，图的节点和边的排序的变化不会改变最终的输出。已经证明GNN不可能比Weisfeiler-Lehman图的同构性测试更具表现力。在实践中，这意味着存在着不同的图结构（例如，具有相同原子但不同键的分子），这些图结构不能被GNNs区分。可以设计出更强大的GNN，在更高维度的几何结构上操作，如简单的复合体。截至2022年，未来的架构是否会克服消息传递的基本原理是一个开放的研究问题。

消息传递层是将一个图映射到同一图的更新表示的互换层。从形式上看，它们可以表示为消息传递神经网络（MPNNs）。{displaystylepsi}是可微调的函数（如人工神经网络）。是可微分的函数（例如，人工神经网络），并且{displaystylebigoplus}是一个包络不变的聚合算子。是一个包络不变的聚合算子，可以接受任意数量的输入（例如，元素明智的和、平均值或xxx值）。特别是{displaystyle/psi}分别被称为更新函数和消息函数。分别被称为更新和消息函数。直观地说，在一个MPNN计算块中，图节点通过汇总从其邻居处收到的消息来更新其表示。{displaystyleuinV}中的每个节点。节点表示可以用于任何下游任务，如节点/图的分类或边缘p