您好,欢迎访问代理记账网站
移动应用 微信公众号 联系我们

咨询热线 -

电话 15988168888

联系客服
  • 价格透明
  • 信息保密
  • 进度掌控
  • 售后无忧

Strategies for Pre-training Graph Neural Networks | PreGNN | GNN预训练策略 | Meta-MGNN初始参数获取

今天给大家介绍ICLR会议上的一篇文章,“STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS”。文章提出了一种图神经网络的预训练策略PreGNN,同时在图级和节点级进行预训练,在提高模型泛化能力的同时避免了负迁移的产生。这篇文章被Meta-MGNN引用了,用来获取初始化参数。
在这里插入图片描述

1. Introduction

在机器学习领域,对于特定任务标签少的问题,解决办法通常是在数据丰富的相关任务上对模型进行预训练,然后在特定任务上进行微调。这种预训练方法在NLP和CV领域非常有效,但如何在图形数据上使用预训练策略没有被解决。

仅仅在在节点水平或整个图的水平上预训练GNN改善有限,甚至可能导致负迁移,因此作者提出了一种预训练GNN的方法,核心思想是同时在节点水平和整个图的水平上预训练GNN,使GNN能够同时学习到有用的局部和全局表示。

图1 不同预训练策略下的节点嵌入与图嵌入

当仅使用节点级预训练时,不同形状的节点(语义上不同的节点)可以很好地分离,但是节点嵌入是不可组合的,因此通过池化节点级嵌入得到的图嵌入不是线性可分的,如图1(a.i)所示;当仅使用图级预训练时,图嵌入可以很好地分离,但是单个节点的嵌入不一定能够捕获其特定领域的语义,如图1(a.ii)所示;当同时使用节点级预训练和图级预训练时,不同类型的节点可以很好地分离,同时,嵌入空间也是可组合的,这允许对整个图进行精确的表示,并允许将预训练的模型转移到各种下游任务中。如图1(a.iii)所示。

2. 模型介绍

2.1 overview

本文的预训练策略是:
① 执行node-level self-supervised pre-training;
② 执行graph-level multi-task supervised pre-training ;
③ 将得到的GNN模型在下游任务中进行微调,图级表示经过线性分类器后预测下游任务的图标签。

2.2 Node-level Pre-training

对于GNN的节点级预训练,本文使用容易获得的未标记数据和自然图分布来捕获图中特定领域的知识或规则。接下来,本文提出了两种自监督方法:Context Prediction与Attribute Masking。

2.2.1 context prediction

图2 Context Prediction

Neighborhood:节点v的邻居是v的K-hop邻域,这意味着邻居包含了图中距离v最多K-hop的所有节点和边,K是GNN的层,在这里将k设置为2,编码neighbor获得node embedding,记为hv(k)。hv(k)如何获得在Meta-MGNN的论文解读中有详细介绍。
Context graph:由r1和r2两个参数控制,也就是一个圆环的范围即为子图,宽度为r2-r1,本文设r1=1,r2=4。
Context anchor nodes:令r1<K使得Neighborhood和Context graph之间共享一些节点,将这些节点称为context anchor nodes(上下文锚节点),这些锚节点描述了邻居和上下文图是如何相互连接的。获取context anchor nodes的embedding,取平均,得到固定长度的context embedding,记为cvG。(GNN’是context GNN,是一个辅助GNN)

neighbor由 main GNN获得,context graph由context GNN也就是GNN’获得。main GNN对邻居节点进行编码来获得node embedding;context GNN对context graph进行编码得到context embedding。本文使用负采样来共同学习main GNN和context GNN。这里设置负采样率=1,也就是正样本数=负样本数。
context prediction的目标是对 特定neighborhood和特定context graph 是否属于同一节点进行二元分类。

2.2.2 attribute masking

在这里插入图片描述
attribute masking的目标是通过学习图结构上节点或边的属性分布规律来获取领域知识。步骤如下:

step1:随机mask节点/边的属性,如分子图中原子的类型,用特殊符号替换。
step2:用GNN获得相应的节点/边embedding,对于边来说,用边两端所连节点的embedding之和来表示边的属性。
step3:使用线性模型预测mask的节点/边的属性。

domain knowledge:数据是哪个领域,那么这个领域的知识就是domain-knowledge,也就是这个领域的一些先验知识。如药物领域,domain-knowledge就是药物的一些知识。

本文介绍的应用主要有两个:
①在药物分子图中,节点的属性对应于原子的类型,使用attribute masking可以捕获这些属性在图中是如何分布的,有助于GNN学习到简单的化学规则(如化合价)以及更复杂的化学现象。
②在蛋白质相互作网络(PPI)中,边的属性对应于一对蛋白质中不同的互作关系,使用attribute masking有助于GNN捕捉图中的属性分布,学到不同的相互作用如何关联。

2.3 Graph-level Pre-training

2.3.1 Supervised graph-level property prediction

graph supervised learning的任务是学习有助于预测 graph label 的向量hG 。比如分子性质预测时,G表示分子图,节点表示原子,边表示化学键,label可以是毒性等。由于图级的表示hG是直接用于下游预测任务并进行微调的,所以我们需要将特定领域的信息编码到hG中。

仅使用图级多任务预训练进行迁移学习的效果可能并不好,因为一些有监督预训练任务可能和下游任务并不相关,甚至会对下游任务的性能产生负作用(负迁移)。对于这个问题,一种解决方法是选择相关的有监督预训练任务,并且在在这些任务上预训练GNN,但是这种方法通常不可取,因为选择出相关的任务需要专业知识,而且预训练应该能应用于多个独立的不同的下游任务。

为了解决这一问题,作者只使用多任务有监督预训练进行图级的学习,不使用在此过程中生成的节点嵌入。因为在节点的嵌入空间中,许多不同的预训练任务容易互相干扰,这些无用的节点表示可能会加重负迁移问题。

2.3.2 Structural similarity prediction

第二种图级别预测任务是建模两个图的结构相似性,这样的任务有建模图的编辑距离、预测图结构的相似性等。但因为graph相似度的度量比较困难,目前没有一个比较好的定义,作者认为这个方法超出了本文的范围,因此没有实现。

3. 实验

3.1 数据集

3.1.1预训练数据集:

①在化学领域
节点级自监督预训练任务:ZINC15数据库,采样200万个未标记分子;
图级多任务监督预训练:ChEMBL数据集,45.6万个分子、1310种生化分析。
②在生物领域
节点级自监督预训练任务:39.5万个未标记的蛋白质ego-network,来自50个物种的PPI网络;
图级多任务监督预训练:8.8万个标记的蛋白质ego-network,预测5000个生物功能,如细胞凋亡、细胞增殖等。

3.1.2 下游分类数据集

在化学领域:使用MoleculeNet中的8个二分类的数据集
在生物领域:从PPI网络中获取数据,由来自8个不同物种的88K蛋白质组成,有40个二分类任务。

3.2 评估指标

ROC-AUC

3.3 实验结果

3.3.1 Molecular prediction benchmarks using different pre-training strategies with GIN

若只进行图级或只进行节点级预训练都可能会导致负迁移,而同时使用图级和节点级预训练就不会产生负迁移,故节点级和图形级预训练对于良好的性能至关重要,如表1所示。
在这里插入图片描述

3.3.2 Different GNN architectures with and without pre-training

测试不同的GNN结构在有无pre-train下的性能,可以发现最强大的图神经网络GIN在经过预训练后性能最好;表现力较差的GNN进行预训练后增益较小,甚至可能出现负迁移,这说明GNN的选择对预训练十分重要,在表达能力较弱的GNN上进行预训练有可能会损害表现;在没有预先训练的情况下,表现力较弱的GNN比表现力最强的GIN性能稍好,因为它们在低数据状态下的模型复杂度较小,然而,通过预训练,最具表现力的GIN被适当地规范化,效果变好,如表2所示。
在这里插入图片描述

4. 结论

本文为GNN开发了一个有效的预训练策略,具体来说亮点如下:
①同时在图级与节点级对GNN进行预训练,使GNN可以同时学习到图的局部和全局信息;
②具有强泛化能力,同时解决了负迁移问题;
②构建了两个预训练数据集。


分享:

低价透明

统一报价,无隐形消费

金牌服务

一对一专属顾问7*24小时金牌服务

信息保密

个人信息安全有保障

售后无忧

服务出问题客服经理全程跟进