BLOG

个人博客,记录学习与生活

读论文9月第三周

Published Sept. 21, 2020, 3:44 p.m. by kkk

从这周开始,坚持每周读论文,做笔记!


1. 异质信息网络分析与应用综述[软件学报2020]

1.1 概念

信息网络:一个有向图$G=(V, E, \varphi, \psi,A,R)$,包括节点集$V$、链路集$E$、对象类型映射函数$\varphi$、关系类型映射函数$\psi$、对象类型集$A$、关系类型集$R$。通过对象类型映射函数,每个节点都有所属于的对象类型,;通过关系类型映射函数$\psi$,每个链路都有所属的关系类型。

异质网络:信息网络中对象类型数$\vert A\vert>1$或关系类型数$\vert R\vert > 1$

同质网络:对象类型数和关系类型数都为1

元路径:信息网络中特定模式的一条路径,如$A_1R_1A_2R_2A_3$。metapath2vec中的游走模式就是元路径。

受限元路径:元路径将网络中的路径进行了模式化,不再是随机的游走,但元路径难以捕捉到更加精细的路径,于是出现了受限元路径,可以理解为条件查询。

受限元路径是基于特定约束的元路径,表示为$P|C$,其中$P$为元路径,而$C$为对象的约束。

加权元路径:元路径的另外一种拓展,是指限制了关系属性值的元路径

元结构/元图:元路径是网络中的线性序列,元结构/元图则是多条元路径构成的有向无环图

异质图举例

  • 多关系网络。单类型对象、多类型关系
  • 二分网络。两种类型对象间的交互
  • 星型网络。如数据库表、文献信息网络,单中心
  • 多中心网络。
  • 属性网络。节点带额外的属性
  • 无模式网络。过于庞大、复杂,无法被单一地建模,如知识图谱。

元路径的缺点

  1. 仅仅适用计算两个邻近实体的相似性
  2. 元路径的选择依赖于领域知识和分析
  3. 可以有效获取源对象和目标对象的单一关系,但往往无法衡量实际问题中的复杂相似性

1.2 研究

主要为了两类:基于元路径的数据挖掘、异质网络表示学习。

前者分为以下几类任务:

  1. 相似性度量。异质网络上衡量结构相似性时,需要考虑连接两对象的元路径种类。基于元路径的相似性度量存在三点缺陷:仅适用计算两个邻近实体的相似性;元路径选择往往依赖领域知识;无法衡量实际问题中的复杂相似性。
  2. 推荐
  3. 元路径选择策略
  4. 其它

后者分为:

  1. 浅层模型。基于分解;基于随机游走;基于关系
  2. 深层模型。基于自动编码器;基于生成对抗网络;基于强化学习;基于图神经网络

1.3 发展方向

  1. 面向多模态数据的异质网络构建与分析方法
  2. 面向复杂网络数据的异质网络分析方法
  3. 面向深度计算的异质网络表示学习。异质图神经网络的内部机制;异质图神经网络的健壮性;一直网络表示学习的可解释性;异质网络与知识的融合

2. HARP: Hierarchical Representation Learning for Networks[AAAI2018]

二作为Bryan Perozzi(Deepwalk作者),对于流行的几大网络表示方法(Deepwalk、LINE、Node2Vec),认为都存在两大主要问题:

  1. 都是局部方法,难以学习全局结构特征,随机游走探索的是局部附近节点,LINE所提出的一阶相似性、二阶相似性最多只有两跳步的距离。
  2. 都依赖的是非凸的优化,通过随机梯度下降来求解,可能陷入。

论文提出一个层次框架HARP,目的是为了学到更多的全局结构特征,即在第一个问题上进行改善。

思想:几大表示方法无法学到全局特征的原因在于网络规模较大,通过固定长度的随机游走或二阶相似性只能覆盖到网络的很小一部分,除非网络很小。于是考虑将网络缩小化,论文中使用的是边收缩星型收缩,星型收缩是为了处理边收缩难以高效处理的场景,如下图所示。边收缩和星型收缩的思想正好对应的是LINE中的一阶相似性和二阶相似性,通过这样处理,将一个大的网络逐步缩小,最终满足停止条件(文中说的是小于100个节点),以此得到$G_0,G_1,\cdots,G_L$,其中$G_0$为初始图,$G_L$为停止收缩时的图(子图),然后从后往前逐步学习表示(可使用任意一种通用网络表示学习方法进行学习)。

算法:上面思想部分同时说了基本处理流程,有一个细节处理,从小图变成大图过程中,小图的节点表示已经学到,在逆边收缩和逆星型收缩过程中,将大图的各节点初值设置为小图中对应合成节点的节点向量表示。

效果:贴出论文第一页的可视化效果图


3. Heterogeneous Network Representation Learning[IJCAI2020]

对异质网络表示学习进行了梳理,可以分为两类:浅层表示学习图神经网络

3.1 异质网络数据挖掘

通常异质网络数据挖掘的工作流是先定义出元路径或其变种如元图、元结构,之后利用这些作为特征开发机器学习模型。

存在的挑战:

  1. 元路径构建需要相关领域知识和经验
  2. 元路径的传统用法限于离散空间,两个节点在图中不连通,元路径难以获取其联系。

对于2,举例一个具有代表性的例子:两个学者发表的论文分别只在NeurIPS和ICML,那么通过“作者-论文-期刊-论文-作者”这条元路径,两者的相似性为0,但由于NeurIPS和ICML具有强关联性,导致这个结论反常识。

3.2 异质网络表示

对于异质网络的表示,主要障碍是如何将非欧几里得图结构转换到欧几里得空间。一个方向是通过随机游走将图结构转变为序列结构;另一个方向是通过图的谱结构和卷积过滤器。方法分类如下:

基于分布式假设:“在同一上下文中共同出现的单词往往具有相似的含义 ”。基于此,有Deepwalk, node2vec, LINE, 及其矩阵分解理解的框架NetMF;在异质网络中,首先是PTE,然后为了更好获取图的异质性,metapath2vec被提出,之后再利用元路径的思路上,出现了HIN2vec、GATNE、TapEm、NeRank、HeteSpaceyWalk。在基于skip-gram模型上,还有其它技术如标签传播、分解、基于生成对抗网络的方法,但大部分是针对具体任务并需要监督信息。此外,还有HERec、HueRec、HeGAN

图神经网络:图神经网络中,节点的领域被考虑为节点聚合信息的接收域,聚合过程可以被抽象为$H^{l+1}=\sigma(\tilde AH^{(l)}W^{(l)})$,括号内三项分别为从图上获取的过滤器、节点表示、$l$层参数矩阵。最早对多关系图进行建模的图神经网络模型是RGCN(Relational Graph Convolutional Networks, 2018),对于每类边都保持了一个不同的权重值,为处理具有大量关系的图,RGCN还将特定关系的参数分解为几个基本矩阵的线性组合。Decagon模型则在每种类型的关系上应用图卷积过滤器。为了处理异质图结构和节点属性,HetGNN使用特定的RNN对邻居节点的每种类型进行编码。之外还有使用Attention机制、Transformer的模型HAN、HGT等。为了适应异质属性,所有这类方法对不同关系类型都采用了不同权重

3.3 知识图谱和属性网络

通常知识图谱表示是为了补全知识图谱三元组的技术,主要解决方案分为两类,神经网络表示,如TransE;张量分解,如基于RESCAL的模型。

属性网络表示具有与图神经网络类似的输入,ANE、DANE模型用来对网络中的潜在关系进行建模,学者提出了GATNE框架,用以解决归属性、多元性和异质性问题。

3.4 应用

相似性搜索、知识图谱推理、问题回答、推荐

3.5 发展方向

避免手动元路径构造、多感知表示、预训练图神经网络、多任务学习、动态性和可扩展性


4. Meta-learning on Heterogeneous Information Networks for Cold-start Recommendation[KDD2020]

着眼于推荐中的冷启动问题,对于冷启动问题,早期的方法式利用辅助的边信息(边、节点特征),如在Deepwalk类的推荐中,冷启动通过单独训练节点标签属性,通过平均节点所具有标签属性的向量表示,作为新加入节点的向量表示。随之更多的方法式利用异质信息网络(HIN),通过高阶图结构获取更丰富的语义,以上这些方法都是数据层策略。之后有利用元学习范式的方法在模型层对该问题进行处理。本文提出了MetaHIN框架,用以处理冷启动问题。

4.1 冷启动推荐:

对于异质信息图$G={ V,E,O,R}$,令$V_U,V_I$分别表示用户对象和商品对象,要预测用户$u$对商品$i$的未知评分$R_{u,i}$时,如果$u$是一个仅有很少量评分数据的新用户对象,称此为用户冷启(user cold-start, UC);如果$i$是一个仅有少量评分的新商品对象,称之为商品冷启动(item cold-start, IC);如果两者都符合,称之为用户-商品冷启动(user-item cold-start, UIC)

4.2 MetaHIN:

包括两部分,Semantic-enhanced task constructor, Co-adaptation meta-learner

  1. Semantic-enhanced task constructor。上图(a),进行数据增强。给定对于任务$T_u=(S_u, Q_u)$,语义增强支持集定义为: $$ S_u = (S_u^R, S_u^P) $$ 数据增强的方式就是给定几种元路径模式,通过这些模式采样出所需对象(user或item),作为上下文。上式中$S_u^R$为被用户评价过的商品集,$S_u^p$为通过元路径进行采样获得的增强数据(上下文商品集)。同样有语义增强查询集: $$ Q_u = (Q_u^R, Q_u^P) $$ $Q_u^R$为用于在元训练中计算任务损失的已评分商品集,或在元测试中进行预测的带隐藏评分商品集;

  2. Co-adaptation meta-learner。如上图(b),为基本模型,包括两部分,上下文聚合函数$g_\phi$和偏好预测$h_\omega$,前者生成用户向量表示,后者进行评分预测,模型可以表示为$f_\theta=(h_\omega, g_\phi)$。

4.3 流程:

随机初始化参数$\theta$和embedding查找表等参数;对于每个任务$T_u$,通过元路径获取更多数据,构造出支持集$S_u$和查找集$Q_u$,在任务上及以元路径$p$(表示特定的一种语义空间),进行用户表示向量训练: $$ x_u^p = g_{\phi^p}(u,S_u^p) = \sigma(mean({We_j + b:j\in S_u^p})) $$ 上式相当于单层神经网络,采用平均池化和LeakyRelu激活函数,输入为商品数据,输出为用户向量表示。 通过梯度下降对参数$\phi^p$进行更新,学习率为$\alpha$,之后通过全连接层将$\omega, x_u^p$映射到同一空间: $$ \omega^p = \omega \bigodot k(x_u^p) $$

在偏好预测阶段,采用的是MLP多层感知机(就是最普通的多层神经网络),2层网络,输入是用户向量表示和商品向量表示,输出是用户对该商品的评分预测: $$ \tilde r_{ui} = h_{\omega^p}(x_u, e_i) = MLP(x_u \bigoplus e_i) $$

损失函数如下: $$ L_{T_u}(\omega, x_u^p, S_u^R)=\frac{1}{\vert S_u^R\vert}\sum_{i\in S_u^R}(r_{ui}-h_\omega(x_u^p, e_i))^2 $$

上面$\theta_u^p =(\phi^p_u, \omega^p_u)$分别称为语义层和任务层,全局参数$\theta =(\phi, \omega)$通过下式进行优化: $$ \min_\theta\sum_{T_u\in T}L_{T_u}(\omega_u,x_u,Q_u^R) $$



Share this post
< Pre: 服务器机器学习、深度学习配置 Pos: 主成分分析 >
1 comment
Similar posts
Add a new comment