【新智元导（dǎo）读】图神经网（wǎng）络(Graph NN)是近（jìn）来的（de）一大研究热（rè）点，尤其是DeepMind提出的“Graph Networks”，号称（chēng）有望让深度学习实现因果（guǒ）推理（lǐ）。但这篇（piān）论文晦涩难懂，复星集团（tuán）首（shǒu）席AI科学（xué）家、大数医达创（chuàng）始人邓（dèng）侃博士，在清华俞（yú）士纶（lún）教授（shòu）团队对（duì）GNN综述清（qīng）晰分类的基础（chǔ）上，解析DeepMind“图网络”的意义。

- 1 -

回顾（gù） 2018 年机（jī）器（qì）学习的进展（zhǎn），2018年6月 DeepMind 团队发表的论文

“Relational inductive biases, deep learning, and graph networks”

，是一篇重要的论（lùn）文（wén），引（yǐn）起业界热议。

随后，很多学者沿着他们的思路，继（jì）续（xù）研（yán）究，其中包括清华（huá）大学孙茂松团（tuán）队。他（tā）们（men）于2018年12月（yuè），发表了一（yī）篇（piān）综述，题（tí）目是“Graph neural networks: A review of methods and applications”。

2019年1月，俞士（shì）纶教授（shòu）团队，也写了一篇（piān）综（zōng）述（shù），这（zhè）篇综述的覆盖（gài）面（miàn）更全面，题目是“A Comprehensive Survey on Graph Neural Networks”。

俞士纶教授团队（duì）综述（shù）GNN，来源：arxiv

DeepMind 团队的这篇论（lùn）文（wén），引起业界这（zhè）么（me）热烈的关注，或许有三个原因（yīn）：

声望：自（zì）从 AlphaGo 战胜李世（shì）乭以后，DeepMind 享（xiǎng）誉业（yè）界（jiè），成为机器学习业界的领军（jun1）团队，DeepMind 团队发表（biǎo）的论文，受到同行（háng）普遍（biàn）关注；

开源：DeepMind 团队发表论文 [1] 以后不久，就在 Github 上开源了他们开发的软件（jiàn）系统，项目名称叫 Graph Nets [4]；

主题：声望（wàng）和开源，都很重要（yào），但是并（bìng）不是被业界热议的（de）最主要的原因。最主（zhǔ）要（yào）的原因是（shì）主题，DeepMind 团队研（yán）究的主题是，如何用（yòng）深度学习方法（fǎ）处理图谱。

- 2 -

图谱 (Graph) 由点 (Node) 和边（biān） (Edge) 组成。

图谱是（shì）一个重要的（de）数学模型，可以用来（lái）解决（jué）很多问题。

譬如我（wǒ）们把城市地（dì）铁线路图当成图谱，每个地铁站（zhàn）就（jiù）是一个点，相邻的地铁（tiě）站（zhàn）之间的连线就是边，输入起点到（dào）终点，我们（men）可以通过（guò）图谱的（de）计算（suàn），计算出（chū）从起点（diǎn）到（dào）终点，时（shí）间最短（duǎn）、换乘次数最少的（de）行程路线。

又譬如 Google 和（hé）百度（dù）的搜索（suǒ）引（yǐn）擎（qíng），搜索引擎把世界上（shàng）每（měi）个（gè）网站（zhàn）的每个网页，都当（dāng）成（chéng）图谱中的一个点。每个（gè）网页里（lǐ），经常会（huì）有（yǒu）链接，引用其它网（wǎng）站的网页，每个链接都是图谱（pǔ）中的（de）一条边（biān）。哪个网页（yè）被引用得越多，就说明（míng）这个网页越靠谱，于（yú）是，在搜索结果的排名（míng）也（yě）就越靠（kào）前。

图（tú）谱的（de）操（cāo）作，仍然有许多问题有（yǒu）待解决。

譬如（rú）输入几亿（yì）条（tiáo）滴滴（dī）司机行进的路线，每条行进路（lù）线是（shì）按时间（jiān）排列的一连串（时间、GPS经纬度）数组。如何把几亿（yì）条行进路（lù）线（xiàn），叠加在一起，构（gòu）建（jiàn）城市地图？

不妨把地图也（yě）当成一个图谱，每个交叉路（lù）口，都是一个点，连接相邻的两个交叉路口，是一条边。

貌（mào）似（sì）很简单，但是细（xì）节很麻烦。

举（jǔ）个例子，交叉路口有很（hěn）多形式，不仅有十字路口，还有五角尝六道口，还有环形道立（lì）交桥——如何从多条路径中，确定（dìng）交（jiāo）叉路口的中心位置？

日（rì）本大阪天保山立交桥，你能确定这座立交桥的中（zhōng）心位（wèi）置吗（ma）？

- 3 -

把深度学习，用（yòng）来（lái）处（chù）理图谱，能够扩大我们（men）对图（tú）谱的处理（lǐ）能力。

深度（dù）学习在图像和文（wén）本的处（chù）理方面，已经取得了巨大（dà）的（de）成功。如何扩（kuò）大深度学（xué）习的（de）成果，使之应用（yòng）于图谱处理（lǐ）？

图像由（yóu）横平竖直的像素（sù）矩阵组成。如果换一个角度，把每个像素视为图谱中的一（yī）个点（diǎn），每个像素点与它周（zhōu）边的（de） 8 个相邻像素之（zhī）间都有（yǒu）边，而且每条边（biān）都（dōu）等长。通过这个视角（jiǎo），重新（xīn）审视图像，图像是广（guǎng）义图谱（pǔ）的一个特例。

处理图像的诸多（duō）深度学习手段，都可以改头（tóu）换面，应用于广义的图谱，譬如 convolution、residual、dropout、pooling、attention、encoder-decoder 等等。这就是（shì）深度学习图谱处理的最（zuì）初想法，很朴实（shí）很简单。

虽然最初想法很简单，但（dàn）是（shì）深入到细节（jiē），各（gè）种挑战层出（chū）不穷。每种挑战，都意味（wèi）着更强（qiáng）大的（de）技术能力，都孕育着更有潜力的（de）应用场景。

深度（dù）学习图谱（pǔ）处理（lǐ）这（zhè）个研究方向，业界没有统一的称谓。

强调图（tú）谱的数学属性的团队，把（bǎ）这个（gè）研究（jiū）方向命名为 Geometric Deep Learning。孙茂松团队（duì）和俞士纶团（tuán）队，强调（diào）神经网络在图谱处理中的重要性，强调思想来源，他（tā）们把（bǎ）这个方向命名为（wéi） Graph Neural Networks。DeepMind 团队却反对（duì）绑定特定技术手段（duàn），他们（men）使用更（gèng）抽象（xiàng）的名称，Graph Networks。

命名不（bú）那么重要，但是用哪种方法去梳理这个领域的诸多进（jìn）展，却很（hěn）重要。把各个学派的目标定位和技术方法（fǎ），梳理清楚，有利于加强同（tóng）行之间的（de）相互理解，有利于促进（jìn）同行之间的未来合作。

- 4 -

俞士纶团队（duì）把深（shēn）度学习（xí）图（tú）谱处理的诸多进展，梳理成（chéng） 5 个子（zǐ）方向，非常清晰好懂。

俞士纶团队把（bǎ）深度学（xué）习图谱处理梳理成（chéng） 5 个（gè）子方向，来源（yuán）：论文 A Comprehensive Survey on Graph Neural Networks

Graph Convolution Networks

Graph Attention Networks

Graph Embedding

Graph Generative Networks

Graph Spatial-temporal Networks

先说 Graph Convolution Networks (GCNs)。

GCN 类（lèi）别汇总，来（lái）源：论文 A Comprehensive Survey on Graph Neural Networks

GCN 把 CNN 诸般武器（qì），应用于（yú）广义图谱。CNN 主要分为四个任（rèn）务，

点与点之间的融（róng）合。在（zài）图像领域，点（diǎn）与点（diǎn）之间的融（róng）合（hé）主要通（tōng）过卷积技术 (convolution) 来实现。在广义图谱里，点与点之（zhī）间的关系，用边来表达。所以，在广义图谱（pǔ）里，点点融（róng）合（hé），有比卷积更（gèng）强大的（de）办法。Messsage passing [5] 就是一种（zhǒng）更强大的办法（fǎ）。

分层抽象（xiàng）。CNN 使用（yòng） convolution 的（de）办法，从原始像素矩阵中，逐层提炼出更精（jīng）炼更抽象的（de）特征。更高（gāo）层的点，不再是孤立的点，而是融合了相邻区域中其它点（diǎn）的（de）属性。融合邻点的办法，也可以（yǐ）应用于广义图（tú）谱中。

特征提（tí）炼。CNN 使用 pooling 等手段，从相邻原始（shǐ）像素（sù）中（zhōng），提炼（liàn）边缘。从（cóng）相邻（lín）边缘中，提（tí）炼实体轮廓。从（cóng）相邻实体中，提（tí）炼更高层更（gèng）抽象的实体。CNN 通常（cháng）把（bǎ） convolution 和 pooling 交替使用，构建结构更复（fù）杂，功能更强（qiáng）大（dà）的（de）神经（jīng）网络。对于广义图谱（pǔ），也可以融汇 Messsage passing 和 Pooling，构建多层图谱。

输出层。CNN 通常使用 softmax 等手段（duàn），对整张图像进行分类（lèi），识别图（tú）谱的语义内涵。对于广义图谱来说，输出的结果（guǒ）更多样，不仅可以对于（yú）整个图谱，输出分（fèn）类等等结果。而且也可（kě）以预测图谱中某（mǒu）个特定的（de）点的值，也可以预（yù）测某条边的值（zhí）。

GCN 和Graph Attention Networks 的区别来源：论文 A Comprehensive Survey on Graph Neural Networks

Graph Attention Networks 要解决的问题，与 GCN 类似（sì），区别（bié）在于点点融合、多层抽象（xiàng）的方法。

Graph Convolution Networks 使用卷积方式，实现点点融（róng）合和分层抽象。Convolution 卷积方式仅仅适（shì）用于融合相邻的点，而（ér） attention 聚焦方（fāng）式（shì）却不限（xiàn）于（yú）相邻的（de）点，每个点（diǎn）可以融合整个图谱中所有其它点，不（bú）管是否相邻，是否融合如何融合，取（qǔ）决（jué）于点与点之间的关联强弱。

Attention 能（néng）力更强大，但是对于算力的要求更高，因为需要（yào）计算整个图谱中任意两个点（diǎn）之间的关联强弱。所以 Graph Attention Networks 研（yán）究的重点（diǎn），是如何（hé）降低计算成本，或者通过并行计（jì）算（suàn），提（tí）高计（jì）算（suàn）效率。

- 5 -

Graph Embedding 要（yào）解决的问题（tí），是给图谱（pǔ）中每（měi）个点每条边，赋予一个数值张（zhāng）量。图（tú）像不存在（zài）这个问题，因（yīn）为像（xiàng）素天生是数值张量（liàng）。但是，文本由文字词汇语句段落构成，需要把文字词汇，转（zhuǎn）化成数值张量，才能使（shǐ）用深度学习的诸多算（suàn）法。

如果（guǒ）把文（wén）本（běn）中的每个文字或词汇（huì），当成（chéng）图（tú）谱中的一个点，同（tóng）时把词与词之（zhī）间的语法语义关系，当成图谱中的一条边，那么（me）语（yǔ）句和（hé）段落，就等同于行走在文（wén）本图谱中的一条行进路径。

如果（guǒ）能（néng）够给每个文字（zì）和词汇，都赋予一个贴切的数值张量，那么语（yǔ）句和段落（luò）对应的行进（jìn）路（lù）径，多半（bàn）是最短路径。

有多（duō）种实（shí）现 Graph Embedding 的办（bàn）法，其中效果比较好的办法是 Autoencoder。用（yòng） GCN 的办法，把图谱（pǔ）的点和（hé）边（biān）转换成数值张量（liàng），这个过程称（chēng）为编码 (encoding)，然（rán）后通过计算点与点（diǎn）之间的（de）距离，把数值（zhí）张量集合，反转为图谱，这个过程称为解码 (decoding)。通过不断地调参，让解（jiě）码得（dé）到的图谱，越来越趋近于原始图谱，这（zhè）个过（guò）程称为训练。

Graph Embedding 给（gěi）图谱（pǔ）中的（de）每个点每条边（biān），赋予贴切的数值张量，但是它不解决图谱的（de）结构问题（tí）。

如果输入（rù）大量的图谱行进路（lù）径，如（rú）何从这些行进路径中，识别哪些点与哪些点之（zhī）间有连边（biān）？难度更大（dà）的（de）问题是，如果没（méi）有（yǒu）行进（jìn）路径，输入的训练数据（jù）是图谱的局（jú）部，以及与之对应（yīng）的图谱的特性，如何把局（jú）部拼（pīn）接成图谱全貌？这些（xiē）问题（tí）是 Graph Generative Networks 要解（jiě）决的问（wèn）题（tí）。

Graph Generative Networks 比（bǐ）较（jiào）有潜力的实（shí）现方法，是使用 Generative Adversarial Networks (GAN)。

GAN 由生成器 (generator) 和（hé）辨别器 (discriminator) 两（liǎng）部（bù）分构成：1. 从训练数（shù）据中，譬如海量行（háng）进路（lù）径，生成器猜测数据背后（hòu）的图谱（pǔ）应该长什么样；2. 用生成出来（lái）的图谱，伪造一（yī）批行进路径（jìng）；3. 从大量伪造（zào）的路（lù）径和（hé）真实的路径中，挑选几条（tiáo）路径，让（ràng）辨（biàn）别器识别哪几条路径（jìng）是（shì）伪造的。

如果辨别器傻傻分不清谁是伪（wěi）造路径，谁是真实路径，说明生成（chéng）器（qì）生成（chéng）出（chū）的图谱，很接近于真实图谱。

GCN 以外的其他（tā） 4 种图谱神经网络，来源：论文 A Comprehensive Survey on Graph Neural Networks

- 6 -

以上我们（men）讨论了针（zhēn）对静态图谱的（de）若（ruò）干（gàn）问题，但是图谱有时候是动态的，譬（pì）如地图中表现的道路是静态（tài）的（de），但（dàn）是路况是（shì）动态的。

如何预测（cè）春节期间，北京天安门（mén）附近（jìn）的交（jiāo）通（tōng）拥堵情况？解决这个问题，不仅要考虑空间 spatial 的（de）因素，譬如天安门（mén）周边（biān）的道（dào）路（lù）结构，也要考虑时间 temporal 的因素，譬如往年春（chūn）节（jiē）期间该地区交通拥堵情况（kuàng）。这就是 Graph Spatial-temporal Networks 要解决（jué）的问题（tí）之（zhī）一（yī）。

Graph Spatial-temporal Networks 还能解决（jué）其（qí）它（tā）问题，譬如输入一段踢球的视频，如何在（zài）每（měi）一（yī）帧图像（xiàng）中，识别足球的位置（zhì）？这个问题（tí）的难（nán）点（diǎn）在于，在视（shì）频的某（mǒu）些帧中，足球有可能（néng）是看（kàn）不见的，譬如（rú）被球（qiú）员的腿遮（zhē）挡了。

解决（jué）时间序列问题的通常思路，是（shì） RNN，包括 LSTM 和 GRU 等等。

DeepMind 团队在 RNN 基（jī）础上，又添加了编码和解码 (encoder-decoder) 机制。

- 7 -

在 DeepMind 团队的这篇论文里[1]，他（tā）们声（shēng）称自己的工作，“part position paper, part review, and part unification”，既是提（tí）案，又是（shì）综（zōng）述，又是融合。这（zhè）话怎么理解？

DeepMind联合谷歌大脑、MIT等（děng）机构（gòu）27位（wèi）作者发表重磅（páng）论（lùn）文（wén），提出“图网络”（Graph network），将端到端（duān）学习（xí）与归纳推理相结合，有望解决深（shēn）度（dù）学习无法（fǎ）进行关系推理（lǐ）的问题。

前文说到，俞（yú）士纶团队把深度（dù）学习图谱处理的诸多进（jìn）展，梳理成 5 个子方向：1) Graph Convolution Networks、2) Graph Attention Networks、3) Graph Embedding、4) Graph Generative Networks、5) Graph Spatial-temporal Networks。

DeepMind 团队（duì）在 5 个子方向中着力（lì）解决后 4 个方向，分别是 Graph Attention Networks、Graph Embedding、Graph Generative Networks 和 Graph Spatial-temporal Networks。他们（men）把（bǎ）这四个方向的成果，“融（róng）合”成统（tǒng）一（yī）的框架（jià），命（mìng）名为 Graph Networks。

在他们的论文中，对这（zhè）个四个子（zǐ）方向沿途的诸多（duō）成（chéng）果，做了（le）“综（zōng）述”，但是并没有综述 Graph Convolution Networks 方向的成果（guǒ）。然后他们从这四个子方向的诸多成果中，挑选出了（le）他（tā）们认为最（zuì）有（yǒu）潜力的方法，形成自己的“提案（àn）”，这（zhè）就（jiù）是他们开源的代码（mǎ） [4]。

DeepMind在2018年10月开（kāi）源的Graph Nets library，用（yòng）于（yú）在（zài）TensorFlow中构建简单而（ér）强大的关系推理网络。来源（yuán）：github.com/deepmind/graph_nets

虽然论文（wén）中，他们声称他们的提案解决了四个子方向（xiàng）的问题，但是查看他们开源（yuán）的代码，发现其实他们着力（lì）解决的是后（hòu）两个子方向，Graph Attention Networks 和 Graph Spatial-temporal Networks。

DeepMind 的（de）思（sī）路是这样的：首先，把 [5] 的 message passing 点点融合的机制，与 [6] 图谱全局的（de）聚焦机制相结合，构建通用的 graph block 模块（kuài）；其次，把 LSTM 要素融进 encoder-decoder 框架，构建时间序列机（jī）制；最（zuì）后，把 graph block 模块融进 encoder-decoder 框架（jià），形（xíng）成 Graph Spatial-temporal Networks 通用系（xì）统。

- 8 -

为什么 DeepMind 的成果很重要？事（shì）关四（sì）件大事。

一、深（shēn）度学（xué）习（xí）过程的解释

从原（yuán）理上讲，深度（dù）学习譬如 CNN 的（de）成（chéng）果，来自于对图像（xiàng）的不断抽象。也（yě）就是，从原始的像素矩（jǔ）阵（zhèn）中，抽象出线（xiàn）段。从首尾相连（lián）的（de）相邻线段中，抽（chōu）象出实（shí）体的轮廓。从轮廓抽象出实体，从实体抽象出语义。

但（dàn）是，如果（guǒ）窥探 CNN 每（měi）一层的中间（jiān）结果，实际上很难明确，究（jiū）竟是哪（nǎ）一（yī）层的（de）哪些节点，抽（chōu）象出了轮廓（kuò），也不知道哪一层（céng）的哪些节点，抽象出了（le）实体。总而（ér）言之，CNN 的网络结构（gòu）是个迷，无法（fǎ）明确地解释网络结构隐（yǐn）藏的工（gōng）作过程的（de）细节。

无法解释工作过程的细节，也就谈不上人（rén）为干预。如果 CNN 出了（le）问题，只（zhī）好重新（xīn）训练。但重新训练后（hòu）的结果，是（shì）否能达到期待（dài）的效果，无法事先语料。往往按（àn）下葫芦浮起瓢，解决了这个缺陷，却（què）引发了其它缺陷。

反过来（lái）说，如果（guǒ）能明确地搞清楚 CNN 工（gōng）作过程（chéng）的细节，就可以有针对性地调（diào）整个别（bié）层次的个别节点（diǎn）的参数（shù），事先人为精准干预。

二、小（xiǎo）样本学习

深（shēn）度学习依赖训（xùn）练数（shù）据，训练数据（jù）的规模通常很大，少则几万，多（duō）大几百万。从哪（nǎ）里收（shōu）集这么多训（xùn）练数据，需要组织多少人力去对训练数据进行标注，都是（shì）巨大挑战。

如（rú）果对深度学习的过程细节（jiē），有（yǒu）更清晰的了（le）解，我（wǒ）们就可以改善卷积这（zhè）种蛮力的做法，用更少的训练数据（jù），训练（liàn）更轻巧的深度学（xué）习模型。

卷积（jī）的过程，是蛮力的（de）过（guò）程（chéng），它对相邻的点，无（wú）一遗（yí）漏地不分青红皂白地进行卷积处理。

如果（guǒ）我们对点与（yǔ）点之间的关联关系（xì），有更明（míng）确的了解，就不需要对相邻的点，无一遗漏地不分青红皂白（bái）地进行卷积（jī）处理。只（zhī）需要对有关联的点，进行卷积或者其它处理（lǐ）。

根据点与点（diǎn）之间的关联关系，构（gòu）建出来的网络，就是广义（yì）图谱。广义图谱的结（jié）构（gòu），通常比 CNN 网络更加简单（dān），所以，需要（yào）的训练数据量也更少。

三、迁移学习和推（tuī）理

用当今的 CNN，可以从大量图片中，识别某种实（shí）体，譬如猫。

但是，如果想给识别猫（māo）的 CNN 扩大能力，让（ràng）它不仅能识别猫，还能识别（bié）狗，就需要额外的识别狗的训练数据（jù）。这是迁移学习（xí）的过（guò）程（chéng）。

能不能不（bú）提供（gòng）额（é）外的识别狗的（de）训练数据，而只是用（yòng）规则这样的方式，告诉电脑（nǎo）猫与狗的区别，然后让（ràng）电脑（nǎo）识别狗？这是推理的目标。

如果对深度学（xué）习过程有更精（jīng）准的了解，就能把（bǎ）知识（shí）和规则（zé），融（róng）进深度学习（xí）。

从广（guǎng）义范围说，深度学习和知识图谱，是机器学习阵营中诸（zhū）多学派的两大主流学派。迄今为止（zhǐ），这两大学派隔岸叫（jiào）阵，各（gè）有胜负。如何融合两大学派，取长补短，是困扰学界很久的难题（tí）。把深（shēn）度学（xué）习（xí）延伸到图谱（pǔ）处理，给两大学派的融合，带来了（le）希望（wàng）。

四（sì）、空间和（hé）时间（jiān）的融合，像素与语义的融合

视频处理，可以说是（shì）深度学习（xí）的最高境界。

视频处理融合（hé）了（le）图像的空（kōng）间分割，图像中实体的（de）识别，实体对应（yīng）的（de）语义理（lǐ）解。

多帧静态图像串连在一起（qǐ）形成（chéng）视频，实（shí）际上是时间序列。同一个实体，在不同帧中所处的位（wèi）置，蕴含着实体的运动。运动（dòng）的背后（hòu），是物理定（dìng）律和语义关联。

如何从一段（duàn）视频，总结出文本标题。或（huò）者（zhě）反过来，如何根据一（yī）句文本标题，找到最贴切（qiē）的视频（pín）。这是视频处理的经典（diǎn）任（rèn）务，也是难度超大的任务。

参（cān）考文献

Relational inductive biases, deep learning, and graph networks，https://arxiv.org/abs/1806.01261

Graph neural networks: A review ofmethods and applications，https://arxiv.org/abs/1812.08434

A Comprehensive Survey on Graph Neural Networks，https://arxiv.org/abs/1901.00596

Graph nets，https://github.com/deepmind/graph_nets

Neural message passing for quantum chemistry，https://arxiv.org/abs/1704.01212

Non-local neural networks，https://arxiv.org/abs/1711.07971