编译 | 龚倩 校对 | 青暮
现实世界中，各种性质的交易网络、社会互动和交往等许多问题都是动态的，并且都可以被建模成节点和边随时间变化的图。在这篇文章中，我们介绍了时态图网络，这是由Twitter开发的，用于动态图深度学习的通用框架。本文作者是Twitter的图学习研究负责人Michael Bronstein。
在一个动态的Twitter用户网络里，用户们通过发布推特进行交互并相互关注。图中所有的边都有一个时间戳。我们想要基于这样一个动态图来预测未来的交互如何发生，比如用户会喜欢哪种类型的推特，或者他们会选择关注谁。
本图展示了一个TGN编码器接收了一个具有七条可视边（分别带有时间戳 t₁到 t₇）的动态图，目的是预测在t₈时刻（即图中灰色边缘），节点2和节点4之间出现交互的概率。为此，TGN在t₈时间点计算节点2和节点4的嵌入，然后将这些嵌入串联起来并传输到解码器（例如MLP），最后解码器输出两节点发生交互的概率。
图嵌入模块通过在与目标节点时间临近的节点上执行聚合来计算目标节点的嵌入。在上图中，当在某个时刻t（t大于t₂、 t₃ 和 t₄， 但小于 t₅）计算节点1的嵌入时，时间临近的节点将只包括在时刻t之前出现的边。因此，节点5的边不参与计算，因为它是在时刻t之后才出现。然而，嵌入模块是通过聚合临近点2、3和4的特征（v）和内存（s）以及边缘上的特征来计算节点1的表征。在我们的实验中，表现最好的图形嵌入模块是图注意力（graph attention），它能够根据临近节点的内存、特征和交互时间来得出哪些是最重要的临近节点。
图示为TGN对一批训练数据进行的计算。一方面，嵌入模块使用时间图和节点内存（1）生成嵌入，然后使用嵌入来预测批处理交互作用并计算损失（2，3）。另一方面，这些预测出的交互被用来更新内存（4，5）。
图示为训练内存相关模块所需的TGN操作流程。我们引入了一个叫做“原始消息存储”（raw message store）的新组件，用于存储模型已经处理过的交互。raw message store存储了计算消息（我们称之为raw messages）所必须的信息。这样模型就可以将交互时进行的内存更新推迟到后续的批处理。首先，用存储在前一个批处理（1和2）中的原始消息来计算信息，并用此信息来更新内存。然后可以用这一更新过的内存（即图中灰色连线）（3）来计算嵌入。这样就使得内存相关模块的计算能够直接影响损失值（4和5），并且它们会接收到一个梯度。最后，此批处理交互的原始消息被存储在raw message store（6）中，以供后续的批处理使用。
图示为基于维基百科数据集，在未来链路预测的预测精度和时间方面，比较不同配置的TGN和已有的方法（如TGAT和Jodie）。我们希望更多的论文能够以严谨的方式报告这两个重要数据。-
内存很重要：内存的缺失会导致模型性能的大幅下降。 -
使用嵌入模块(而不是直接输出内存状态)非常重要，基于图注意的嵌入性能最好。 -
由于1-hop临近节点的内存能使模型间接访问1-hop临近节点的信息，因此在有内存的情况下，模型仅仅使用一个图注意层就足够了(这样就极大地减少了计算时间)。
<section data-brushtype="text" style="padding-right: 0em;padding-left: 0em;white-space: normal;max-width: 100%;letter-spacing: 0.544px;color: rgb(62, 62, 62);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;widows: 1;word-spacing: 2px;caret-color: rgb(255, 0, 0);text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong>完<strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong></span></strong></span></strong></section><pre style="padding-right: 0em;padding-left: 0em;max-width: 100%;letter-spacing: 0.544px;color: rgb(62, 62, 62);widows: 1;word-spacing: 2px;caret-color: rgb(255, 0, 0);text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"><pre style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;max-width: 100%;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 16px;font-family: 微软雅黑;caret-color: red;box-sizing: border-box !important;overflow-wrap: break-word !important;">为您推荐</span></strong></span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">一文了解深度推荐算法的演进</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">干货 | 算法工程师超实用技术路线图</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">13个算法工程师必须掌握的PyTorch Tricks</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">吴恩达上新：生成对抗网络（GAN）专项课程</span><br /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">拿到2021灰飞烟灭算法岗offer的大佬们是啥样的<span style="font-size: 14px;">?</span></section></section></section></section></section></section></section></section></section>
本篇文章来源于: 深度学习这件小事
本文为原创文章，版权归知行编程网所有，欢迎分享本文，转载请保留出处！
内容反馈