要闻:什么是优秀的图表示？斯坦福提出首个新闻论大体上——图新闻瓶颈

本篇文章1989字，读完约5分钟

arxiv作者: tailin wu等机器的心编译:魔王对图结构数据来说“优秀”的表示是什么？ 斯坦福的研究者重新考虑了这一点，提出了学习稳健图表示的新闻论的大致图新闻瓶颈( gib )。 研究者建立了这一基本的gib-cat和gib-bern两个gnn模型，两者在对抗攻击时取得了良好的性能 图示学习以基于图结构数据学习显示为目的，用于节点分类、链路预测等下游任务 因为节点的特征和图的结构包含重要的新闻，所以这张图说明了学习任务有一定的挑战性。 图神经网络( gnn )融合了节点的特征和来自图结构的消息，因此具有良好的性能 最近，人们开始关注如何开发更强大的gnn，拟合更多复杂的图表结构数据 但是，现在gnn依然面临着一点问题 例如，邻近节点的特征包括可能会对当前节点的预测产生不利影响的无用消息 另外，gnn依赖于通过图边的信息传播，不擅长对比图结构的噪音和攻击 最近，来自斯坦福大学的研究者想处理以上问题，重新考虑对图表结构数据来说什么是“优秀”。 具体来说，新闻瓶颈( ib )为表示学习提供了核心基本:最佳表现应该包括适合下游预测任务的最小的足够消息 ib鼓励最大限度地包括与目标有关的消息，以使预测结果尽可能准确(足够) 另一方面，ib抑制表示从数据中取得与预测目标无关的多馀新闻(最低)。 基于这个学习范例得到的模型不会自然地发生过拟合，可以对攻击具有顽强性 论文地址: arxiv/pdf/.12811.pdf项目地址: snap.stanford.edu/gib/github地址: github/snap-stanford/gib 在图结构数据中，这个假设不成立。 这是因为根据ib几乎很难训练模型。 另外，结构新闻对于表示图的结构数据是必不可少的，但这样的新闻比较分散，所以不容易优化 从图结构中适当地建模和提取最小限度的足够新闻带来了另一个课题。 处理方法:图新闻瓶颈( gib )该研究是基于ib提出新闻理论的大致图新闻瓶颈( gib )，专门构建于图结构数据的显示学习中的 gib从图结构和节点特征中提取新闻，鼓励学习表现中的新闻既满足最低也满足充分(参照图1 )。 为了克服非独立同分布数据带来的挑战，研究者利用图表结构数据的局部依赖假设来定义最佳p(z|d )的搜索空间，并根据马尔可夫链分层从特征和图表结构中提取新闻 研究人员表示，该研究为基于图结构数据的监视式表达学习提供了最初的新闻论 图2:gib几乎利用局部依赖假设 研究者为gib扩展了变分上下界，符合gnn的设计和优化。 具体来说，在该研究中，提出了约束节点特征和从图结构中提取新闻的变分上限。 将显示中的新闻在变分下限最大化，预测目标 研究者将gib粗略应用于图观察力互联网( gat )，利用gat的观察力加权采样图结构，缓解了离散图结构的优化和建模的难度 研究者还根据类别分布和伯努利分布设计了两种采样算法，提出了两种模型gib-cat和gib-bern。 gib-cat和gib-bern的算法参照algorithm 2和algorithm 3，algorithm 1表示两种算法的基本框架 gib-cat和gib-bern算法 gib-cat和gib-bern算法的基本框架 实验表明，这两种模型提高了标准基线模型的鲁棒性，性能高于其他sota防御模型 gib-cat和gib-bern在抗干扰能力强时的分类精度分别提高了31.3%和34.0% 实验对抗攻击研究者关于不同模型对抗攻击的鲁棒性，实验结果如表1所示 由此可知，gib-cat在cora和pubmed的分类精度与gat相比分别提高了8.9%和14.4%，gib-bern提高了8.4%和14.6%，gib几乎有效地提高了gnn的鲁棒性 干扰值为1时，观察到gib-cat和gib-bern在pubmed的分类精度与gat相比分别提高了31.3%和34.0% 为了进一步确认ib对节点特征的比较有效性，研究者在节点特征中引入了随机扰动 实验结果参照下述表3 :在不同特征性噪声比的情况下，gib-cat和gib-bern继续优于避开ib的其他模型，特别是在特征性噪声比大(λ = 1.5 )的情况下，仅具备结构ib的aib模型的性能与gib模型相比， 这表明，特征攻击成为干扰的主要来源时，gib使模型具有很强的鲁棒性 java工程师入门深度学习(2):djl推理机制是DJL从亚马逊推出的开源深度学习开发包，是基于现有深度学习框架使用原生java概念构建的开发库 djl现在提供了mxnet、pytorch和tensorflow的实现 java开发人员可以立即将深度学习的sota成果集成到java应用程序中 原标题:“什么是优秀的图表示？ 斯坦福大学提出的第一个新闻论大致是——图新闻瓶颈》阅读了原文