论文阅读笔记---CyGNet阅读笔记-TKG推理任务
1.简介
- 标题：Learning from History: Modeling Temporal Knowledge Graphs with Sequential
Copy-Generation Networks - 时间：2021
- 会议: Proceedings of the AAAI Conference on Artificial Intelligence(AAAI 2021,CCF-A)
- 机构：国防科技大学、南加州大学、法国高等信息工程师学院
- 关键词： 时序知识图谱、实体预测、复制生成机制
2.概述
作者在论文中指出 现存的一些时间知识图谱嵌入方法只是关注单个快照的潜在表示，因此不能够捕获连续时间快照的长期依赖的事实，作者通过调研发现时间知识图谱数据集中许多事实，都存在一定的重复性，例如，全球经济危机每隔7-10年周期性发生。更重要的是，作者发现ICEWS数据集(1995-2019)的事实，**80%**都曾经出现过。（但是这一数据来源并未指出）于是作者收到NLG领域中，应用于摘要生成的复制机制启发(copy mechanism)的启发，提出了CyGNet。 复制机制是指在文本摘要生成任务中会选择性的复制源文本中的子序列，从而帮助获取源文本中比较重要突出的信息。
作者将词表分为全体词表 和 历史词表，分别对应Generation mode 和 Copy mode，再将两者预测出来的概率向量进行加和，作为最终的预测，如下图所示，作者用NBA冠军队来举例。
3.文章写作结构
摘要 abstract
—-1.Introduction
介绍任务背景及价值、简要列举一些相关研究存在的问题、引出自己工作的介绍（解决了什么问题）、写出自己工作的Highlight
—-2.Related Work
在相关工作介绍时，先列举了部分相关工作，然后会指出他们所存在的缺点或者问题，然后引出自己方法的优越性。
—-3.Method
文章符号说明、介绍模型细节（训练和推理部分的细节工作）
——–3.1 Notion
在符号说明部分，解释了为什么用预测客实体来推理，以及历史词表是一个由候选实体数量维大小的列表组成，列表中元素为1，表示在历史中针对特定的主实体和关系出现过的客实体，0则表示该客实体 在历史中没出现过。
——–3.2 Model Components
介绍模型的各部分组件功能，以及训练推理的细节，比如说在评估CyGNet性能的时候，他所使用的历史词表就是训练集中最大历史词表。
——–3.3 learning object
——–3.4 Inference
—-4.Experiment
——–4.1 Experimental Setup （实验设置以及一些超参数的设置）
——–4.2 Results
Link prediction 在这里是 指的是 头实体预测 和 尾实体预测 两者的均值，作为最终的指标。
在其中两个数据集上的预测结果文章作者进行了 头实体预测 和 尾实体预测 的性能分解，查看两者性能的均值是多少。
——–4.3 Ablation Study
—-5.Conclusion
4.数据集
ICEWS18 ((Boschee et al. 2015); from 1/1/2018 to 10/31/2018) and ICEWS14 ((Trivedi et al. 2017); from 1/1/2014 to 12/31/2014). GDELT (Leetaru and Schrodt 2013) is a catalog of human societal-scale behavior
and beliefs extracted from news media, and the experimental dataset is collected from 1/1/2018 to 1/31/2018 with a time granularity of 15 mins. The WIKI and YAGO datasets are subsets of the Wikipedia history and YAGO3 (Mahdis-oltani, Biega, and Suchanek 2014), respectively. Since the WIKI and YAGO datasets contain temporal facts with a time span in the form as (s, p, o, [Ts, Te]), where Ts is the starting time and Te is the ending time, we follow prior work (Jin et al. 2019) to discretize these temporal facts into snapshots with the time granularity of a year.
5.个人总结
该模型的网络结构非常简单，就是一个MLP，不禁有个疑问，这么简单的一个网络真的可以从结构复杂且语义含义多样的时间知识图谱网络中，学到东西么？我觉得几乎是没有的。而且文中说 出发点是因为发现大部分时间都是过去重复发生的，是否是因为学习到了这个统计分布规律，而取得了这个指标的假象呢？
在知乎上看到一篇博文，印证了我的猜测，该知乎博主通过修改α的值发现generation mode对于结果的指标几乎不起作用，这也就说明了几乎都是靠Copy Mode所取得的最终性能表现,而Copy mode产生的性能预测表现，也几乎是靠历史词表的建立而得来的，实际上MLP基本上没有学到什么演化模式，所以个人感觉这篇文章的写作还有思路结构是值得我们学习的，但是在真正的创新上，可能有一些投机取巧的嫌疑。
