论文阅读笔记---LLM结合规则学习方法提出一种新的时态知识图谱推理框架

1.简介

• 标题：GenTKG: Generative Forecasting on Temporal Knowledge Graph with Large Language Models
• 时间： 2023
• 会议： Findings of NAACL 2024
• 结构：慕尼黑大学、慕尼黑工业大学、西门子公司

2.概述

    文章提出了一种名为GenTKG的两阶段时间知识图谱推理生成框架，由两部分组成分别是TLR(规则学习方法) + FIT(少样本参数指导微调-Lora)，TLR主要通过规则学习，检索到相关事实，然后将相关事实填入提示词模板中，再通过大模型进行时间知识图谱外推任务，获得最终的推理结果，实现将传统的时间知识图谱推理任务转化为 大模型生成任务，并取得不错的结果。

3.整体框架

4.实验 and 讨论

讨论：实验结果相比传统的嵌入方法和基于规则的方法以及ICL上下文学习方法效果都更好，因此证明了将大模型生成预测任务应用于时间知识图谱推理任务是一个新的前沿方向。

4.1 消融实验

讨论：通过消融实验证明了 GenTKG框架不同组件的有效性，同时说明了FIT(Few-shot tuning)的有效性，越多指导训练样本，FIT的的效果会更好。

5.个人总结

    作者在文章开篇提出了两个问题，1.时间知识图谱的结构化数据是否可以被大模型理解(大模型容易理解的是自然语言)，最终证明GenTKG框架可以理解；2.训练大模型庞大的计算量和时间成本问题，作者通过FIT的方式解决。 GenTKG框架主要有两部分组成分别是TLR + FIT，实现时态知识图谱的推理任务。(We propose a retrieval-augmented generative framework GenTKG that can efficiently align LLM with temporal relational forecasting task through two stages: temporal logical rule-based retrieval (TLR) and few-shot parameter-efficient fine-tuning (FIT).)过去的时间知识图谱推理任务主要是以数据为中心进行学习，因此数据集的划分等，都会对结果造成比较大的影响，但是作者提出的GenTKG框架在这方面具有较强的抗干扰性，不会因为数据集的部分缺失而造成比较大的性能损失，将以数据为中心的学习方式转化为以任务为中心的学习方式，这是一种比较新颖的思路。