文章
26
标签
56
分类
4
主页
标签
分类
关于
友情链接
思想是一个锐化的过程
论文阅读笔记---CyGNet阅读笔记-TKG推理任务
返回首页
搜索
主页
标签
分类
关于
友情链接
论文阅读笔记---CyGNet阅读笔记-TKG推理任务
发表于
2025-06-03
|
更新于
2025-06-03
|
论文阅读笔记
|
总字数:
19
|
阅读时长:
1分钟
|
浏览量:
|
评论数:
当前文章暂不对外可见,请输入密码后查看!
文章作者:
TCcjx
文章链接:
https://tccjx.github.io/2025-06-03-post9_CyGNet/
版权声明:
本博客所有文章除特别声明外,均采用
CC BY-NC-SA 4.0
许可协议。转载请注明来源
思想是一个锐化的过程
!
论文阅读笔记
TKGs
补全推理
private
CyGNet
上一篇
编码注意力机制的梳理(自用-分享)
编码注意力机制的梳理(自用-分享) 目前主流的大语言模型都是基于Transformer架构的,而Transformer架构的核心是Attention机制,所以了解Attention机制对于理解Transformer架构至关重要。 1.长序列建模中问题过去在处理序列文本等数据时,大多采用RNN等模型,虽然部分应用场景下RNN模型的效果不错,但是面对长序列数据时,存在遗忘问题,从而导致对长序列模型建模时效果不是很好。因此,在2017年,Transformer模型应运而生,Transformer模型在长序列建模中,通过引入Attention机制,解决RNN模型中的遗忘问题,并大大提高模型的效果。 2.过去编码器-解码器模型存在问题由于之前编码器-解码器模型,主要还是基于RNN模型,编码器生成整个文本的编码向量,再将这个编码向量输入给解码器,解码器基于编码向量生成输出预测,但是由于存在长距离遗忘信息丢失问题,编码向量会丢失长文本前段的信息,从而导致预测效果不好。然后注意力机制可以很好的解决这个问题,注意力机制可以捕获较长的依赖关系,获得更准确的编码向量表示。 1...
下一篇
第一次实习及读研一年来心路历程总结
相关推荐
2025-06-15
论文阅读笔记---LLM + 图结构信息编码未知实体和关系进行TKGs补全任务
2025-08-16
论文阅读笔记---LCGE-基于逻辑和常识来实现时态知识图谱补全的方法
2025-08-11
论文阅读笔记---LLM结合规则学习方法提出一种新的时态知识图谱推理框架
2025-10-09
ssh连接远程服务器及Linux小常识
2025-06-21
时态知识图谱外推任务指标计算中过滤策略选择问题
2025-06-03
第一次实习及读研一年来心路历程总结
评论
TCcjx
生活给我出难题,我说ok小问题
文章
26
标签
56
分类
4
Follow Me
公告
欢迎志同道合的朋友,一起交流
目录
1.
1.简介
2.
2.概述
3.
3.文章写作结构
3.1.
—-1.Introduction
3.2.
—-2.Related Work
3.3.
—-3.Method
3.3.1.
——–3.1 Notion
3.3.2.
——–3.2 Model Components
3.3.3.
——–3.3 learning object
3.3.4.
——–3.4 Inference
3.4.
—-4.Experiment
3.4.1.
——–4.1 Experimental Setup (实验设置以及一些超参数的设置)
3.4.2.
——–4.2 Results
3.5.
——–4.3 Ablation Study
3.6.
—-5.Conclusion
4.
4.数据集
5.
5.个人总结
最新文章
Qwen2技术报告
2025-12-03
Q-learning及DQN算法
2025-11-25
博士屯TalkShow阅读文献总结
2025-11-23
与远端服务器进行文件传输同步的方式总结
2025-10-14
pyenv + poetry 进行多版本python项目管理方案
2025-10-12
繁
搜索
数据加载中