Sakana AI出了一篇关于循环模型记忆机制的有趣论文。循环模型擅长状态追踪，但通常把所有信息都塞进一个隐藏向量里，导致短期计算和长期存储抢空间。这个“连续记忆机”给模型配备了两个记忆矩阵：一个存短期神经活动，一个存长期信息。Transformer每一步都读写这两个内存。它基于Sakana的“连续思维机”，在复制任务和关联回忆测试中，表现超过了LSTM、DNC、RMC和CTM等基线模型。
—— DAIR.AI (@dair_ai) X帖子｜2026-10-09T00:50:01+00:00
原帖：https://x.com/dair_ai/status/2108359294609768715
DAIR.AI：Sakana AI出了一篇关于循环模型记忆机制的有趣论文。循…
Sakana AI出了一篇关于循环模型记忆机制的有趣论文。循环模型擅长状态追踪，但通常把所有信息都塞进一个隐藏向量里，导致短期计算和长期存储抢空间。这个“连续记忆机”给模型配备了两个记忆矩阵：一个存短期神经活动，一个存长期信息。Transf
扫描二维码，在手机上阅读
