互动练习 11 / 12

序列模型记忆实验

把一次重大事件推得越来越远，观察不同模型怎样保留它。这里使用可手算的简化规则，只解释结构，不代表真实模型表现。

预计用时14 分钟
练习目标理解窗口、状态、门控和直接连接
数据十二天虚构事件序列

把重大事件放到几天前

选择模型

今天还保留多少影响

0%

固定窗口只检查最近五天。

结构差别

固定窗口事件离开窗口后完全看不见
RNN影响沿状态逐步衰减
LSTM遗忘门接近 1 时能保留更久
GRU用较少门控制旧状态与新候选
Attention当前位置可以直接连接较早位置

Attention 可以直接连接，并不表示它自动知道哪一天重要。权重仍要从数据中学习，也可能抓住偶然相关。