状态空间模型
状态空间模型（SSM）是一种 AI 模型架构，它从头开始逐个读取文本、声音等较长的序列数据，并把目前为止看到的内容不断覆写进一个大小固定、称为“状态”的摘要中进行处理。它作为替代或补充 Transformer 的方式而受到关注。
工作原理
SSM 每接收一个输入 token（把文本切分成的小片段），就更新一次内部“状态”。状态是对目前为止所读内容的压缩摘要，大小始终不变。模型同时参考新 token 和之前的状态来更新状态，再根据该状态产生输出。Transformer 的注意力在每个新 token 到来时都要重新查看之前的所有 token，而 SSM 只需查看一份摘要，因此即使文本变长，计算量也不会大幅增加。Mamba 等近期的 SSM 采用了根据输入内容选择保留什么、遗忘什么的方式（选择性 SSM），从而提升了性能。
为什么重要
Transformer 的输入越长，计算量和内存（KV 缓存等）增长得越快，处理极长的文档、语音、基因组数据时负担较重。SSM 的成本只随输入长度成比例增长，因此在处理长数据时更有优势。生成回答时也只需携带一个固定大小的状态，因此推理速度快、内存占用少。所以在重视长上下文和效率的服务以及端侧 AI 领域，它受到很大关注。
注意事项
由于要把所有信息压缩进一个小小的状态，许多评价认为，在从长文本中准确找出某个特定句子并原样复制这类任务上，它不如注意力。因此，如今经常使用把 SSM 层和注意力层混合在一起的“混合”架构。名称中的“状态空间”原本来自控制工程中描述系统的数学框架，但从使用者的角度，把它理解为“携带摘要的序列模型”就足够了。其思路本身与 RNN 相似，不同之处在于它的设计使训练可以并行、快速地进行。
示例
Mamba 是具有代表性的基于 SSM 的语言模型架构，此后在多项研究和开放权重模型中被作为 Transformer 的替代方案进行试验。在实际产品方面，已经出现了交替堆叠 SSM 层和注意力层的混合 LLM，其主打优势是即使输入长文档也占用更少内存、回答更快。