Moonshot AI于近期发布了一种名为“Kimi Linear”的新型混合线性注意力架构。据称，该架构在处理短程、长程信息以及强化学习（Reinforcement Learning, RL）等多种场景中，性能优于传统的全注意力（full-attention）方法。其核心技术Kimi Delta Attention (KDA) 是对门控DeltaNet (Gated DeltaNet) ...