Mamba-3是由Together AI推出的新一代状态空间模型(SSM)，以推理效率为首要目标进行设计。主要技术升级包括：更表达性的递归公式、复数值状态追踪、以及MIMO（多输入多输出）变体，可在不降低解码速度的情况下提升准确性。在1.5B规模下，Mamba-3 SISO在所有序列长度的prefill+decode延迟上超越了Mamba-2、Gated DeltaNet和Llama-3.2-1B。团队同时开源了内核代码，采用Triton、TileLang和CuTe DSL编写以实现最佳硬件性能。该项目由卡内基梅隆大学、普林斯顿大学、Cartesia AI和Together AI合作完成。
原文链接：https://www.together.ai/blog/mamba-3
🕐 发布于: 2026年03月21日 18:04
发表回复