AWS Machine Learning Blog· Kevin Shabahang·· 2 天前AI 评分40
i14 Laplace 3B 线性注意力模型在 AWS Trainium2 上用原生 PyTorch 训练与服务
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 的 Laplace 3B 用线性注意力替代 softmax attention，循环状态固定为每序列 29.5 MB，不随上下文增长。
来源：AWS Machine Learning Blog · aws.amazon.com