AWS Machine Learning Blog· Josh Longenecker·· 20 小时前AI 评分34
使用 torchtitan 在 AWS Trainium 上训练 Qwen3
Train Qwen3 on AWS Trainium with torchtitan
AI 导读
AWS 介绍在单台 trn2.48xlarge(含 16 个 Trainium2 加速器)上用 torchtitan 训练 Qwen3 的三种方式:Transformers v5 建模后端、torchtitan 原生 Qwen3,以及 NKI MoE 内核。
来源:AWS Machine Learning Blog · aws.amazon.com