跳到正文
Hacker News· guybedo·· 8 小时前AI 评分59

Cartesia 发布分层网络 H-Net 缩放研究,字节级建模可省 3-5 倍算力

Scaling Hierarchical Networks

AI 导读

Cartesia Research 发布系列博客第一篇,介绍改进后的分层网络(H-Net),用它端到端学习分块来替代手工 BPE tokenizer。在匹配的 BPE Transformer scaling ladder 上,1-stage H-Net 验证损失算力效率提升 1.28x,下游评测约 2x,代码任务中位 2.04x,分布外编程语言中位达 3.10x。

来源:Hacker News · cartesia.ai