Hacker News· guybedo·· 8 小时前AI 评分59
Cartesia 发布分层网络 H-Net 缩放研究,字节级建模可省 3-5 倍算力
Scaling Hierarchical Networks
AI 导读
Cartesia Research 发布系列博客第一篇,介绍改进后的分层网络(H-Net),用它端到端学习分块来替代手工 BPE tokenizer。在匹配的 BPE Transformer scaling ladder 上,1-stage H-Net 验证损失算力效率提升 1.28x,下游评测约 2x,代码任务中位 2.04x,分布外编程语言中位达 3.10x。
来源:Hacker News · cartesia.ai