跳到正文
热点事件持续更新

Cartesia 发布 H-Net 扩展规律研究:字节级建模可省算力

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

Cartesia Research 发布系列研究博文首篇,介绍改进版分层网络 H-Net,用端到端学习的分块替代手工 BPE tokenizer。在匹配的 BPE Transformer scaling ladder 对比中,1-stage H-Net 验证损失算力效率提升 1.28 倍,下游评测约 2 倍,代码任务中位 2.04 倍,分布外编程语言中位达 3.10 倍;论文声称通过学习到的分块可实现最高 3-5 倍的算力效率提升。这些结果来自 Cartesia 自己的博客,属其研究结论。 文中模型为改进版 H-Net,Cartesia 称计划逐步向社区发布其中部分架构。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. Hacker News
    Cartesia 发布分层网络 H-Net 缩放研究,字节级建模可省 3-5 倍算力

    Cartesia Research 发布系列博客第一篇,介绍改进后的分层网络(H-Net),用它端到端学习分块来替代手工 BPE tokenizer。在匹配的 BPE Transformer scaling ladder 上,1-stage H-Net 验证损失算力效率提升 1.28x,下游评测约 2x,代码任务中位 2.04x,分布外编程语言中位达 3.10x。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。