AI 隐藏的存储账单:推理会留下什么
西部数据(WD)的分析指出,AI 推理产生的后端数据常在基础设施规划中被忽略:一段 8 秒、3.97MB 的 720p AI 生成视频,后端会留下超过 500MB 的关联数据,是输出文件的 130 倍。
西部数据(WD)的分析指出,AI 推理产生的后端数据常在基础设施规划中被忽略:一段 8 秒、3.97MB 的 720p AI 生成视频,后端会留下超过 500MB 的关联数据,是输出文件的 130 倍。
Latent Space 在 AIE NYC 期间采访 SF Compute CEO Evan Conrad,探讨算力交易市场的现状与算力数据中心的可编程化。他从酒店类比解释公司从转租集群发展到构建完整的物理结算能力,目前总容量约 5% 挂上订单簿且流动性集中,客户每花 100 美元平均能通过转卖收回 25 美元。
企业 AI 正从零散试点走向生产基础设施,核心指标不再是单个 token 或 GPU 小时的价格,而是「每个有效成果的有效成本」。HPE 提出三种运行模式:自建堆栈、按需消费和集成式私有 AI 平台,并强调利用率与运营纪律决定投资回报。
UC Berkeley 的 Aditya G. Parameswaran 等人撰文指出,GPT-4 级能力的推理成本已从 2023 年初的约 $30 per million tokens 降至 $1 以下,部分供应商低于 $0.10,推理价格每年下降 9x 到 900x,中位数约 50x。