Hacker News· coffeemug·· 4 小时前AI 评分56
Ubicloud 如何用约束解码修复 vLLM 工具调用准确率
Fixing Tool-Call Accuracy in vLLM
AI 导读
Ubicloud 工程师介绍其用 vLLM 服务 Kimi K2.6 和 DeepSeek V4 Flash 时,工具调用 schema 准确率仅 92%,通过启用 vLLM 0.31 服务端基于 XGrammar 的约束解码功能,在 K2VV ToolCall 基准上达到 100% schema 准确率。
来源:Hacker News · ubicloud.com