跳到正文
Hacker News· coffeemug·· 4 小时前AI 评分56

Ubicloud 如何用约束解码修复 vLLM 工具调用准确率

Fixing Tool-Call Accuracy in vLLM

AI 导读

Ubicloud 工程师介绍其用 vLLM 服务 Kimi K2.6 和 DeepSeek V4 Flash 时,工具调用 schema 准确率仅 92%,通过启用 vLLM 0.31 服务端基于 XGrammar 的约束解码功能,在 K2VV ToolCall 基准上达到 100% schema 准确率。

来源:Hacker News · ubicloud.com