Repository navigation
混合模型 OffloadingConnector 误用 NIXL 前缀命中规则，导致热请求输出错误 #40
Description
补测 KV Tiering 时定位到一个 Host 侧的问题，先把复现和修复分支放在这里。
Qwen3.5-35B-A3B、TP2，保留 APC、MTP2、异步调度和 FULL_AND_PIECEWISE 图模式。Native 的 26 项检索检查全部通过；接入 OffloadingConnector 后，8K 热请求连续输出 token 0。出错前只有保存记录，没有外部恢复。
Scheduler 对所有带连接器的混合模型都调用了 find_longest_cache_hit_per_group()，再取最长命中长度。这里默认缺失的 Mamba 状态会像 NIXL 一样补齐，但 OffloadingConnector 并不提供这个保证。
修复分支 增加了显式能力声明：默认使用各组共同命中的边界，NIXL 保留原有行为。实际容器复测中，此前失败的 8K 热请求通过，32K 冷/热请求也通过。Scheduler 回归测试通过，pre-commit（含 mypy）通过。
还不能说 Tiering 已完整可用：后续检查遇到了插件自己的异步查询竞态，已在 Tiering PR #3 修复并重新验证。性能曲线会等完整正确性检查和配对测量完成后再更新。
这个 Host 修复由 Codex 协助完成，目前保留在分支上，合入前需要人工检查能力约定及 NIXL 路径。
Activity
ShuhaoZhangTony commentedon Sep 26, 2026
补一个同配置复测结果：这次把相同的 hybrid prefix 命中能力修复用到 Mooncake AscendStore 路径，26 项检索检查全部通过，之前失败的 warm-262080 也答对了。匹配 Native 重跑同样是 26/26。
模型仍是 Qwen3.5-35B-A3B，TP2、APC、MTP2、async、FULL_AND_PIECEWISE 都保留，通过插件管理器启动。这个结果支持修复此前的长前缀复用错误，但还只是这组检索检查，不能当成一般质量或性能结论。五档并发的性能对照已经开始跑。
另外发现服务停止后有自己的 worker 遗留、显存没有释放，已单独记录到 manager PR #8。实验释放检查也补上了实际 HBM 和进程组核验。
ShuhaoZhangTony commentedon Nov 8, 2026
2026-11-08 maintainer closure: the recorded hybrid-prefix correctness failure was resolved for its target configuration. The follow-up matched run reported 26/26 native and 26/26 Mooncake/AscendStore checks passing, including the previously failing warm-262080 case. Current main has since replaced the old connector path and no longer contains the implicated find_longest_cache_hit_per_group flow; hybrid/Mamba connector behavior now has dedicated current tests. This closure is a correctness-fix disposition only, not a general quality or performance claim.