Skip to content

请问是否计划支持 VLLM 的 Dynamic Connector #93

@flpanbin

Description

@flpanbin

我看现在适配 vLLM 需要 patch vLLM 代码,增加 KVConnector 的实现,现在 vLLM 支持 dynamic-connector,应该是不需要在 vLLM 基础上进行修改,可以直接使用外部的 KVConnector,请问这个方案有计划实现?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions