RWKV6 目前模型载入的速度挺久的,需要载入ninja2 extension。开发的时候经常重新载入模型,有没有啥好办法加速?目前用的gradio应用基座,每次更改应用层逻辑的时候都会重载。
RWKV6
目前模型载入的速度挺久的,需要载入ninja2 extension。开发的时候经常重新载入模型,有没有啥好办法加速?目前用的gradio应用基座,每次更改应用层逻辑的时候都会重载。