semantic-router

vLLM语义路由器，用于异构LLM推理的混合模型架构，通过信号和偏好路由到不同模型路径。