vllm

• vllm-project/vllm
  • Apache-2.0, Python, CUDA, Linux

caution

• 不支持 macOS vllm-project/vllm#1441