Text Generation Inference

约 1 分钟阅读

huggingface/text-generation-inference
支持硬件
- Nvidia
- AMD (-rocm)
- Inferentia
- Intel GPU
- Gaudi
- Google TPU

bash

docker run --rm -it --gpus all --shm-size 64g \
  -p 8080:80 \
  -v $volume:/data \
  --name tgi ghcr.io/huggingface/text-generation-inference:3.3.4 \
  --model-id $model

关联信息

反向链接、本文链接的其他页面和外部资料。

参考资料

GitHub1 条

huggingface/text-generation-inferencegithub.com/huggingface/text-generation-inference

最近更新2025年8月27日commit 84163d5 编辑

Stable-Diffusion.Cpp

Vercel AI SDK