llama-swap

mostlygeek/llama-swap
- MIT, Golang
- 提供反向代理
- 按需启动进程
- 可以使用 proxy 指向上游服务，cmd 可以是 docker 启动

docker pull ghcr.io/mostlygeek/llama-swap:cuda

llama:
  image: ghcr.io/mostlygeek/llama-swap:v172-cuda-b7062
  container_name: llama
  command:
    - -watch-config
    - -config
    - /llama/llama-swap.yaml
  volumes:
    - ./models:/models
    - ./models:/root/.cache/llama.cpp
    # the user is app, home is /app, uid=10001
    - ./models:/app/.cache/llama.cpp
    - ./llama:/llama
  ports:
    - 11435:8080
  environment:
    HF_ENDPOINT: https://modelscope.cn
  sysctls:
    net.ipv6.conf.all.disable_ipv6: 1
  deploy:
    resources:
      reservations:
        devices:
          - driver: nvidia
            count: all
            capabilities: [gpu]

API

OpenAI API
- v1/completions
- v1/chat/completions
- v1/embeddings
- v1/audio/speech, v1/audio/transcriptions
- v1/images/generations, v1/images/edits (基于上游引擎能力透传)
对于图片生成 (v1/images/*)：
- 原理: llama-swap 本身不实现也不依赖特定量化引擎处理图片生成，它只负责依据请求中的 model 解析并按需启动/唤醒在 llama-swap.yaml 里配置的对应的上游 cmd 或 proxy。
- 实现方式: 可以配置一个外部程序（如 LocalAI、Stable Diffusion WebUI 加 OpenAI proxy、或者是使用 ComfyUI 的 OpenAI API 封装），只要上游端口能响应标准的 POST /v1/images/generations 请求即可被成功代理。
llama-server
- v1/rerank, v1/reranking, /rerank
- /infill (代码补全)
- /completion
llama-swap 自身管理接口
- /ui
- /upstream/:model_id (直接访问对应上游实例)
- /models/unload
- /running, /log, /health, /api/events, /logs/stream
- /health
- /api/events
- /logs/stream

API​

API