AI Dev API

BatchAPI

• 平台 “填谷” 策略
• 提高 GPU 利用率
• 价格折扣
• 新应用场景
• 参考
  • https://docs.together.ai/docs/batch-inference

FAQ

/v1/completions vs /v1/chat/completions

• /v1/chat/completions
  • messages
• /v1/completions
  • 已弃用 不推荐在新项目中使用
  • prompt