跳至正文
Wener Notes

MaaS API Spec

约 1 分钟阅读
  • Session / Thread
    • Turn
  • Message
    • Message Part / Content Part
      • Chunk Part

Topics

topicfor
googleGemini API、Vertex AI、Google tools / thinking / cache
bedrockAmazon Bedrock Converse / InvokeModel、EventStream、tool use、usage
anthropicClaude Messages API、extended thinking、tool use、cache
openaiOpenAI Chat / Responses、role、tool choice、reasoning details
Streaming / SSE chunk、usage、abort 行为
token usage、计费维度、中断计费、异动检测
观测性指标、labels、dashboard、告警
tool calling、tool choice、provider 差异
prompt cache、最小 token、TTL、usage 字段
MaaS API spec 常见兼容问题

参考

关联信息

反向链接、本文链接的其他页面和外部资料。

站内链接

  • MaaS Metrics
    笔记 · metrics

    MaaS Metrics 用于观测模型 API 的请求量、延迟、错误、用量、成本、缓存、流式和工具调用行为。指标设计应避免高基数 label,同时保留足够维度支持排障、SLO 和账单核对。 · | 类别 | 关注点 | · | Traffic | 请求量、RPM、并发、流式连接数 |

  • MaaS Prompt Cache
    笔记 · cache

    | 模型 / 场景 | 最小缓存 Token 数 | · | Claude Opus 4.5 | 4096 | · | Claude Opus 4.1, 4 | 1024 | · | Claude Sonnet 4.5, 4, 3.7 | 1024 |

  • MaaS Spec FAQ
    笔记 · spec-faq

    tags: · FAQ · Google Generative AI API / Gemini API · Google Vertex AI · Anthropic · OpenAI · xAI · vLLM / OpenAI compatible servers

  • MaaS SSE
    笔记 · sse

    第一个 chunk 通常只有 ,没有内容。 · 后续 chunk 通常有 ,没有 。 · 最后的 chunk 里 和 可能分开出现。 · 第一个 chunk 和最后一个 chunk 通常不应该包含正常 content。 · 有些供应商为了紧凑,会在第一个 chunk 包含内容。

  • MaaS Tool Call
    笔记 · tool-call

    Tool call / function calling 是模型请求外部能力的通用机制。 · MaaS 网关需要处理不同厂商的 tool schema、tool choice、tool result role、tool call id 和 streaming chunk 差异。

  • MaaS Usage
    笔记 · usage

    MaaS Usage 用于描述模型请求的资源消耗与计费统计。不同 Provider 的字段命名、cache 口径、reasoning 口径和 streaming 返回时机不同,设计统一统计时应同时保留: · 原始 Provider usage:用于供应商账单核对和协议排障。

参考资料

GitHub1 条
最近更新commit 6e3fe3e编辑