跳至正文
Wener Notes

MaaS Prompt Cache

约 2 分钟阅读

最小缓存 Token

模型 / 场景最小缓存 Token 数
Claude Opus 4.54096
Claude Opus 4.1, 41024
Claude Sonnet 4.5, 4, 3.71024
Claude Haiku 4.54096
Claude Haiku 3.5, 32048
Gemini 3 Pro Preview4096
Gemini 3 Flash Preview1024
Gemini 2.5 Pro4096
Gemini 2.5 Flash1024
Gemini Explicit Caching (Vertex AI)4096
Gemini Context Caching (Early Versions)32768
OpenAI GPT1024

类型

  • Implicit Caching
    • 提供 75% - 90% 的输入 Token 折扣。
    • 通常由服务端自动识别稳定 prompt 前缀。
  • Explicit Caching
    • 显式创建 cache 对象。
    • 按 TTL 收取存储费用。
  • 容量
    • 最大缓存大小通常可接近模型完整上下文窗口，可超过 100 万 token。

Gemini

  • Gemini 3 系列建议 Prompt 前缀或缓存数据至少达到 4096 token，以确保缓存生效并降低 API 成本。
  • Google OpenAI API 可通过 extra body 传递 Google 扩展字段。
json
{
  "google": {
    "cached_content": "cachedContents/XXX",
    "thinking_config": {
      "thinking_level": "low",
      "include_thoughts": true
    }
  }
}

OpenAI

json
{
  "prompt_cache_key": "",
  "prompt_cache_retention": "24h"
}
  • prompt_cache_retention
    • in_memory
    • 24h
  • 最小通常为 1024 tokens。
  • gpt-5.5、gpt-5.5-pro 后默认是 24h。

Usage

json
{
  "usage": {
    "prompt_tokens": 2006,
    "completion_tokens": 300,
    "total_tokens": 2306,
    "prompt_tokens_details": {
      "cached_tokens": 1920
    },
    "completion_tokens_details": {
      "reasoning_tokens": 0,
      "accepted_prediction_tokens": 0,
      "rejected_prediction_tokens": 0
    }
  }
}

注意

  • Tool call 缓存实际缓存的是 tool schema、描述等 prompt 前缀内容。
  • 修改 system prompt、tool schema、上下文前缀顺序，都可能导致 cache miss。
  • Cache 命中通常只降低输入 token 成本，不一定降低完整请求延迟。

参考

关联信息

反向链接、本文链接的其他页面和外部资料。

反向链接

  • Anthropic MaaS API
    笔记 · cache

    Anthropic Beta Flags · Anthropic FAQ · Anthropic API · https://platform.claude.com/docs/en/api/overview · SDK · https://github.com/anthropics/anthropic-sdk-typescript

  • Gemini API
    笔记 · cache

    Gemini Developer API / Google AI Studio API · generativelanguage.googleapis.com · API key · Google Generative AI API · https://ai.google.dev/api/rest

  • MaaS
    笔记 · Cache

    Provider · https://cloud.google.com/vertex-ai/generative-ai/docs/partner-models/use-partner-models · 错误码 · https://support.huaweicloud.com/usermanual-maas-modelarts/maas-modelar...

  • MaaS API Spec
    笔记 · cache

    Session / Thread · Turn · Message · Message Part / Content Part · Chunk Part · | topic | for | · | google | Gemini API、Vertex AI、Google tools / thinking / cache |

  • MaaS Metrics
    笔记 · cache

    MaaS Metrics 用于观测模型 API 的请求量、延迟、错误、用量、成本、缓存、流式和工具调用行为。指标设计应避免高基数 label，同时保留足够维度支持排障、SLO 和账单核对。 · | 类别 | 关注点 | · | Traffic | 请求量、RPM、并发、流式连接数 |

  • MaaS Spec Messages
    笔记 · cache.md

    梳理 MaaS 需要适配的 message / item / content block / part 类型。 · 明确各协议的 role、type、基础结构和跨协议映射边界。 · 避免把 provider 的中间状态错误地压平成纯文本，尤其是 tool call、tool result、reasoning/thought、citation、multi...

  • OpenAI MaaS API
    笔记 · cache

    OpenAI API · https://platform.openai.com/docs/api-reference/chat/create · Responses / OpenResponses · https://www.openresponses.org/

参考资料

其他外链5 条
最近更新commit 537865f编辑

Spec

上一页

MaaS Spec Messages

下一页