AI API Prompt Caching 完整指南：Claude、GPT、Gemini 缓存省钱教程 2026

普通请求:
[系统提示 (2000 tokens)] + [用户消息] → 全部计费

缓存请求:
[系统提示 (2000 tokens) ← 已缓存] + [用户消息] → 只有用户消息计费

import anthropic

client = anthropic.Anthropic(api_key="你的密钥")

# 使用 Crazyrouter 转发也支持缓存
import openai
client = openai.OpenAI(
    api_key="你的-crazyrouter-key",
    base_url="https://crazyrouter.com/v1"
)

# 方法：将大量系统提示放在前面，利用前缀缓存
SYSTEM_PROMPT = """你是一个专业的法律文档分析师。
以下是本公司的合同模板和法律条款参考（约 5000 字）...
[大量参考资料文本]
"""

# 第一次请求（写入缓存）
response = client.chat.completions.create(
    model="claude-sonnet-4-5-20250929",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": "审核这份合同第三条是否合规。"}
    ],
    max_tokens=2000
)

# 后续请求（命中缓存，系统提示部分享受 90% 折扣）
response2 = client.chat.completions.create(
    model="claude-sonnet-4-5-20250929",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},  # 相同前缀 → 命中缓存
        {"role": "user", "content": "检查第五条的违约责任条款。"}
    ],
    max_tokens=2000
)

import openai

client = openai.OpenAI(
    api_key="你的-crazyrouter-key",
    base_url="https://crazyrouter.com/v1"
)

# GPT 会自动缓存相同的消息前缀
SHARED_CONTEXT = """你是一个代码审查专家。
以下是我们的编码规范（约 3000 字）...
[编码规范内容]
"""

# 批量审查多个文件（自动缓存共享上下文）
files_to_review = ["file1.py", "file2.py", "file3.py"]

for file_name in files_to_review:
    response = client.chat.completions.create(
        model="gpt-5.2",
        messages=[
            {"role": "system", "content": SHARED_CONTEXT},
            {"role": "user", "content": f"审查 {file_name} 的代码..."}
        ],
        max_tokens=2000
    )
    # 从第二次请求开始，SHARED_CONTEXT 部分自动享受 50% 折扣
    print(f"审查 {file_name}: {response.choices[0].message.content[:100]}...")

import openai

client = openai.OpenAI(
    api_key="你的-crazyrouter-key",
    base_url="https://crazyrouter.com/v1"
)

# Gemini 的上下文缓存适合处理超长文档
LONG_DOCUMENT = """[一份 100 页的技术文档，约 50,000 tokens]"""

# 多次提问同一文档的不同方面
questions = [
    "总结文档的核心架构",
    "列出所有性能指标",
    "找出潜在的安全风险"
]

for q in questions:
    response = client.chat.completions.create(
        model="gemini-2.5-flash",
        messages=[
            {"role": "system", "content": f"基于以下文档回答问题：\n{LONG_DOCUMENT}"},
            {"role": "user", "content": q}
        ]
    )
    print(f"Q: {q}\nA: {response.choices[0].message.content[:200]}\n")

messages = [
    # ✅ 固定内容在前 → 容易命中缓存
    {"role": "system", "content": "固定的系统提示和参考资料..."},
    {"role": "user", "content": "变化的用户输入"}
]

# ❌ 错误：每次请求的前缀不同，无法命中缓存
messages = [
    {"role": "system", "content": f"当前时间：{datetime.now()} 你是..."},
    ...
]

# ✅ 正确：动态内容放后面
messages = [
    {"role": "system", "content": "你是一个专业助手...（固定部分）"},
    {"role": "user", "content": f"当前时间是 {datetime.now()}，请回答..."}
]