Gemini 2.5 Flash и Flash-Lite для API с высоким RPM: почему важны пропускная способность и низкая цена

Gemini 2.5 Flash и Flash-Lite для API с высоким RPM#

В production лучший выбор модели не всегда означает самый сильный результат в одном benchmark. Важнее понять, выдерживает ли модель поток запросов, сохраняет ли предсказуемую задержку и помогает ли контролировать стоимость.

Обезличенный production-контекст#

В статье используется обезличенный production-паттерн. Назовем его приложение A: постоянный трафик, высокая конкуррентность, короткие или средние задачи и высокая чувствительность к цене. Здесь нет ID пользователя, точного объема запросов, расходов, временных окон, логов или идентифицируемых бизнес-деталей.

Текущая доступность и снимок цен#

На момент публикации Crazyrouter показывает поддержку обоих моделей через OpenAI-compatible endpoint и Gemini endpoint:

Снимок API цен вернул такие ключевые поля:

Это снимок цен, а не постоянное обещание. Перед крупным запуском проверьте актуальные цены.

Почему RPM важнее одиночного benchmark#

Демо отправляет несколько запросов. Реальная система создает всплески, фоновые задания, шаги агентов, повторные попытки и fan-out от одного действия пользователя. В такой ситуации лимиты, очереди и retry amplification могут быть важнее небольшой разницы в качестве ответа.

Для систем с высокой конкуррентностью главный вопрос звучит так:

Выдерживает ли API всплески трафика?
Остается ли низкой цена одного вызова?
Можно ли контролировать повторные попытки?
Может ли приложение менять модель без переписывания бизнес-логики?

Где уместен Flash-Lite#

gemini-2.5-flash-lite лучше рассматривать как высокочастотный слой: классификация, intent detection, короткие summaries, query rewriting, извлечение полей, легкая модерация и предварительные шаги agent workflow.

Типичные задачи для Flash-Lite:

Классификация текста
Определение намерения
Короткие summaries
Переформулирование запросов
Извлечение тегов
Легкая модерация
Предобработка для агентов
Извлечение структурированных полей

Где уместен Flash#

gemini-2.5-flash находится уровнем выше. Используйте его для средних summaries, черновиков ответов, более длинного контекста и генерации, где качество важнее минимальной цены одного вызова.

Типичные задачи для Flash:

Summaries средней длины
Черновики ответов
Понимание более длинного контекста
Переписывание контента
Ответы для пользователей
Легкие объяснения кода

Практический паттерн маршрутизации#

Flash-Lite подходит для дешевых, частых и структурированных шагов. Flash подходит для ответов средней сложности. Более крупные модели стоит оставлять для глубокого reasoning, длинного кода и рискованных решений.

Пример OpenAI-compatible запроса#

curl https://cn.crazyrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $CRAZYROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-2.5-flash-lite",
    "messages": [
      {
        "role": "system",
        "content": "Ты высокопроизводительный классификатор. Возвращай только JSON."
      },
      {
        "role": "user",
        "content": "Классифицируй сообщение поддержки: я хочу отменить заказ, но сохранить купон."
      }
    ],
    "temperature": 0.1,
    "max_tokens": 200
  }'

API endpoints должны оставаться чистыми. Для создания аккаунта начните здесь:

https://crazyrouter.com/register

Что измерять перед масштабированием#

Перед отправкой production-трафика измеряйте:

Доля успешных запросов
Средняя задержка
P95 задержка
Доля 429 / 5xx
Количество retry
Использование токенов
Оценочная стоимость одного workflow

Самая дешевая модель не всегда дает самую дешевую систему. Низкая цена вызова полезна только тогда, когда платформа удерживает стабильный throughput и контролирует retries.

Итог#

Практический вывод: высоконагруженные команды должны оценивать модель, RPM, цену, совместимость endpoint, retry-поведение и гибкость маршрутизации как единую систему.