Лимиты

У AITUNNEL нет лимита на число запросов: ни RPM, ни квоты на объём. Есть защитные пределы, до которых обычная нагрузка не доходит, и пределы на размер запроса.

Запросы

Квот по частоте и количеству запросов нет. Ответ 429 с типом rate_limited от самого AITUNNEL приходит только в четырёх случаях:

Что случилосьЧто делать
От аккаунта одновременно выполняется больше 500 запросовДождитесь завершения части запросов. Retry-After: 2
С одного ключа идёт аномально частый поток запросов (десятки тысяч в минуту)Снизьте частоту. Retry-After: 5
С одного IP идут подряд запросы с неверным ключомИсправьте ключ; блокировка снимается через минуту
Ключ раз за разом обрывает запросы без стрима, не дождавшись ответаИспользуйте stream: true или дожидайтесь ответа. Retry-After: 60

Если в ответе есть заголовок Retry-After, повторяйте запрос не раньше, чем через столько секунд.

Лимиты провайдеров

У OpenAI, Anthropic, Google и других провайдеров свои потолки. Чаще всего 429 Too Many Requests — это их лимит, не наш. AITUNNEL такие запросы повторяет сам и отдаёт 429, только если повторы не помогли. При массовой отправке лучше добавить небольшую паузу между запросами.

Если модель часто упирается в 429, задайте запасные модели.

Расходы

Запрос не может потратить больше, чем есть на балансе и в бюджете ключа: если денег не хватает на полный ответ, вывод ограничивается, а в ответе приходит заголовок X-AITunnel-Output-Capped. Подробнее — лимит расходов.

Контекст

У каждой модели свой максимум токенов во входе. Смотрите каталог и страницу модели.

Размер запроса

  • JSON-тело запроса: до 50 МБ
  • Загрузка файлов (multipart/form-data): до 100 МБ на весь запрос

Больше — ответ 413 с типом invalid_request.

Файлы

  • Аудио: до 25 МБ на файл, у части моделей меньше или больше — поле max_file_bytes в каталоге. Больше — 413. См. распознавание речи
  • Изображения для редактирования: до 25 МБ на файл — картинки