12 ноября вышел Pydantic AI 2.68.0. Библиотека для создания AI-приложений на Python получила отдельную обработку ответа, обрезанного по лимиту выходных токенов, и новые возможности для хранения бесед. Mentoring.digital объясняет, что меняется в обработке такого сбоя и почему обновление требует проверки совместимости.
Переход к следующей модели
В выпуск добавлено исключение OutputTokenLimitExceeded. Если ответ оборвался из-за max_tokens, механизм ModelFallback может перейти к следующей модели. Лимит выходных токенов ограничивает объём ответа. Его достижение следует отличать от обычного завершения генерации.
Это изменение полезно для приложений, которым нужен законченный результат, например структурированный объект для дальнейшей обработки. Однако сам переход к другой модели не гарантирует, что её ответ будет полным или подходящим. В списке резервных моделей и их настройках по-прежнему должны быть учтены ограничения задачи.
Хранилище бесед и вопросы внутри запуска
UI-адаптеры получили загрузку и сохранение бесед через ConversationStore с параметром conversation_store. Это отдельная возможность интеграции интерфейса с хранилищем. Наличие API само по себе не означает, что беседы уже сохраняются в приложении: необходимо подключение соответствующего хранилища.
Для запросов подтверждения и ответов пользователя внутри запуска добавлен RequestInput. При этом AskUser переведён на механизм отложенных вызовов, а у таких вызовов появились поля kind и answered_by. Авторы включили это изменение в раздел совместимости, поэтому существующую обработку вопросов стоит проверить отдельно.
Что проверить при обновлении
Начните с тестового сценария, где ответ достигает заданного лимита. Проверьте, какая ошибка видна приложению, запускается ли резервная модель и как сохраняется итог. Отдельно убедитесь, что повторная попытка не повторяет нежелательные действия инструментов. Это проверка вашей интеграции, а не заявленная гарантия библиотеки.
Если приложение использует UI-адаптеры или запросы к пользователю, проверьте сохранение истории и продолжение отложенного вызова. Изменения этой версии не сводятся к одной настройке fallback. Разобрать обработку ошибок и тестирование AI-интеграции можно с наставником по Python.
