Развитие продукта
Как мы выбираем и маршрутизируем модели в Chota
Каталоги провайдеров быстро меняются. Мы показываем модель как доступную только после проверки официального источника и рабочего интерфейса Chota.
Почему одной модели недостаточно
Быстрый ответ на типовой вопрос, разбор длинного документа и многошаговое действие через интеграцию предъявляют разные требования. Самая крупная модель не всегда даёт лучший бизнес-результат: она может быть медленнее и дороже там, где достаточно простого маршрута.
Мы оцениваем сценарий по четырём осям: точность на реальных примерах, задержка ответа, поддерживаемый контекст и прогнозируемая стоимость использования.
Как мы подтверждаем доступность
Сначала сверяем название, статус и ограничения с официальной документацией провайдера. Затем проверяем, что модель действительно доступна в рабочей конфигурации Chota и проходит наш набор тестовых сценариев. Только после двух проверок название можно показывать клиенту как доступный вариант.
На дату обновления этой статьи мы убрали прежний перечень конкретных моделей: сайт не должен опережать фактическую конфигурацию продукта. Актуальный выбор отображается внутри рабочего пространства Chota во время настройки.
Что проверяем перед включением
Для клиентских диалогов мы повторяем одинаковые тесты: вопрос по базе знаний, неоднозначный запрос, отказ от выдуманного факта, корректная передача человеку и работа с подключённым действием. Смена модели не считается улучшением, если она выигрывает только на демонстрационном примере.
- Фактическая доступность у провайдера и в Chota.
- Качество на сценариях конкретного бизнеса, а не на абстрактном рейтинге.
- Задержка, стоимость и устойчивость при повторных запросах.
- Безопасный отказ и передача человеку там, где данных недостаточно.
Связанные материалы
Как мы запустили базу знаний Chota и где проходит граница её возможностей
Разбираем собственное решение Chota: как документы бизнеса становятся контекстом агента, что нужно проверять перед запуском и почему база знаний не заменяет владельца процесса.
Чат-бот, Telegram-бот или AI-агент: как мы выбираем решение для бизнеса
Сравниваем три подхода по реальному процессу: канал, знания, действия, передача человеку и интеграции — без предположения, что AI-агент нужен всем.