Бизнес-цель
Клиент — крупная компания в авиационной отрасли, разработавшая чат-бота для автоматизации общения с клиентами на сайте. Мы подключились к проекту на финальном этапе — приемки готового продукта перед выпуском.
Перед нами стояла двойная задача: не только проверить техническую надежность чат-бота, но и помочь повысить его интеллект, подготовив данные для дальнейшего обучения.
Задачи клиента
До нашего прихода клиент столкнулся с ключевой сложностью — крайне сжатыми сроками на подготовку продукта к запуску.
Были поставлены четкие KPI:
- Провести полное приемочное тестирование функциональности в короткие сроки.
- Сформировать объемный и качественный датасет диалогов, имитирующий коммуникацию реальных пользователей, для дообучения AI-модели бота.
Ход сотрудничества
Для решения задачи была собрана комбинированная команда: 4 QA-инженера для тестирования и дополнительно около 100 специалистов для генерации диалогов.
Наш подход и проделанная работа:
- Всестороннее тестирование интерфейса: мы провели функциональное тестирование, а также убедились в корректной работе и отображении чат-бота на топ-5 популярных в РФ браузерах и на парке мобильных устройств (iOS и Android).
- Генерация и разметка датасета: мы организовали массовую генерацию диалогов по ключевым бизнес-сценариям (покупка билета, информация о брони и т.д.). Для ускорения процесса и увеличения разнообразия реплик мы активно задействовали ИИ для создания синонимичных формулировок.
- Анализ интеллекта бота: мы целенаправленно тестировали реакцию бота на нетривиальные и нестандартные вопросы, оценивая точность и уместность его ответов.
Преодоление вызовов:
Проект сопровождался несколькими серьезными рисками, которые мы успешно преодолели:
- Высокая трудоемкость: задача в короткий срок провести 2000+ диалогов и обработать тысячи строк датасета требовала четкой координации и оптимизации процессов.
- Завышенный порог входа: сложная отраслевая специфика и регламенты требовали глубокого погружения.
- Расширение объема работ: в процессе клиент добавил новые пожелания, на которые мы оперативно отреагировали, предоставив расширенный отчет.
Результаты
Наша работа позволила достичь количественных и качественных результатов:
- Выявлено 176 дефектов: 150 на этапе функционального тестирования и еще 26 в процессе генерации датасета, что дополнительно улучшило качество кода.
- Проведено более 2000 диалогов с чат-ботом для всесторонней проверки его логики.
- Сформирован датасет объемом почти 9000 строк для эффективного дообучения AI-модели.
Ценность для бизнеса клиента: мы помогли предотвратить ключевые риски, связанные с запуском некачественного продукта. Найденные дефекты и неадекватные ответы бота, если бы попали в продакшен, вызвали бы массовое разочарование пользователей на фоне анонсированного в пресс-релизах запуска. Наша работа обеспечила стабильный первый контакт между компанией и ее клиентами.
Выводы и ценность
Клиент особенно отметил в нашей работе:
- Скорость: способность выполнить большой объем работ в сжатые сроки.
- Гибкость: легкая адаптация к расширению задач и изменение подхода под новые требования.
Ключевые уроки проекта:
Этот проект наглядно показал, что для решения сложных и нетривиальных задач важно мыслить нестандартно и комбинировать разные подходы, включая автоматизацию рутины с помощью ИИ.
Совет потенциальным клиентам:
При работе над AI-продуктами, такими как чат-боты, используйте возможности искусственного интеллекта не только в самом продукте, но и в процессах его тестирования и обучения. Генерация тестовых данных и синонимичных запросов с помощью ИИ позволяет значительно ускорить разработку, повысить покрытие и, как следствие, улучшить качество итогового решения.
Задумались о тестировании вашего продукта? Оставьте заявку на бесплатную консультацию и наши специалисты свяжутся с вами.
