Быстрый переезд в Test IT по инструкциям в документации

Разработчик голосовых ассистентов на базе ИИ Neuro.Net обновил кейс об использовании Test IT. В компании поделились, как внедрили систему управления тестированием в отдел обеспечения качества, импортировали в систему ручные и автотесты и интегрировали ее с Jira. Рассказываем подробнее.

Почему понадобилась TMS

Neuro.Net — международный проект, который предоставляет услуги контакт-центра с на базе искусственного интеллекта. Компания создает человекоподобных голосовых помощников, цифровых людей и виртуальных агентов на основе собственных технологий в области голосового ИИ и webAR. 

В связи с ростом компании отделу QA понадобился специализированный инструмент для хранения тестовой документации, сбора данных и анализа статистики. Команда остро нуждалась в создании единой базы ручных и автотестов. 

Критерии выбора инструмента

В Neuro.net проанализировали и протестировали несколько TMS, включая Test IT и популярные OpenSource решения. Основные критерии отбора: 

• Российская разработка, чтобы минимизировать риски от влияния санкций

• Необходимая функциональность: библиотека тестов, запуск автотестов из TMS, построение отчетов, импорт тестов, интеграция с Jira

• Соотношение цены и качества

Test IT оказалась наиболее подходящим решением. Кроме того, система поставляется как в облачной, так и в серверной версии. Их ключевые различия можно посмотреть по ссылке. Neuro.net выбрала поставку on-premise в соответствии с требованиями политики безопасности. 

Впечатление команды от Test IT 

Команда QA поделилась впечатлениями от использования Test IT и отметила наиболее полезную функциональность: 

• Сохраняется история изменения тест-кейсов

• Легкая интеграция с Jira

• Возможность запускать автотесты из TMS и получать по ним отчеты c помощью вебхуков

• Логичная и понятная документация, которую можно использовать как инструкцию

Как переносили ручные тесты из другой TMS 

Test IT предоставляет возможность импорта тестов в виде таблиц xlsx. Команда Neuro.net выгрузила тест-кейсы из предыдущей TMS в нужном формате, но для их импорта в Test IT понадобилась дополнительная обработка — форматы не совпадали.

Чтобы уменьшить количество ручных исправлений в исходных таблицах, тестировщики использовали формат тест-кейса xlsx в Test IT как шаблон и уже в него переносили полученную из другой системы информацию, попутно добавляя недостающие шаги или условия.

Как проверяли интеграцию с Jira

Интеграция с Jira была настроена при запуске системы, а проверка ее работоспособности началась после создания пробных тест-кейсов и тест-плана. Тестировщики убедились, что баг в Test IT, созданный при прохождении теста, автоматически создается в Jira. И наоборот: баги, созданные в Jira, успешно добавлялись в тестовые прогоны. 

Клон теста в Jira появляется в специально созданном для этого проекте. Последний статус в клоне соответствует последнему прогону, а предыдущие статусы можно отследить в истории изменений клона теста.

Помимо Jira Test IT интегрируется и с трекерами задач, список найдете по ссылке. 

Чего не хватило для интеграции автотестов

Интеграция существующих автотестов прошла успешно, однако тестировщикам не хватило некоторых возможностей: использования классов, нескольких вебхуков одним автотестом, вариативности конфигураций, простого способа каталогизации автотестов и ручного и/или автоматического прерывания тест рана в UI системы. 

После обращения в техподдержку Test IT было получено подтверждение, что эти функции скоро появятся. О том, как работает наша техподдержка и как можно влиять на бэклог нашего продукта, читайте в статье от компании «РСХБ-Интех».     

Итоги внедрения Test IT

Интеграция Test IT в рабочее окружение Neuro.net прошла успешно и заняла примерно три недели — по прошествии этого времени систему уже активно использовали. Затраченное время и ресурсы: 

• Объект тестирования: облачная платформа Conversational AI по созданию голосовых роботов, которая используется крупными клиентами в различных индустриях: телеком, банки и финансы, ритейл.

• Количество тестов в предыдущей системе: 800

• Количество автотестов: 150

• Трудозатраты: развернули систему on-premise за два рабочих дня, настроили интеграцию с Jira, создали внутреннюю структуру и сделали тестовые прогоны для первых 100 тестов за две рабочих недели, интеграция автотестов также заняла около двух недель. 

В Neuro.net отметили, что переход на Test IT прошел без отрыва от рутинных задач. Большинство возникающих в процессе вопросов решились при обращении к руководству пользователя, а для интеграции автотестов специалисты компании смотрели обучающие видео — найти их можно в плейлисте How to на нашем YouTube-канале.