Опыт Solit Clouds по выбору инструмента управления тестированием

Статья опубликована в блоге компании Solit Clouds

С одной стороны, «Постоянство не заслуживает ни похвал, ни порицаний, ибо в нем проявляется устойчивость вкусов» (с) — зачеркнуто «Привычка —  страшная сила». Но с другой, когда ты выпускаешь цифровые продукты, такая ригидность часто ведёт в тупик. В данной статье хотим рассказать, почему мы пошли на риск и решились перетаскивать с привычного инструмента тысячи тест-кейсов, и что из этого вышло.

Как всё начиналось…

В 2019 году в нашей компании Solit Clouds в отделе QA назрел вопрос о смене инструмента управления тестированием (TMS). Для нас это был непростой и рискованный шаг, с точки зрения поддержания бесперебойного процесса тестирования. Как мы пришли к решению, что пора менять систему?

Существенных, хоть и банальных причин, несколько.

Причина №1. UX и версионирование

В используемом на тот момент инструменте управления тестированием TestRail нам всегда не хватало гибкости, то есть возможности настроить инструмент под процессы, существующие в отдельном проекте, в отделе тестирования и в компании целом. Если с сотней-другой кейсов можно было справиться, то хранить десяток тысяч тестов уже сложнее (более 15 тысяч). В параллели нужно было выпускать несколько версий продуктов, что заставило принять решение о поиске альтернатив, т.к. TestRail не облегчал нам жизнь в указанных условиях.

Причина №2. Поддержка

Время от времени мы сталкивались с проблемами сложной коммуникации, а также долгого отклика от технической поддержки. Компания, занимающаяся разработкой инструмента, не была готова к сотрудничеству в части развития своего инструмента, им это было не интересно. Все наши предложения по развитию оставались без должного ответа — общение сводилось к формальной отписке компании-разработчика.

Причина №3. Деньги

Дорого! Финансовые расходы на содержание инструмента управления тестированием возросли многократно. Это было связано с интенсивным ростом численности сотрудников отдела тестирования — в отделе на данный момент более 50 человек, а стоимость зависит от количества пользователей. А во-вторых, инструмент управления тестированием импортный, и растущий год от года курс валют делал его для нас всё менее привлекательным.

Как выбирали инструмент

Мы отчётливо понимали, что к выбору нового инструмента надо подойти ответственно, так как цена ошибки для отдела тестирования и продуктовых команд достаточно высока. Социально-значимые проекты (один из основных проектов, ЕМИАС — Единая Медицинская Информационно-Аналитическая Система, которая успешно работает в каждой поликлинике г. Москва) — наше ключевое направление, срыв срока выпуска версий из-за внутренних проблем для нас недопустим и может стоить крайне дорого.

По каким критериям выбирали новый инструмент:

• Адекватное соотношение цены и качества

• Удобный и надежный импорт тест-кейсов из других систем управления тестированием

• Возможность кастомизации инструмента под процессы отдела тестирования

• Открытость компании-разработчика к предложениям по улучшению инструмента

• Отзывчивая техническая поддержка

• Удобный, понятный и современный интерфейс

• Понятная и комфортная интеграция с автоматическими тестами

• Возможность интеграции с другими инструментами, например, с таск-трекерами

Общий список состоял более чем из 20 систем управления тестами. Мы начали подробно их анализировать и только несколько дошли до финального отбора, их функционал мы разбирали значительно глубже на соответствие нашим ожиданиям.

Затем определили наиболее подходящие системы управления тестированием, которые могли бы соответствовать установленным критериям:

• TestLink,

• Zephyr,

• Xray,

• QaSpace

Будем честными, полный список требований, которые мы выбрали для себя ключевыми, не сохранился, но часть истории мы подняли, к сожалению, указанные системы на момент перехода не соответствовали большинству критериев:

1. Удобный интерфейс: 
   • Возможность форматирования текста
   • Быстрая фиксация результатов
   • Наличие "дерева" не только в структуре хранения тестовой документации, но и в тестовом прогоне
   • Скорость работы системы, отклика UI
2. Версионирование тестовой документации
3. Архивация базы данных с кейсами
4. Возможность использования тестовых наборов в разных прогонах

5. Удобство иерархии, использование вложенных кейсоd

6. Удобный анализ дефектов, найденных по итогам прохождения тест-рана

7. Неизменность данных в тестовом прогоне при изменении кейсов после фиксации результатов прохождения

8. Возможность импорта/экспорта из системы в систему

9. Выгрузка отчетности в разных форматах

10. История изменения кейсов, возможность сравнения версий

11. Гибкость настроек:

    • Плагины, расширяющие возможности системы

    • Кастомизация полей

    • Подключение вспомогательных инструментов для проектирования кейсов

12. Аудит действий пользователя

13. Фиксация времени прохождения тестового прогона, общая статистика

14. Уведомления о завершении работы, изменении статуса: мессенджеры, почта, смс

15. Гибкая система поддержки, компания-разработчик, открытая к предложениям и совершенствованию

16. Возможность интеграции с JIRA и другими инструментами

Мы все проанализировали, протестировали на триалах, но в результате не смогли окончательно определиться и выбрать инструмент, который подошел бы нам по всем параметрам. Самым близким по критериям оказался Testlink, если бы не слабая техподдержка продукта с открытым исходным кодом и недружественный интерфейс.

Поиски подходящего инструмента продолжались около года…

Случайно в одном из профессиональных сообществ мы познакомились с ребятами из российского стартапа Test IT, они в 2019 году только начинали свой путь и готовили первый релиз своего одноименного инструмента, но коммерческих клиентов у компании ещё не было. Мы и так уже перепробовали весь мировой рынок ТМС-ок, поэтому попробовать еще одну — но и в тестовом прогоне решить было несложно. После обсуждения возможных планов сотрудничества мы решили рискнуть и попробовать пилотное внедрение.

Те, кто это читает, сейчас подумали: ну вот, опять реклама. Спешим вас расстроить… Test IT настолько порадовали нас своей открытостью и тем, что приняли решение тягаться с перечисленными гигантами, что мы написали статью! Нам правда жаль, что многие о них еще не слышали.

Чем порадовала система Test IT и компания-разработчик?

Приведем лишь часть важных аргументов:

• Открытость и готовность команды Test IT улучшать свой продукт, учитывая наши пожелания.

• Обширная функциональность Test IT при сравнительно выгодной стоимости: совмещение ручных и автоматических тестов, удобная библиотека для хранения тестовой модели, API, интеграция с JIRA, возможности аналитики.

• Высокий уровень организации решения возникающих проблем, грамотная техническая поддержка.

• Возможность миграции тестовой документации из текущей системы управления тестированием.

• Приятный и современный интерфейс.

Как внедряли инструмент в компании

Мы разработали план постепенного перехода отдела на новую систему управления тестированием.

Во-первых, после пилота определили список критичных для полноценного старта работы в Test IT доработок и передали его разработчику TMS. Эти отзывы помогли компании Test IT усовершенствовать инструмент, выпустить обновления и пополнить ряды своих клиентов.

Во-вторых, составили дорожную карту перехода продуктовых команд на новую систему управления тестированием. На тот момент отдел тестирования трудился одновременно более чем над 15 продуктами, а мы понимали, что задержки при выполнении производственных задач недопустимы. Переход должен был быть практически бесшовным.

В-третьих, специалисты из Test IT рассказали про возможности новой системы управления тестированием и сопровождали в процессе перехода от начала и до конца.

Переход состоял из трех этапов миграции кейсов, и в общей сложности занял 4 месяца.

А что сейчас?

После завершения последнего этапа миграции тест-кейсов и полного внедрения Test IT прошло полтора года. И мы готовы поделиться своими впечатлениями о ежедневном использовании Test IT TMS.

Самое главное, что мы отметили для себя это то, что Test IT — живой и развивающийся продукт. Конечно, остаются моменты в Test IT, которые нужно улучшать и внедрять.

Например:

• Версионирование тест-кейсов — на текущий момент реализовано в виде истории изменений с подсветкой диффов и откатом версии, но в планах у разработчиков довести до полноценной аналогии GIT;

• Интеграция с автотестами, в т.ч. не совсем гибкая в настройке, которая усложняется постоянными изменениями;

• Структура ответов API местами бывает избыточна;

• Периодические проблемы с производительностью, в большинстве своём, решенные, и в настоящее время команда-разработчик реализует масштабный проект по нагрузке, что до конца года снимет проблему в полном объёме.

Даже глядя на этот список, можно увидеть, что команда Test IT много сил вкладывает в развитие своего продукта и готова дальше продолжать делать его только лучше. И тем самым помогать становиться лучше каждому продукту, который тестируется с помощью Test IT.

Спасибо, ребята!

В заключении хотим привести частные мнения наших специалистов по тестированию о работе в Test IT. Успешная работа с большим количеством продуктов и проектов, а также приведенные ниже отзывы подтверждают, что выбранная система управления помогает нам качественно решать задачи, поставленные перед отделом тестирования:

«Приятный лаконичный и при этом функциональный интерфейс. Взаимодействие с элементами комфортное и интуитивно понятное»

«Система постоянно совершенствуется, в частности, функциональность связи автотестов с кейсами в тест-плане»

«Статистика и отчетность: подсчет времени на прохождение кейса; отображение статистики по назначенным кейсам; возможность отдельно посмотреть отчет и заведенные дефекты в рамках тест-плана; возможность печати отчета»

«Дашборды с инфографикой по активностям на проекте, общие шаги для тест-кейсов, быстрая обратная связь от разработчиков TMS, геймификация профиля пользователя».