Отчеты в Test IT. Кому, зачем и как?

Отчетность в тестировании — обязательная часть работы на проекте. Различные отчеты о результатах тестирования могут быть полезны для работы многих специалистов в команде, от QA-инженера до CEO компании. В этой статье постараемся ответить, кому какие отчеты в Test IT могут быть нужны, и как их составлять.

Система Test IT — не только система управления тестированием, но также единый инструмент для взаимодействия всей команды разработки. Условно объединим тех, кто может использовать Test IT, в группы, и расскажем об отчетах для каждой:

1. QA-инженеры, ручные тестировщики,

2. Автоматизатори и разработчики,

3. QA-лиды, тест-менеджеры,

4. PM, Product Owner, CEO

Отчет — это документ, содержащий информацию о выполненных действиях, результатах проведённой работы. Включает в себя таблицы, графики, списки, описания в виде текста. Их пропорция и содержание определяют пользу и понятность отчета.

Источник: habr.com

Какие отчеты есть в Test IT?

Концептуально в системе существует шесть типов представления информации для создания виджета отчетности:

1. Круговая диаграмма - может выводить результаты тестов, тесты и автотесты, и группировать их по статусам, по приоритетам, по типу автоматизации или по авторам.

2. Тренды - то же самое, что круговая, но имеет другое графическое представление.

3. Линейчатая диаграмма умеет выводить результаты по тест-планам и тест-ранам.

4. Таблица выводит результаты по результатам тестов и тестам.

5. Команда - отчет по сотрудникам проекта, которые принимали участие в тестировании. 

6. Таймлайн - график запущенных тест-ранов.

Некоторые типы отчетов доступны внутри модулей (автотесты и тест-планы), и абсолютно все типы отчетов можно вывести в модуль Дашбордов для удобства. Отчеты можно фильтровать по множесту параметров: по типу данных, конфигурациям, приоритетам, временным параметрам, отслеживать продуктивность команды от регресса к регрессу. 

Все виджеты и отчёты можно прямо сейчас попробовать в облачной версии Test IT Cloud.

Отчеты для ручных QA-инженеров

Обычно основная обязанность QA-инженеров или тестировщиков на проекте - писать, а затем проходить тесты. В крупных компаниях эти обязанности могут быть разделены между несколькими специалистами. Выходят новые фичи, новые требования, нуждающиеся в покрытии тестами, старые тесты требуют поддержания и обновления. Работа всегда кипит.

Какие метрики интересны QA-инженеру?

• Статус теста (готов/не готов/требует доработки)

• Приоритет теста

• Автоматизирован тест или нет.

Также полезно отслеживать так называемые smoke-наборы (highest), те тесты, которые необходимо проходить ежедневно для проверки работоспособности системы. Хорошим показателем считается, когда таких тестов 5-10% от общего числа.

Вышеуказанные метрики также удобно смотреть в виде диаграммы трендов или круговой диаграммы. 

Как построить такой отчет:

В выбранном проекте перейдите в модуль Дашборды, нажмите на плюсик справа внизу и выберите нужное представление данных.

Если документация в порядке, система Test IT это покажет. Например, если мы видим картину, что не менее 95% тестов готовы, то мы можем начинать регрессионное тестирование. В противном случае требуется поддержание тестовой модели.

В самих тест-планах также есть отчеты: зайдите в модуль "Тест-планы" выбранного проекта, выберите тест-план, раздел отчеты. В этом разделе можно отследить свой личный прогресс, посмотреть распределенные на себя тесты, а также общую картину по тест-плану. 

Ниже есть отчет по дефектам, который также может быть полезен ручным тестировщикам. Например, чтобы не дублировать баги в Jira.

Также ручным тестировщикам при взаимодействии с автотестерами пригодится отчет, показывающий процент покрытия автотестами. Для этого, создавая отчет, в представлении “Тренды” выберите группировку тестов по типу автоматизации.

Какие отчеты нужны автоматизатору тестирования

QA-автоматизатора могут интересовать метрики:

• по тест-ранам, 
• времени запуска, 
• данные о причинах падения автотестов, 
• отчет по стабильности тестов,
• процент автотестов от общего числа тестов.

В модуле "Автотесты" есть свои отчеты по запускам автотестов, где отображается информация о времени запуска, количестве, результатах и причинам падения:

Можно кликнуть по любому из тест-ранов и получить полную информацию, где будет представлено распределение тестов по результатам, анализ категории ошибок, датам, тестировщикам.

В модуле "Автотесты", начиная с версии Taurus, доступен раздел таймлайнов, который визуализирует информацию о том, когда запускались автотесты и сколько времени это заняло: 

Раздел тест-планы сам по себе представляет свод отчетов по проведенным или проходящим процессам тестирования. В этом модуле пересекаются интересы ручных тестировщиков и специалистов по автоматизации.

В тест-планах есть также отчет по запускам автотестов. Практика показывает, что именно в этом разделе автоматизаторы работают чаще всего:

В разделе Дашборды можно вывести отчет по причинам падения автотестов в виде линейчатой диаграммы (не определена, проблема окружения, продукта или автотеста):

На дашборды также можно вывести отчет по соотношению тестов и автотестов, а также по конфигурациям, на которых прогонялись тесты:

Чтобы построить отчет по стабильности автотестов, необходимо в библиотеке автотестов выделять такие группы тестов и отметить их как нестабильные. При этом в библиотеке есть две колонки, обозначающие стабильность: одна выводится автоматически и показывает процент успешных запусков по мнению системы Test IT, вторая выводит данные, введенные вручную автоматизатором.

Напоминаем, что всю информацию, которая может быть отображена в виде трендов, можно представить в виде круговой диаграммы - это зависит от личных предпочтений.

С помощью линейчатой диаграммы можно показать запуски автотестов, и отслеживать их результаты в режиме реального времени.

С помощью таблицы с фильтром по автоматизации и конфигурациям можно смотреть, в каком модуле автотесты падают чаще всего:

Разработчики, как правило, редко заходят в Test IT, но и для них есть полезная информация, например, шаги тест-кейсов или информация по автотестам.

Какие отчеты нужны тест-менеджеру

Менеджера в первую очередь интересуют отчеты по тест-планам, где отражена информация о результатах и статусе тест-плана, на основе которых делается вывод о том, нужен ли еще один регресс или нет.

Менеджеру нужна вся информация, о которой упоминалось ранее (включая ручного тестировщика и автоматизатора). Также менеджеру важно смотреть отчеты по результатам работы команды, отслеживать нагрузку на каждого тестировщика и т.д.

Заходим в раздел отчетов по тест-плану и создаем отчеты в любом необходимом представлении: тренды, круговая, линейчатая, таблицы и люди…

Можно отслеживать результаты от регресса к регрессу, определять приоритетность конфигураций, процент покрытия тестами и автотестами и многое другое.

Как понять, когда будет релиз? Чем меньше упавших тестов на регрессе, тем лучше. Это зависит от специфики проекта и от тест-менеджера, но обычно не допускается падение более чем 3-5% тестов. Эту информацию также можно получить в отчете по тест-плану.

Что может быть интересно CEO компании?

Что интересно CEO (иногда ГД) на самом деле :)

1. тренд по количеству багов на прод среде(качество тестирования и разработки)
2. тренд по хотфиксам (сколько пересборок)
3. тренд по сделаным сторипойнтам в релиз (скорость разработки), тренд по времени регрессивного тестирования (скорость тестирования).

В отчете по тест-плану можно посмотреть дефекты, чтобы понимать, в каком модуле проблемы. Если, например, в регрессе отваливаются старые модули, которые раньше работали, нужно разбираться, что им помешало:

Эту информацию можно также смотреть в отчете по результатам прогонов тестов. Например, мы делаем релиз по определенному модулю системы, к которому будет приковано внимание всех пользователей, и важно, чтобы он работал без проблем. Данный отчет работает в онлайн-режиме и постоянно обновляется:

В разделе Дашборды важен отчет по трендам, который можно отфильтровать по интересующим данным.

Для высшего руководства может быть интересно, как в целом работает отдел тестирования, есть ли прогресс, много ли ошибок находится. Эту информацию можно посмотреть в сводных отчетах в разделе Дашборды.

Любым отчетом по тест-плану можно поделиться: сохранить в pdf, распечатать или отправить заинтересованной стороне. Для этого зайдите в модуль "Тест-планы", выберите тест-план, зайдите в его отчет и нажмите на "принтер" вправа внизу. Получите отчет в виде сводной информации: