Отчеты в Test IT. Кому, зачем и как?
Отчетность в тестировании — обязательная часть работы на проекте. Различные отчеты о результатах тестирования могут быть полезны многим специалистам в команде, от QA-инженера до CEO компании.
В этой статье постараемся ответить, кому какие отчеты в Test IT могут быть нужны и как их составлять.
![Как строить отчеты в TestIt](https://testit.software/storage/temp/public/837/d3e/943/Group-583254__1440.jpg)
Test IT — не только система управления тестированием, это единый инструмент для взаимодействия всей команды разработки. Условно объединим в группы потенциальных пользователей Test IT и расскажем об отчетах для каждой:
-
QA-инженеры, ручные тестировщики
-
Автоматизаторы и разработчики
-
QA-лиды, тест-менеджеры
-
PM, Product Owner, CEO
Отчет — это документ, содержащий информацию о выполненных действиях, результатах проведенной работы. Он включает в себя таблицы, графики, списки и текстовые описания. Их пропорция и содержание определяют пользу и понятность отчета.
Какие отчеты есть в Test IT
В системе существует шесть типов представления данных для создания виджета отчетности:
-
Круговая диаграмма. Может выводить результаты тестов, тесты и автотесты, и группировать их по статусам, по приоритетам, по типу автоматизации или по авторам.
-
Тренды. Альтернатива круговой диаграмме, показывающая динамику.
-
Линейчатая диаграмма. Умеет выводить результаты по тест-планам и тест-ранам (прогонам автотестов).
-
Таблица. Выводит результаты по тестам и их результатам.
-
Команда. Количество и статус тестов, выполненных каждым сотрудником.
-
Таймлайн. График запущенных тест-ранов.
Некоторые типы отчетов доступны внутри модулей (автотесты и тест-планы), и абсолютно все типы отчетов можно вывести в модуль «Дашборды» для удобства.
Все виджеты и отчеты можно прямо сейчас попробовать в облачной версии системы. Бесплатный триальный период Test IT Cloud — 14 дней. Вы можете использовать свои тесты или демонстрационный проект, который поможет познакомиться с системой.
Отчеты для ручных QA-инженеров
Основная обязанность QA-инженеров или тестировщиков на проекте — писать, а затем проходить тесты. В крупных компаниях эти обязанности могут быть разделены между несколькими специалистами.
Какие метрики интересны QA-инженеру:
-
Статус теста (готов / не готов / требует доработки)
-
Приоритет теста
-
Автоматизирован тест или нет
![Отчеты для мануальных тестировщиков](https://testit.software/storage/temp/public/6dd/b4f/b34/image%20159__1616.png)
Также полезно отслеживать smoke-наборы (highest), те тесты, которые необходимо проходить ежедневно для проверки работоспособности системы. Хорошим показателем считается, когда таких тестов 5–10% от общего числа.
![Тренд тестов по приоритету. Диграмма трендов](https://testit.software/storage/temp/public/59b/fb4/d3a/image%20161__2406.png)
Чтобы построить такой отчет, перейдите в модуль «Дашборды», откройте один из дашбордов (если в разделе еще нет дашбордов, создайте его), нажмите «Создать виджет» и выберите нужное представление данных.
![Дашборд Тренд тестов по приоритетам](https://testit.software/storage/temp/public/e3f/ed0/9ef/image%20184__2894.png)
Если документация в порядке, система Test IT это покажет. Например, если готовы не менее 95% тестов, можно начинать регрессионное тестирование. В противном случае требуется поддержание тестовой модели.
В разделе тест-планов также есть отчеты. Выберите тест-план и откройте раздел «Отчет». Здесь можно увидеть свой личный прогресс, распределенные на себя тесты и общую картину по тест-плану.
![Отчет по тест-плану в TestIT](https://testit.software/storage/temp/public/1e8/653/4ed/unnamed-6-1__1616.png)
Ниже есть график сгорания задач (вы можете построить идеальный план и сравнить его с фактическим прогрессом) и отчет по дефектам.
![График сгорания задач в TestIT](https://testit.software/storage/temp/public/cc7/04e/46c/unnamed-7__1616.png)
![График дефекты тест-плана в TestIt](https://testit.software/storage/temp/public/7a9/585/83f/unnamed-5__1616.png)
Также ручным тестировщикам при взаимодействии с автотестерами пригодится отчет, показывающий процент покрытия автотестами. Для этого, создавая виджет (например, «Тесты»), выберите группировку по типу автоматизации.
Какие отчеты нужны автоматизатору тестирования
QA-автоматизатора могут интересовать метрики:
- По тест-ранам
- Времени запуска
- Данные о причинах падения автотестов
- Отчет по стабильности тестов
- Процент автотестов от общего числа тестов
В модуле «Автотесты» есть свои отчеты по запускам автотестов, где отображается информация о времени запуска, количестве, результатах и причинам падения:
![Информация по запускам автотестов в TestIT](https://testit.software/storage/temp/public/b1f/222/798/unnamed-8__1616.png)
В разделе «Прогоны» вы можете открыть любой тест-ран и получить полную информацию о распределении тестов по результатам, категориям ошибок, датам и тестировщикам.
![Данные по тест-рану в TestIT](https://testit.software/storage/temp/public/639/497/6ff/image-10__1566.png)
В модуле «Автотесты» доступен раздел таймлайнов, который визуализирует информацию о том, когда запускались автотесты и сколько времени это заняло.
![Таймлайн в TestIT](https://testit.software/storage/temp/public/c59/3d4/c2d/unnamed-11__1616.png)
![Второй вариант таймлайна в TestIt](https://testit.software/storage/temp/public/6ad/595/aff/image-12__1566.png)
Раздел «Тест-планы» сам по себе представляет свод отчетов по проведенным или проходящим процессам тестирования. Здесь пересекаются интересы ручных тестировщиков и специалистов по автоматизации.
В тест-планах есть также отчет по запускам автотестов. Практика показывает, что именно в этом разделе автоматизаторы работают чаще всего.
![Отчет по запускам автотестов в тест-планах](https://testit.software/storage/temp/public/65a/dca/cdd/unnamed-14__1616.png)
В разделе «Дашборды» можно вывести отчет по причинам падения автотестов в виде линейчатой диаграммы.
![Диаграмма по причинам падения автотестов в TestIt](https://testit.software/storage/temp/public/e71/c6a/eb4/unnamed-15__1616.png)
Кроме того, можно вывести отчет по соотношению ручных и автоматизированных тестов, а также по конфигурациям, на которых прогонялись тесты.
![Соотношение ручных и автотестов в TestIT](https://testit.software/storage/temp/public/b7a/b82/3c0/unnamed-13__1616.png)
Для создания отчета по стабильности автотестов в системе должны присутствовать тесты, помеченные QA-инженером как нестабильные. На странице автотестов есть две колонки, отображающие стабильность: одна показывает процент успешных запусков и рассчитывается системой автоматически, вторая показывает данные, введенные автоматизатором вручную.
![Стабильность автотестов в TestIt](https://testit.software/storage/temp/public/c7e/5b4/3bd/Rectangle%203018__1920.png)
Линейчатая диаграмма позволяет отслеживать запуски автотестов и их результаты в режиме реального времени.
![Запуски и результаты автотестов в реальном времени в TestIt](https://testit.software/storage/temp/public/f71/387/091/unnamed-18__1616.png)
С помощью таблицы с фильтром по автоматизации и конфигурациям можно смотреть, в каком модуле автотесты падают чаще всего.
![Табличное значение. Падение автотестов](https://testit.software/storage/temp/public/d42/665/eb8/unnamed-19__1616.png)
Разработчики, как правило, редко заходят в Test IT, но и для них есть полезная информация, например шаги тест-кейсов или информация по автотестам.
Какие отчеты нужны тест-менеджеру
Менеджера в первую очередь интересуют отчеты по тест-планам: информация о результатах и статусе тест-плана, на основе которой делается вывод о том, нужен ли еще один регресс или нет.
![Отчет по тест-плану в TestIt](https://testit.software/storage/temp/public/903/d87/700/unnamed-6__1616.png)
Менеджеру нужна вся информация, о которой упоминалось ранее. Также ему необходимо следить за результатами работы команды, а отчетность помогает ему оценивать нагрузку на каждого тестировщика.
Заходим в раздел «Отчеты» и создаем дашборды в необходимом представлении: тренды, круговая или линейчатая диаграмма, таблицы и команда.
![Отчет по исполнителям в TestIt](https://testit.software/storage/temp/public/4ea/e4b/092/unnamed-16__1616.png)
![Дашборд по команде проекта в TestIt](https://testit.software/storage/temp/public/639/497/6ff/image-10__1566.png)
Можно отслеживать результаты от регресса к регрессу, определять приоритетность конфигураций, процент покрытия ручными тестами и автотестами и многое другое.
Как понять, готов ли проект к релизу? Чем меньше упавших тестов на регрессе, тем лучше. Это зависит от специфики проекта, но хорошей практикой считается не допускать падение более чем 3-5% тестов. Эту информацию также можно получить в отчете по тест-плану.
Что может быть интересно CEO
Руководству компании важен прогресс. Test IT позволяет увидеть различные тренды по:
-
Количеству багов на прод среде (качество тестирования и разработки)
-
Хотфиксам (количество пересборок)
-
Сторипойнтам, сданным в релиз (скорость разработки)
-
Времени регрессионного тестирования (скорость тестирования)
В отчете по тест-плану можно сразу увидеть, в каком модуле есть дефекты.
![Дефекты тест-плана в TestIt](https://testit.software/storage/temp/public/8d5/026/5cb/unnamed-20__1616.png)
Эту информацию можно также смотреть в отчете по результатам прогонов тестов. Например, мы делаем релиз по определенному модулю системы, к которому будет приковано внимание всех пользователей. Важно, чтобы он работал без проблем. Данный отчет работает в онлайн-режиме и постоянно обновляется.
![Результаты прогонов тестов в TestIt](https://testit.software/storage/temp/public/46e/e01/391/unnamed-21__1616.png)
Любым отчетом по тест-плану можно поделиться: сохранить в .pdf, распечатать или отправить заинтересованной стороне.
![Отчет по тест-плану в PDF](https://testit.software/storage/temp/public/5a9/7b0/5aa/unnamed-23__1616.png)
Руководству компании важно знать, как в целом работает отдел тестирования, есть ли прогресс, много ли выявляется ошибок. Эту информацию можно посмотреть в сводных отчетах в разделе «Дашборды».