Как обучать тестировщиков стандартам процессов тестирования

Руководитель отдела QA компании «Синимекс» Вера Поневаж рассказала, как на одном из проектов компании внедрили систему управления тестирования Test IT, чтобы наглядно обучать сотрудников процессам тестирования. Рассказываем, как появилась такая идея и как удалось выстроить процесс обучения.

Как TMS помогает обучать тестировщиков

«Синимекс» — компания заказной разработки. Мы работаем на стендах заказчика и ведем разнообразные проекты, для которых собираем команды разного размера. Тем не менее, мы стремимся к разработке единого подхода к тестированию, чтобы продвигать собственную идею о качестве. 

Для эффективного обучения необходимо учитывать, что, несмотря на то, что теория тестирования может быть сотрудникам понятной, на практике мы сталкиваемся с различными неочевидными ситуациями. Хорошо, если на проекте есть тест-менеджер, который распределяет задачи и управляет процессом, однако на других проектах сотрудник может оказаться один на один с тестированием без помощи менеджера.

Мы хотели превратить теорию в практику, поэтому возникла идея внедрить систему управления тестированием на одном из внутренних проектов компании — системе PES. Она позволяет осуществлять поиск по сотрудникам, их навыкам и проектам, а также выгружать сведения в виде резюме. Мы планируем обучать сотрудников в рамках данного внутреннего проекта и привлекать их к тестированию, разработке нового функционала и аналитике.

Преимущества нашего подхода

Наша цель — создать эталонный проект, на котором сотрудники будут получать структурированные знания и навыки, в то же время принося пользу компании. Наш подход к обучению с помощью системы управления тестированием дает два основных преимущества: 

• TMS (Test management system) предоставляет визуальные шаблоны и структуру для выполнения задач. Это помогает сотрудникам запомнить последовательность действий и заполнять необходимые данные и артефакты.  

• TMS формирует наглядные представления о структуре тест-плана и помогает компании эффективнее использовать ресурсы, развивая внутренний проект и развивая своих сотрудников одновременно.

Как выбирали TMS

Мы рассматривали разные варианты: плагины для Jira, TFS, другие системы. Пока выбирали, большинство зарубежных вендоров ушли из России. Сейчас появляются разные отечественные системы, но мы выбрали Test IT по нескольким причинам:  

• Она быстро развивается от версии к версии. Коллеги из Test IT откликаются на запросы и быстро выпускают новые релизы.  

• Это специализированный инструмент именно для тестировщиков. В то время как даже Jira — система для разработки, к которой идет плагин для тестирования.

• Ряд наших заказчиков являются клиентами Test IT. Так наши сотрудники начинают работу с клиентами, уже зная, как работать на их инфраструктуре.

Чему мы обучаем сотрудников? 5 этапов тестирования

Нормальный процесс тестирования, по нашему видению, должен состоять из пяти этапов: 

1. Анализ требований и организация тестового покрытия.

2. Создание тест-кейсов в рамках определенной структуры.

3. Формирование тестовых наборов по различным признакам.

4. Выполнение тестов: определение состояния продукта и сохранение истории прогонов.

5. Отчетность: для себя, для руководителя проекта, для заказчика.

Этап 1. Анализ требований

Часто этот этап остается недокументированным, но нам важно, чтобы тестировщики не только анализировали требования, но и гарантировали их покрытие тестами. Поэтому мы стремимся создать матрицу трассировки и следить за тем, чтобы каждый тест был связан с конкретным требованием. Этот подход исключает случайные тесты.

В Test IT пока нет отдельного модуля с требованиями, но существуют некоторые возможности, чтобы организовать тестовое покрытие.

Вариант 1. Построение структуры тест-плана с опорой на требования.

«Паспорт сотрудника», «Навыки», «Проекты» — это разные папки, в которых лежат тесты, покрывающие соответствующую функциональность.

Кроме того, можно называть папки так же, как требования. Внутри каждой папки есть номер (например, 000787), название требования и список тестов, связанных с этим требованием.

Вариант 2. Внутри Cвойств теста можно добавлять ссылки разных типов: жучок — ссылка на тип Баг, а стрелочки — на тип Требование. Каждый отдельный тест можно линковать с отдельным требованием, где бы оно ни было прописано — в Confluence, Jira или другой системе.

Ссылки позволяют проще выверять тесты, так как связь с требованием обеспечивает понимание контекста. Изменения в требованиях также отслеживаются, что дает представление о внешних изменениях. 

Оба варианта организации тестового покрытия можно использовать вместе: и прописывать структуру, и линковать ссылки или использовать вложения, если требования написаны в текстовом документе.

Этап 2. Создание тест-кейса

Тест-кейс должен содержать предусловия, шаги, ожидаемый результат действия и постусловия. TMS позволяет закрепить визуальное представление этой структуры, поэтому если сотрудник после обучения попадает на проект, где не используется система управления тестированием, он сможет воссоздать правильную структуру тест-кейса и в Excel.

Этап 3. Формирование тест-сетов

Во время создания тест-кейсов в TMS сотрудники привыкают заполнять обязательные поля: приоритет, метки, область функционала, и т. п. Для тех, кто никогда не работал в системе управления тестированием, это не очевидно, но такой подход помогает расставить приоритеты, чтобы в дальнейшем создавать тестовые наборы. 

Например, мы назначаем тег regress и ставим фильтр к тем тестам, которые нужно включить в регрессионное тестирование.

У Test IT динамические тестовые наборы: если появляется новый подходящий тест, он автоматически включается в существующий запрос.

По каким критериям мы формируем тест-сеты:

• По типу ссылки. Например, отфильтровать тесты, которые содержат ссылку вида баг. 

• По требованиям. 

• По функционалу. 

• По уровню важности (Business Value Tests). 

Преимущества для специалистов разных уровней:

• Джуны учатся составлять практические тестовые наборы.

• Мидлы анализируют нужные наборы и пытаются самостоятельно создавать их.

• Лиды начинают планировать, например, тестирование нового функционала, багов и регресса, структурируя это в TMS в виде последовательных тест-планов. Это дает визуальное представление о планировании тестирования.

Этап 4. Выполнение тестов

Для новичков это учебная база, где они следуют инструкциям и осваивают процессы. Опытные специалисты же начинают видеть вариативность в тестах, разрабатывают оптимизированные подходы и порядок выполнения, используя тесты как основу для структурированной оптимизации.

Отдельно хочу обратить внимание на функцию «Сохранить / Создать баг», которая есть в Test IT. Если тест провален на определенном шаге, мы имеем возможность связать этот сбой в Test IT с соответствующей задачей в Jira.

После того как нажимаем кнопку «Создать баг», в Test IT создается артефакт, который копируется в Jira в том же виде, с заполненными полями, обеспечивая полную информацию о баге.

Это помогает усвоить структуру хорошо оформленного бага: номер билда, ссылка на тест-кейс, pre-condition, а далее описаны все шаги с указанием упавшего шага и ожидаемого результата.

Этап 5. Отчетность

После проведения тестов начинается самый интересный этап — отчетность. 

Какие виды отчетности часто востребованы у руководителя проекта: 

• Сроки, так как руководителю необходимо понимать, сколько времени требуется для выполнения задач.

• Статус тестирования, показывающий общую картину хода процесса. 

Предоставление статуса тестирования — непростая задача, которая требует постоянного обновления таблиц с информацией о багах, тестах, функционале. Система управления тестированием облегчает эту работу. Отчеты создаются автоматически после необходимой настройки, и информацию можно получить по одному клику.

Среди моих любимых базовых отчетов в Test IT есть один, включающий ссылки на баги. Он позволяет быстро выгрузить все связанные баги с каждым тестом по тест-плану — в результате менеджер проекта счастлив.

Это не единственный вид отчета, доступный в системе. Также Test IT позволяет посмотреть динамику выполнения задач по сотрудникам — эти графики могут быть полезны лидам.

Что получают тестировщики в результате  обучения

Таким образом, использование TMS на внутреннем проекте позволяет внедрить в умы сотрудников единый подход к тестированию, повысить прозрачность процессов тестирования на проектах любой сложности и эффективно обучать сотрудников отдела разных уровней.