ИИ-генерация тест-кейсов в Test IT: исчерпывающий гайд

Мы в Test IT реализовали то, что сегодня стремятся внедрить многие команды QA: автоматизировали создание тест-кейсов с помощью искусственного интеллекта. Теперь на нашей платформе в режиме MVP доступна генерация тестов на основе задач из багтрекера через интеграцию с отечественными LLM-моделями Yandex GPT и GigaChat. В дальнейшем планируется углубление ИИ-интеграции. Это не замена тестировщику, а удобный инструмент для создания черновиков, которые можно легко адаптировать под нужды проекта. Результат — меньше рутины, быстрее старт, выше покрытие. 

В этой статье е Product Owner Test IT Настя Николаева рассказала, как работает новый инструмент, что он дает команде и бизнесу, какие у него ограничения и как настроить все за несколько шагов. Это подробный гайд для тех, кто хочет попробовать новую фичу в деле.

? Попробовать ее можно прямо сейчас бесплатно в облаке

Какую задачу мы решали

Все началось с простого запроса команды: «Хочу как ручной тестировщик использовать нейросеть, чтобы сгенерировать кейсы по описанию задачи» 

Мы сразу увидели в этом потенциал: ускорение выхода продукта на рынок, снижение ручной нагрузки, повышение качества за счет дополнительного «взгляда» ИИ. 

❗️Важно: ИИ в Test IT — это не магия, а джун, который помогает QA-команде запустить тест-дизайн быстрее. Генерация — это всегда черновик, который требует ревью, адаптации и доработки.

Что это дает команде и бизнесу

• Быстрее запускать работу над задачей. Вместо ручного написания кейсов достаточно передать описание задачи.

• Повышение эффективности. Сокращается время на первичный тест-анализ и генерацию сценариев.

• Снижение количества ручных ошибок за счет стандартизированной генерации.

• Расширение покрытия и сценариев. ИИ помогает не забыть о граничных и неочевидных сценариях.

• Выявление проблем и нестыковок на раннем этапе. Генерация тестов помогает взглянуть на задачу под другим углом.

Эффект от внедрения в Test IT

Мы начали использовать сервис практически одновременно с нашими клиентами и первые результаты такие:

✅ Время на первичный тест-анализ (составление чек-листов) сократилось на 50%

✅ Время на генерацию тестовых сценариев сократилось на 30%

Как ИИ-генерация работает в Test IT 

Если у пользователя платформы Test IT есть права на создание тестов в библиотеке, нужно просто настроить интеграцию с одним из ИИ-сервисов и подключить таск-трекер. После этого в библиотеке появится опция «Сгенерировать тесты через AI».

1. Пользователь указывает номер задачи.

2. Test IT обращается к багтрекеру и получает описание задачи.

3. Описание передается в ИИ-сервис.

4. Нейросеть по зашитому в код промту генерирует тест-кейсы и возвращает их в Test IT.

5. Пользователь может просмотреть и отредактировать кейсы, перегенерировать их, дозаполнить обязательные поля и сохранить в библиотеке.

Что важно учесть перед началом работы

Функциональность уже доступна и готова к использованию в облачной и коробочной версии, на всех тарифах, включая Lite. Работает в режиме MVP — то есть с базовыми возможностями. Вот основные ограничения, которые стоит иметь в виду:

• За один раз можно сгенерировать до 10 тест-кейсов.

• Сохраняются только все кейсы сразу, без выбора.

• Промт, по которому работает нейросеть, зашит в код — изменить его пока нельзя.

• Доступны только два сервиса для подключения: YandexGPT и GigaChat.

• Все созданные тест-кейсы сохраняются в статусе «Требуют доработки» и с приоритетом «Средний».

Тесты формируются по шаблону:

Тест-кейс «Название»
→ Цель
→ Предусловие
→ Шаги
→ Ожидаемый результат

Пример для задачи с описанием → как будет выглядеть тест-кейс: 

Подключение ИИ-сервисов

Для использования необходимо настроить две интеграции:

• С ИИ-сервисом YandexGPT или GigaChat. Можно подключить оба, но в проекте использовать только один.

• С таск-трекером, по задачам из которого будет происходить генерация.

Интеграция с YandexGPT 

Шаг 1. Подготовка аккаунта на стороне YandexGPT

• Зарегистрироваться в Yandex Cloud и создать организацию по инструкции от Яндекса. После этого будет успешно создано облако, содержащее каталог Yandex Cloud.

• Получить идентификатор каталога.

• Создать платежный аккаунт и сервисный аккаунт.

• Сгенерировать API-ключ.

? Подробная инструкция есть в нашей документации по YandexGPT

Шаг 2: Настройка интеграции с YandexGPT в Test IT 

• В разделе Администрирование — Интеграции создать новую интеграцию.

• Выбрать нужный сервис и заполнить все обязательные поля, которые можно получить в аккаунте YandexGPT.

Для YandexGPT есть особенность: необходимо выбрать модель в поле «Модель AI», с помощью которой будут генерироваться тестовые сценарии. Пользователям доступны все модели, но от выбора зависит тарификация. 

Если все поля заполнены правильно, интеграция успешно сохраниться — TMS не покажет ошибок. 

Интеграция с GigaChat

Шаг 1. Подготовка аккаунта на стороне GigaChat

• Создать аккаунт в Сбер Developer Studio (Сбер Studio) с правами администратора.

• Создать пространство и проект в этом аккаунте.

• Включить доступ по API.

• Создать API-ключ, Client Secret и Client ID.

? Подробно о подготовке необходимых данных со стороны GigaChat — в документации Test IT.

Шаг 2: Настройка интеграции с GigaChat в Test IT

Как и в примере с Яндексом, в разделе Администрирование — Интеграции создаем новую интеграцию. Выбираем нужный сервис и заполняем все необходимые данные, которые можно получить в аккаунте GigaChat.

 Для этого ИИ-сервиса есть две особенности:

1. Необходимо выбрать модель в поле «Модель AI», с помощью которой будут генерироваться тестовые сценарии. От выбора модели зависит тарификация. 

2. Заполнить поле Api version. Версия API зависит от формата договора между пользователем и самим GigaChat: 

• Personal — для физических лиц

• Paid — для юридических лиц, использующих платные пакеты

• Corporate — для юридических лиц, использующих план pay-as-you-go

Если все поля заполнены правильно, интеграция успешно сохраниться — TMS не покажет ошибок. 

? Подробнее о настройке интеграции с ИИ в документации Test IT

Подключение багтрекера

Шаг 1: Настройка интеграции с таск-трекером в Test IT

Прежде чем переходить к подключению ИИ-сервиса в проект, нужно настроить интеграцию с таск-трекером, по задачам из которого будут генерироваться тест-кейсы.

• В разделе Администрирование — Интеграции, создаем новую интеграцию.

• Выбираем нужный таск-трекер и заполняем необходимы поля. Мы работаем в TeamStorm, поэтому и на примере выбран он. 

? Список всех доступных таск-трекеров — по ссылке

? Подробнее о настройке интеграции с таск-трекерами в документации Test IT

Если все поля заполнены правильно, интеграция успешно сохранится — TMS не покажет ошибок. 

Шаг 2: Добавление таск-трекера и ИИ-сервиса в проект

После настройки необходимых интеграций их нужно добавить в проект, в котором вы хотите пользоваться опцией генерации тестов. 

• Для этого переходим в проект в раздел Настройки — Интеграции.

• Добавляем ИИ-сервис и таск-трекер, если он не был добавлен ранее.

Генерация тест-кейсов через ИИ в библиотеке тестов

Шаг 1: Выбор номера задачи для генерации тестов

Когда все подключено, функция «Сгенерировать тесты AI» становится доступна в библиотеке при нажатии на «Создать».

Для начала работы нужна задача с описанием. 

Требования:

• В описании должно быть достаточно информации по спецификации, чтобы ИИ мог сгенерировать валидные тесты.

• Шаблона описания нет — главное, чтобы текст был понятным.

• Комментарии к задаче, ссылки, изображения и вложенные документы при генерации не учитываются — анализируется только текст описания.

Пример описания задачи в TeamStorm:

Нажимаем «Сгенерировать тесты AI», вводим номер задачи (в нашем примере AI-2522) и нажимаем «Сгенерировать». После этого тесты выведутся на экран для ревью и сохранения.

Шаг 2: Ревью и сохранение тестов

• QA необходимо проверить качество тестовых сценариев. Если результат не устроил, их можно перегенерировать. 

• Далее при необходимости следует дозаполнить обязательные атрибуты в проекте и сохранить тест-кейсы в библиотеке.

Тесты сохраняются со статусом «Требуют доработки» и требуют проверки QA-инженера. 

❗️ Нюанс по Jira: при сохранении тест-кейсов, сгенерированных ИИ, дубликаты также создаются в трекере.

? Для тех, кто предпочитает видеоинструкции — смотрите наш вебинар в VK  

Немного о безопасности

В нейросеть передается только описание задачи. Если оно не содержит чувствительной информации под NDA и вы доверяете своему трекеру задач, проблем с безопасностью нет. 

Ближайшие планы

• Добавить возможность разбивать сгенерированные тесты на отдельные шаги с ожидаемыми результатами.

• Дать пользователям возможность сохранять только те тест-кейсы, которые им действительно нужны.

• Создать специальную метку или признак для тестов, сгенерированных с помощью ИИ, чтобы легко их фильтровать и отслеживать.

• Реализовать связь между тест-кейсом и задачей, по которой он был сгенерирован, для более удобной навигации и анализа.

Уже попробовали новую ИИ-фичу? Поделитесь обратной связью, нам интересно ваше мнение!