Тестирование ПО в 2024 году: тренды, практики, выводы

Каждый год сфера тестирования программного обеспечения развивается: совершенствуются инструменты и подходы, меняются требования к процессам. Как понять, что действительно важно, а что останется лишь модным словом? CPO Test IT Руслан Остропольский рассказал о ключевых трендах 2024 года и их влиянии на QA. Статья написана по докладу, представленному на конференции SQA Days 34. Собрали ключевые выводы для команд тестирования и менеджмента.

Мировые тренды

Согласно отчетам, отражающим состояние тестирования в Европе и Америке, в 2024 году ключевыми трендами стали:

• Широкое принятие гибких методологий: Agile (80%) и DevOps (50%).

• Тесная связка бизнес-целей и ценностей с методами QA: тестирование становится инструментом для достижения роста и удовлетворения пользователей.

• Фокус на кросс-функциональных навыках: инженеры осваивают знания о продукте, бизнес-процессах и развивают soft skills.

• Рост автоматизации: около половины компаний довели ее уровень до 25–50%, а 21% достигли более высокой степени.

Эти подходы помогают тестированию выйти за рамки своего отдела и поддерживать ключевые процессы компаний. Важно понимать, что цели QA должны быть направлены на рост бизнеса и удовлетворенность пользователей, а не только на исправление багов и написание тестов. 

Для успеха QA важно влиять на ключевые ценности, такие как репутация бренда, надежность продуктов и сервисов, а также удержание клиентов. Один неудачный релиз может обернуться уходом пользователей, которые будут искать альтернативу у конкурентов.

Российские тренды

В России тестирование развивается по-своему, и в 2024 году основные наблюдения таковы:

• Agile-подходы применяют около 46% компаний

Чаще это лишь отдельные элементы. Провести дейлики и назвать это Скрамом — привычная практика. Полное использование методологии встречается реже, поскольку компании предпочитают адаптировать подходы под себя, что снижает их системность.

• DevOps внедрен более чем в 80% организаций

Это превосходит показатели Европы и Америки и является поводом для гордости: повод для гордости: процессы разработки и эксплуатации у нас интегрируются активно и эффективно.

• Метрики эффективности QA применяют только 32% компаний

Отсутствие данных затрудняет понимание текущего состояния процессов и поиск зон для улучшений. Эта проблема особенно остро стоит в крупных командах, где метрики могли бы быть основой для анализа и планирования.

• Тестирование выделяют в отдельный отдел лишь 33% компаний

Чаще QA находится в составе разработки или подчиняется техническому директору. Такой подход работает для небольших команд, но при увеличении штата без профильного отдела тестирования становится сложно выстроить системную работу.

• 20% организаций не используют автоматизацию тестирования

Причины различны: от нехватки квалифицированных специалистов до быстрого изменения продукта, которое делает автоматизацию сложной и невыгодной. В таких случаях компании часто полагаются на ручное тестирование, что может быть оправдано при определенных условиях.

Опыт клиентов Test IT 

Test IT  разрабатывает систему управления тестированием, которая занимает около 40% российского рынка. У нас более 600 крупных клиентов, еще столько же средних и малых доверяют нашему решению. Какие выводы мы сделали на основе взаимодействия с ними: 

• Команды QA занимаются тестированием, а не обеспечением качества

Из обидного: вместо того чтобы охватывать весь цикл QA, команды сосредоточены только на контроле качества (quality control), выявляя дефекты, но не предотвращая их.

• Изоляция команд друг от друга

Даже в кросс-функциональных командах сохраняется разобщенность. Тестировщики и разработчики работают как будто по разные стороны баррикад, а единая цель часто остается лишь формальностью.

• Фокус на технологии, а не на ценности для бизнеса

Инженеры освоили современные инструменты и методологии, но не стремятся понять, как их работа поддерживает бизнес, и редко взаимодействуют с заказчиками.

• Отрыв технологических команд от целей бизнеса

В больших компаниях технические команды нередко замыкаются на внутренних задачах, теряя связь с продуктами и их конечной ценностью для пользователей.

Эти проблемы подчеркивают, что QA часто остается в рамках привычных технических процессов, вместо того чтобы быть драйвером улучшений, способным поддерживать бизнес на стратегическом уровне.

Метрики

Команды QA больше не могут ограничиваться базовыми результатами тестирования. Для повышения качества процессов и оптимизации работы необходимо использовать более глубокую аналитику, объединяя данные из разных систем и применяя передовые инструменты. О чем говорят репорты и опыт сотрудников Test IT:

• Обычных результатов тестирования недостаточно

Аналитика из одного инструмента не дает полного понимания качества. Для улучшения процессов необходимы данные из разных систем и срезов. Использование BI-систем позволяет объединять информацию, выявлять отклонения и улучшать качество тестирования.

• BI-системы или отчеты на их основе

BI-системы становятся стандартом для глубокого анализа метрик. Они помогают выявлять тренды, автоматизировать отчетность и предоставлять данные в удобной форме. Даже бесплатные решения, такие как Яндекс DataLens, дают возможность быстро и просто настроить аналитику.

• QA и Dev-командам нужно учиться анализировать метрики

Сбор данных — это только начало. Важно не просто видеть цифры, но и понимать их смысл. Командам нужно разбираться в метриках, анализировать отклонения и грамотно доносить эти результаты до стейкхолдеров. Это помогает не только улучшать процессы, но и усиливать доверие к QA.

• Рекомендательные системы на основе ИИ

Искусственный интеллект начинает играть важную роль в анализе метрик. Такие системы не только фиксируют проблемы, но и предлагают решения, помогая командам быстрее реагировать на изменения и оптимизировать процессы.

В будущем искусственный интеллект будет играть ключевую роль в аналитике. Рекомендательные системы на основе ИИ смогут не только фиксировать проблемы, но и предлагать решения. Пренебрегать ими не стоит уже сейчас. 

Процессы

Тестирование становится частью ключевых бизнес- и технических процессов. QA уже не просто проверяет продукт, но активно участвует в CI/CD, релизах и анализе данных, помогая компаниям достигать стратегических целей. Помимо технической интеграции, QA-командам важно понимать цели бизнеса. Тестирование должно быть направлено на поддержку стратегий компании, а не ограничиваться выполнением отдельных задач.

• QAOps

Тестировщики активно интегрируются в DevOps-процессы, что позволяет QA стать полноценной частью CI/CD-пайплайнов. Они не только тестируют, но и участвуют в автоматическом запуске тестов, настройке performance-тестов и мониторинге.

• Shift-left и shift-right

Смещение влево стало стандартом: тестирование начинается на самых ранних этапах разработки. Однако важно одновременно двигаться вправо: участвовать в релизных процессах, настраивать quality gates и контролировать качество в продакшен-среде.

• Фокус на бизнес-целях и ценностях

Тестировщики должны понимать, как их работа влияет на бизнес. Это требует интеграции QA в процессы принятия решений, чтобы тестирование стало инструментом для достижения целей компании.

• Качество данных

Объем данных растет, а их качество становится критически важным. Компании учатся работать с data lakes, внедряют проверки данных и анализируют их в реальном времени для повышения надежности продуктов.

Автоматизация

Автоматизация тестирования в тренде давно и охватывает все больше процессов. Сегодня внимание сосредоточено на упрощении простых сценариев, применении искусственного интеллекта и оптимизации работы с тестовыми данными и безопасностью.

• Codeless-автоматизация

Упрощает создание автотестов для простых сценариев и задач поддержки. Это идеальный инструмент для новичков и команд с ограниченными ресурсами.

• Искусственный интеллект в автоматизации

AI-powered решения ускоряют процессы тестирования, находят проблемы и предлагают оптимальные решения. Примеры из банковского сектора подтверждают практическую ценность подхода.

• Автоматизация тестовых данных

Исключает ручную работу, создавая данные быстрее и точнее. Некоторые компании разрабатывают отдельные сервисы для генерации данных, упрощая подготовку тестов.

• Предиктивный перформанс-тестинг

Использует анализ метрик и светофорные методы, чтобы прогнозировать деградацию производительности и предотвращать проблемы до их появления.

• Автоматизация безопасности

Инструменты для анализа уязвимостей интегрируются на всех этапах, делая безопасность частью базового процесса тестирования.

Несмотря на значительные успехи, компании сталкиваются с рядом сложностей: 37% команд испытывают нехватку навыков и опыта в автоматизации, а 50% времени на автоматизацию уходит на поддержку автотестов. При этом быстрая смена требований продукта делает автоматизацию сложной или экономически невыгодной.

Инструменты, такие как Selenium, продолжают терять популярность, уступая место более современным решениям вроде Playwright и Cypress. При этом срок окупаемости автоматизации в большинстве случаев превышает год, но зрелые команды уже демонстрируют стабильный ROI.

Искусственный интеллект в тестировании

Искусственный интеллект меняет тестирование: от автоматизации рутинных задач до обогащения инструментов новыми функциями. Можно выдохнуть: ИИ в ближайшее время не заменит QA, зато поможет сосредоточиться на более важных задачах.

• Monkey testing под контролем ИИ

Простые сценарии, которые раньше выполняли вручную, теперь заменяются моделями ИИ. Это позволяет тестировщикам высвобождать время на обучение, развитие и решение сложных задач.

• ИИ для рутинных задач

Модели автоматизируют рутину: генерацию тест-кейсов, приоритизацию сценариев, исправление багов (self-healing) и анализ данных. Такие инструменты, как генераторы мануальных кейсов или объяснения кода, уже успешно применяются на практике.

• ИИ-функциональность в тестировочных инструментах

Большинство современных западных решений обогащаются ИИ. Примеры включают визуальное тестирование, умные дашборды и инструменты анализа ошибок, помогающие выявлять проблемные зоны в коде и продукте.

• ИИ как помощник, а не замена QA

Искусственный интеллект не заменяет специалистов, а оптимизирует их работу. Он снимает нагрузку с рутинных задач и дает возможность сосредоточиться на ключевых процессах, усиливая влияние QA на качество продукта.

Роль QA

Роль команды QA становится шире: тестировщики развивают кросс-функциональные навыки, берут на себя больше ответственности за качество и осваивают новые технологии, включая ИИ и ML.

• Фокус на кросс-функциональных навыках и понимании нужд бизнеса

Тестировщики осваивают не только технические умения, но и развивают soft skills, что помогает эффективнее взаимодействовать с разработчиками и бизнесом.

• Нехватка высокоспециализированных специалистов

Спрос на автоматизацию и сложные технологии растет, но квалифицированных кадров по-прежнему не хватает.

• Разрешение разработчикам тестировать, а тестировщикам — кодировать

Роли становятся гибче: разработчики все чаще тестируют, а QA изучают код, особенно с помощью ИИ-инструментов.

• Качество — ответственность команды разработки, а не только QA

Культура качества развивается: ответственность за результат распределяется между всеми участниками команды.

• ITSM сближается с QA и командой разработки

Тестировщики вовлекаются в процессы поддержки и инцидентного менеджмента, чтобы обеспечить непрерывное качество.

• ИИ и ML — новый базовый навык

Работа с искусственным интеллектом и машинным обучением становится необходимостью для дальнейшего развития QA.

Современный QA превращается из отдельной роли в интегральную часть всей команды разработки. Развитие кросс-функциональных навыков, освоение моделей искусственного интеллекта и автоматизации делают тестировщиков участниками бизнес-процессов. 

Итоги

Изменения в QA напоминают историю с лягушкой, которая медленно привыкает к нагревающейся воде. Подходы и инструменты не меняются мгновенно, но через несколько лет их влияние становится заметным. Искусственный интеллект и автоматизация уже сейчас избавляют команды от рутины, освобождая ресурсы для работы над сложными задачами. Наблюдение за трендами и их применение в реальных проектах позволяет находить решения, которые действительно работают.

• Подходы и инструменты меняются не так быстро, как мы думаем

Изменения происходят постепенно, но спустя годы могут дать мощный эффект. Важно наблюдать за трендами, обсуждать их с коллегами и участвовать в профессиональных мероприятиях.

• ИИ усиливает влияние

Искусственный интеллект становится базовым элементом QA. Игнорировать его невозможно: в будущем многие процессы без ИИ окажутся попросту недоступны.

• Инструменты развиваются и упрощают жизнь

Новые решения освобождают время для важных задач и делают работу проще. Это позволяет QA-специалистам сосредотачиваться на развитии и внедрении новых подходов.

• Непрерывное обучение — наше все

Быстро освоить QA до профессионального уровня невозможно. Регулярное обучение, чтение, участие в конференциях и изучение новых технологий становятся ключом к успеху.

Обеспечение качества — это не только инструменты и технологии, но и непрерывное развитие специалистов. Искусственный интеллект и современные подходы становятся важными помощниками, но ключевую роль по-прежнему играют навыки, умение адаптироваться и желание учиться.

В статье используются данные отчетов: 

• State of Software Quality 2024

• The State of Testing Report 2024

• 2023 Software Testing and Quality Report

• World Quality Report 2022-23

• Russia Quality Report 2023-2024