Может ли ИИ заменить QA?

Уже несколько лет подряд у всех на слуху ИИ и тезисы о том, что он заменит человечество, а если и не заменит, то ускорит до немыслимых высот. Сегодня я хотела бы подискутировать на эту тему в области обеспечения качества, хотя рискую, кажется, оказаться в ряду динозавров.

Всем привет, меня зовут Настя, я QA Lead, преподаватель курса «JavaScript QA Engineer» в Отус и мне НЕ нравится, когда наши компании требуют от нас повсеместное внедрение искусственного интеллекта во все процессы. Сразу хочу напомнить – это всего лишь мнение и если вы хотите сказать мне, что я плохой QA, пожалуйста, аргументируйте это в комментариях.

Тезис "раз"

Где бы я не встречала в одном предложении QA и ИИ, первое, что я вижу это «Искусственный интеллект может помочь вам с генерацией тест кейсов». По правде говоря, этот тезис не первый год дергает мой глаз, потому что если мы разобьем сам процесс написания тест-кейсов на уровни, то получим примерно такую картинку:

1. Механический уровень, в который входит само письмо и формализация тест-кейсов под нужный формат – вопросов нет.

2. Аналитический, где мы анализируем требования и ищем противоречия.

3. Стратегический, где оцениваем риски и приоритизируем, то есть смотрим с точки зрения бизнеса.

Сразу скажу, если мы говорим про стандартизацию уже имеющегося набора тестов или мы не хотим начинать с чистого листа и хотим получить хоть что-то, с чего можно начать, здесь ИИ справится. Но как только мы начинаем задавать вопросы, а именно: какой степени покрытия тестами достаточно? Какие сценарии считать наиболее критичными, а какие наименее критичными? Какие требования важны для бизнеса, а какие противоречат его целям? – вот здесь мы сразу натыкаемся на проблему.

Потому что нам ведь не нужен просто какой-то набор случайных тестов, нам нужно обеспечить определенный уровень качества на определенном функционале. Когда ИИ попадает в зону смысла, он проигрывает человеку.

Несколько лет назад, когда мы только начинали работать с ИИ, мы говорили, что он спасет нас от рутины. Проблема в том, что написание тест-кейсов рутиной по сути не является, это не шаблонный процесс, требующий инженерного мышления (собственно, по этой же причине с этим процессом не справится человек без логики). Может ли ИИ понять бизнес? Не думаю. Создаст ли ИИ процессы, если у вас их нет? Ну, ответ вы и без меня уже знаете.

Пока вдохновлялась на статью, нашла на просторах интернета забавную цитату.

Надеюсь, забавная она не только для меня, но и для вас, потому что как по мне, ввод длинных строк, использование эмодзи и проверка работы вашего продукта без интернет-соединения вполне стандартные базовые проверки. Но в чем-то статья права и креативности, а также навыков исследователя у ИИ действительно нет.

В какой-то момент на своих проектах я пыталась привлекать ИИ к креативным задачам. И сколько бы не пыталась, понимаю что он вечно додумывает то, чего нет в исходном контексте и что не несёт пользы, а то, в чём эта польза действительно есть, особенно если это что-то нестандартное, придумать не может. И это очевидно, если понимать, как работают LLM.

Тезис "два"

Еще один тезис, распространённый на просторах, это то, что ИИ замечательно помогает новичкам на старте, но, если честно, я сталкивалась со многими ребятами (и, кстати, не только в тестировании, но и в разработке), которые с помощью ИИ пытаются напролом решить свою проблему, а не найти/изучить способ ее решения или хотя бы сначала подумать, почему она вообще возникла. Особенно часто это случается, когда кто-то не хочет вникать в сложный пользовательский сценарий и тыкать кнопки, чтоб изучить функционал, а чинит/тестит наобум, даже не понимая, над чем именно работает. Сталкивались с таким?

Как по мне, новичкам на старте ИИ скорее вредит, потому что они используют его неправильно. Все чаще замечаю, что сейчас основная проблема новичков это не неумение использовать инструменты или язык/фреймворк. К сожалению, чаще всего это отсутствие базового фундамента, причинно-следственного мышления и логики. Иногда техническая база не так важна, как умение декомпозировать, искать первопричины и анализировать ТЗ (да что уж там, хотя бы просто читать внимательно). Так что в момент, когда новичок начинает копировать решения без понимания, да еще и у него самого складывается некая иллюзия компетентности, это становится системной проблемой всей нашей отрасли. И я не очень понимаю, когда компании пытаются заменять сотрудников, от которых требуется творческое, смысловое мышление. Ну давайте в таком случае не удивляться качеству ваших продуктов на выходе.

Вообще не только в QA, но и в IT в целом, очень важно постоянно задаваться различными вопросами. Почему так, а не иначе? Почему условные экспекты писать плохо? Почему несколько сценариев проверять в одном тесте не хорошо? Почему критичным считается именно этот сценарий и что именно влияет на его критичность? Если новичок начнет использовать ИИ как справочник, а не как решебник, это убережет его от многих ошибок в будущем.

Что-то вроде заключения

Так что же, искусственный интеллект вообще невозможно использовать для облегчения своей работы? А вот этого я уже не говорила. Напротив, давайте применять его там, где он действительно будет полезен. Стандартизация и преобразование разрозненных заметок в документацию/тест-кейсы/баг-репорты и другие артефакты тестирования, поиск информации в больших объемах текста, анализ логов и т. д.

Генерация тестов? Нет. Написание тестов по четкой инструкции с заданным контекстом? Определенно да. С этим ИИ справляется не удивительно хорошо.

Если хотите расти в QA без иллюзий «ИИ всё сделает», полезно поставить фундамент: как мыслить про качество, риски и артефакты, а уже потом подключать инструменты. На курсе OTUS «QA Engineer. Basic» это разбирают на практике: веб-тестирование, SQL, баг-репорты, Jira/DevTools и базовые подходы к автоматизации. Для знакомства с форматом обучения и экспертами приходите на бесплатные демо-уроки:

• 17 февраля 18:00. «Стенды для нагрузочного тестирования». Записаться

• 19 февраля 20:00. «Находим баги онлайн». Записаться