Автотесты: с каких сценариев начать команде
Автотесты выгодны не как цифра покрытия, а как страховка критичных сценариев от поломок. Начинать нужно не с массовой автоматизации, а с узкого набора проверок по риску и частоте использования. Разберём, как выбрать первые сценарии, отличить надёжный тест от шумного и не дать поддержке тестов съесть бюджет.
Автотесты начинают с критичных сценариев — тех, где поломка бьёт по деньгам и клиентам. Приоритет считают по риску и частоте использования, автоматизируют первые пять проверок и следят за надёжностью. Нестабильный тест хуже его отсутствия, потому что команда перестаёт верить сигналам. Поэтому поддержку автотестов считают в часах и держат под контролем с первого месяца.
Зачем бизнесу автотесты
Ручная проверка перед каждым релизом тормозит поставки и упирается в людей. Чем чаще вы выпускаете изменения, тем дороже каждая ручная прогонка и тем выше риск пропустить дефект. Автотесты превращают проверку в кнопку, которая жмётся за минуты.
Для бизнеса ценность проста. Меньше инцидентов в продакшене, быстрее релизы, меньше зависимость от конкретных тестировщиков. Но эта ценность появляется только при правильном выборе сценариев. Массовое покрытие ради процента в отчёте денег не приносит.
Какие сценарии автоматизировать в первую очередь
Смотрите на систему глазами денег и клиентов. Сценарии первой очереди — регистрация заказа, оплата, выставление счёта, отправка документов, ключевые отчёты для руководства. Если эти сценарии ломаются, бизнес теряет выручку или несёт репутационный ущерб.
Сценарии второй очередь — частые операции пользователей, справочники, настройки. Сценарии, которые автоматизируют в последнюю очередь или не автоматизируют вовсе — редкие административные операции и интерфейсные изыски. Ручная проверка здесь дешевле поддержки теста.
Если вам нужно управлять качеством разработки и выпускать изменения предсказуемо, пригодится материал «Технический долг: как оценить и приоритизировать».
Приоритизация по риску и частоте
Две оси решают всё. Ось риска — сколько потеряем, если сценарий сломается в продакшене. Ось частоты — как часто пользователи проходят этот путь. Сценарий с высоким риском и высокой частотой автоматизируют первым. Высокий риск и низкая частота — вторым. Низкий риск и высокая частота — третьим, когда руки дойдут.
Пример из интернет-магазина. Оформление заказа с оплатой — высокий риск, высокая частота, первый приоритет. Возврат товара — высокий риск, средняя частота, второй. Смена аватара в профиле — низкий риск, ручная проверка раз в релиз достаточна.
Как проверить надёжность тестов
Надёжный тест даёт одинаковый результат при сопоставимых входных данных и условиях. Если проверка падает на одном выпуске и проходит на следующем без исправлений, разберите причину. Возможно, данные остались от предыдущего запуска или проверка ждёт ответ от внешнего сервиса. Храните журнал и результаты повторного прогона.
Разделите тесты по тому, когда нужен ответ. Короткий набор должен показать, можно ли начать приёмку выпуска. Длинные проверки можно запускать раньше или по расписанию. Если временно убираете нестабильную проверку из обязательного набора, назначьте владельца исправления и ручную проверку критичного сценария.
Стоимость поддержки автотестов
Каждый автотест — это код, который нужно поддерживать. При изменении интерфейса правят тесты, при изменении логики переписывают проверки. Стоимость поддержки считают в часах в месяц и сравнивают с экономией на ручном тестировании.
Условный расчёт. Команда выпускает восемь обновлений в месяц и тратит по 45 минут на повторение набора ручных сценариев. Это шесть часов в месяц. Автотесты требуют 18 часов подготовки и двух часов сопровождения в месяц. Если после внедрения остаётся ещё час на разбор результатов, чистая экономия времени составит три часа в месяц, а затраты на подготовку окупятся примерно за шесть месяцев. Измените расчёт, если релизы стали реже или в набор добавили новые сценарии.
У проверки может быть ценность даже при длинном сроке окупаемости по часам. Например, раннее обнаружение ошибки в выставлении счёта позволяет проверить выпуск до первого обращения клиента. Уточните, сколько времени есть на исправление, и сравните его с моментом, в который текущая ручная проверка обнаруживает проблему.
Как разделить проверки по уровням
Для интернет-магазина короткий сценарий перед выпуском может проверить оформление заказа целиком на тестовых данных. В нём достаточно убедиться, что создаётся один заказ, итог совпадает с корзиной и подтверждение появляется в истории. Пограничные значения скидок и правила доставки можно проверить отдельно на расчётах. Так правка интерфейса не требует менять каждую проверку цены.
Используйте изолированные тестовые данные. Если заказ был создан в предыдущем прогоне, следующий запуск не должен ошибочно принять его за свой. Проверьте, как сохраняются результаты теста при временном сбое стенда. Отчёт должен помочь отличить ошибку нового выпуска от недоступности среды.
Как принимать первый набор
Уточните, какие три результата тест должен проверить и какой выпуск он остановит. Попросите владельца сценария сверить результаты на подготовленной записи. Затем покажите тестовое изменение с заранее известной ошибкой и проверьте, что набор её обнаруживает. Без этого успешный прогон подтверждает только то, что проверки выполнились.
Через несколько релизов сравните время ручной приёмки, затраты на разбор падений и случаи, когда тесты выявили проблему раньше сотрудника. По этой выборке можно решить, где расширять покрытие и какие проверки перенести на другой уровень.
План на первый месяц
Неделя первая — список критичных сценариев от бизнеса и приоритизация по риску и частоте. Недели вторая и третья — автоматизация топ пяти сценариев и внедрение прогона в каждый релиз. Неделя четвёртая — замер стабильности и времени выполнения, первые правки.
Результат месяца — пять надёжных проверок, которые жмутся перед каждым релизом и экономят день ручной работы. Это фундамент. Дальше наращивайте покрытие по тому же принципу, сценарий за сценарием, контролируя стоимость поддержки.
Перед выпуском определите, кто принимает решение по красному результату. Если новая проверка обнаружила проблему в выдаче счёта, ответственный должен видеть ссылку на пробный заказ и ожидаемое значение. Если такой информации нет, добавьте её в отчёт. Это позволяет обсуждать конкретный риск и решить, вернуть ли сборку на доработку или проверить случай вручную. Срок исправления назначайте с учётом влияния на пользователей.
Результат обсудите с владельцем сценария.
Вывод
Автотесты начинают с критичных сценариев по риску и частоте, проверяют надёжность две недели и считают часы поддержки ежемесячно. Нестабильный тест вредит больше, чем помогает, поэтому качество проверок важнее их количества.
Тестирование и автоматизация развиваются быстро. На деловых мероприятиях инженеры по качеству показывают рабочие наборы автотестов и разбирают, где автоматизация окупается, а где нет.
Ближайшие практикумы, вебинары и конференции: сравните программу, дату и условия участия.
Выбрать мероприятие →- ✓Составить список критичных бизнес-сценариев
- ✓Приоритизировать по риску и частоте
- ✓Автоматизировать топ пять сценариев
- ✓Проверять стабильность тестов две недели
- ✓Считать часы на поддержку тестов ежемесячно
