Уровень 7 Этапы тестирования

Этапы тестирования

Перед тем, как начать планировать процесс тестирования, нужно разбить весь процесс на этапы:

Этапами процесса тестирования ПО являются группы работ, определяющие основное направление активностей для достижения заданного и определённого для всего этапа результата

Выделение основных активностей и группировка их в этапы работ позволяет проводить планирование всех активностей и оценку трудозатрат на определённый этап работ по тестированию ПО

Из каких этапов состоит процесс тестирования:

Это важно знать каждому тестировщику!

Тестирование состоит из таких этапов:

Планирование тестирования
Проектирование тестов
Реализация/запись тестовых процедур
Выполнение тестов

Отладка тестов
Анализ полученных результатов

Документация полученных результатов

Тут, вроде как, все просто и понятно. Все эти этапы мы уже обсуждали и проходили. Все это по отдельности ты умеешь делать и все, что теперь надо составить -это план по выполнению этих действий.

Этапы тестирования

И вот, настало время решающего этапа в битве со злом. Мы готовимся взорвать Звезду Смерти! Для того, чтобы поразить врага, нам нужно составить грамотный план, выстроить тактику и последовательность действий в четком порядке.

Как ты догадался, мы будем готовить план по тестированию. Вершина искусства тестировщика, кульминация теоретической части, фанфары, барабанная дробь! Самая сложная техническая документация в тестировании тебе покорится сегодня!

Планирование тестирования

Планирование тестирования

В этом выпадающем списке ты сможешь узнать, что включает в себя первый этап тестирования (планирование). Собственно, для этого и затеялся этот уровень

"Зачем вообще нужен план тестирования? - спросите вы. - Ведь у меня есть тест кейсы, техническое задание, в конце то концов, я и так знаю что делать, могу на пальцах все рассказать!"

И это верно. Мое личное мнение (и оно совпадает с мнениями многих работодателей), в том, что затраты времени на документацию должны быть несопоставимы с временем на непосредственное тестирование, то есть не превышать примерно 10% от всего затраченного времени.

Например, если вам предстоит протестировать только форму отправки данных как в 4 уровне, тест план вам для этого не нужен - вы потратите на него времени больше, чем на само тестирование.

Тест план необходим в том случае, когда фича большая и удержать весь объем работ по ней в голове просто невозможно. Никак нельзя пропустить какой-то из аспектов тестирования. И для этого надо занести все в документ, рассортировать порядок действий, обдумать все "на берегу". Особенно важно иметь тест план, если в тестировании участвуют несколько человек. Тогда вы уже экономите время на совещаниях и множественных объяснениях плана действий другим людям.

Важные факты о плане тестирования:

План тестирования содержит: объём работ, сроки выполнения работ, пути решения задач по выполнению работ, ресурсы, календарный план выполнения работ

Это основной артефакт, согласующий планы групп разработки и тестирования

Необходимый артефакт для выполнения работ по планированию проекта разработки и сдачи ПО

Разделы и стратегия

Основные разделы плана тестирования

Название, Проект

Журнал изменений

Введение
- Идентификация проекта
- Область применения
- Исходные данные
- Назначение

Тестовые требования
- Стратегия тестирования (далее)
- Ресурсы
- Расписание

Материалы, подлежащие сдаче

Пока ты все еще учишься, C3PO дошел до 23 уровня, стал тестировщиком и теперь кайфует

Стратегия тестирования

Стратегия пишется в самом начале. В ней прописывается очередность выполнения работ, включая даже наполнение вашего тест плана. Например, очерёдность разработки документации и фактического прохождения тестов.

Работа с входящей технической документацией (как ТЗ)
Генерация тестовой документации
Выбор типов тестирования, создание тестового скрипта:
- Инсталляционное тестирование
- Конфигурационное тестирование
- Тестирование безопасности и управления доступом
- Нагрузочное тестирование
- Тестирование данных и целостности базы данных
- Тестирование пользовательского интерфейса
- Тестирование бизнес-циклов
- Функциональное тестирование
- Инструментальные средства тестирования

Стратегия тестирования

Ресурсы

В тест плане описываются ресурсы, которые необходимы для проведения тестирования в указанные вами сроки. Запрос на ресурсы для вашего конкретного проекта формируются исходя из приоритета задачи, дедлайна и реальных ресурсов вашей компании.

Ресурсы в тестировании бывают: человеческие - это те роли, которые вам понадобятся для работы над проектом и технические - вся техника, необходимая для тестирования.

Роли
- Конструктор
- Проектировщик
- Администратор базы данных
- Администратор тестируемой системы
- Тестировщик
- Проектировщик тестирования
- Менеджер по тестированию

Техническая система
- Тестовая БД
- Тестовый сервер
- Тестовые окружения
- Тестовый репозиторий

Расписание тестирования

Определение объемов тестирования
Определение порядка проведения тестирования
Определение порядка измерения результатов тестирования
Календарный план

Хотя время - один из ценнейших наших ресурсов, обычно мы недостаточно его ценим. Чтобы грамотно распределить время-затраты в тест плане содержится календарный план работ.

Особенностью планирования для Agile является то, что оценка выполняется последовательно на каждой итерации. Никто не ожидает, что предварительные оценки будут столь же точными, как последующие оценки. Улучшение происходит с течением времени, с тем, как команда повышает уверенность в своих способностях и возможностях.

В дополнение к основному подходу в оценке, основанному на исторических знаниях, члены команды в Agile часто применяют относительные модели оценки, при которых команды развивают повествования (истории), определяющие потребности пользователей. Эти истории анализируются командами и каждой истории сопоставляются числовые значения (Story Points). Story Points (SP) могут быть выражены в абстрактных единицах измерения, например, в виде числовых значений, или в форме идеальных дней разработчика (Ideal Developer Days, IDDs).

В тестировании, как и во всех бизнес-процессах, время, затраченное на проект, будет равно объему проекта (количество story points) деленное на количество тестировщиков, участвующих в проекте.

При этом, в начале определяется объем тестирования, затем из стратегии берется порядок этапов тестирования, отводится время на проведение результирующих работ, то есть отчетности - и все это заносится в календарный план

Материалы для сдачи

Материалы, подлежащие сдаче

Модель тестирования

Протоколы тестирования
Отчеты об обнаруженных дефектах системы

Я думаю, тут все понятно и так. Сдается в начале работы тест план, а уже в процессе самого тестирования - баг репорты. Под протоколами имеются ввиду тест кейсы и чек-листы с отметками прохождения.

Мы приближаемся к цели

Реализация и выполнение

Шаблоны тест планов

Проектирование тестирования

Проектирование состоит из четырех основных этапов. Когда вы пройдете их - основная часть тест-плана будет готова.

Определить и описать тестовые сценарии

На первом этапе вы продумываете и намечаете какие тест-кейсы вам нужно написать. Затем, по этой структуре, будете писать чек-листы или тест-кейсы в зависимости от требований к детализации документов.

2. Подготовить анализ ожидаемой рабочей нагрузки (для нагрузочного тестирования)

В этом случае, согласовывается с руководством ожидаемая нагрузка проекта:

количество пользователей, количество шагов в user story для среднего пользователя. Время сессии, пиковая нагрузка и прочее...

3. Определить и структурировать тестовые процедуры

Тут нужно решить - какие тесты изначально будут проектироваться ручными, а какие автоматизированными. Разбить их по разделам. Определить подход к тестированию. Разбить функционал между коллегами.

4. Просмотреть и оценить тестовое покрытие

После того, как у вас будут готовы тестовые скрипты, вы сможете оценить тестовое покрытие функционала проекта. Понять, достигли ли вы требуемого минимума или что-то нужно еще покрыть тестами. Время осмотреть проект и довольно улыбнуться после проделанной работы.

Шаблоны тест планов

Моя дать тебе шаблоны, ознакомься. Это интересно.

По версии Rational Unified Process

По версии IEEE (ANSI/IEEE Standard 829-1983)

По мой личной версии WIX.com (english)

Реализация тестирования

Записать или запрограммировать тестовые скрипты

Определить специальную тестовую функциональность в дизайн-модели и модели реализации

Иногда в компаниях существует тестовая функциональность, которая упрощает рутинные операции. Например, скрипт, который добавит n страниц на сайт, чтобы не делать это вручную.

Установить внешние наборы данных для тестирования

Собрать необходимый набор данных для тестирования, если требуется. Например, данные карт для проведения тестовых платежей.

Моя миссия - помогать. Буду давать тебе комментарии по каждому пункту тест-плана

Выполнение тестирования

Выполнить тестовые процедуры

Оценить выполнение тестирования (завершено, не завершено)

Исправить «провалившиеся» тесты

Исправить, если нужно, тестовые процедуры

Проверить результаты

Проанализировать неожиданные результаты

Запротоколировать дефекты

Оценка тестирования

Оценить покрытие функциональности тестовыми сценариями

Убедиться, что каждый важный узел функционала проверяется в каком-либо тесте. Важно не забывать про негативные тестовые сценарии.

Оценить покрытие кода тестовыми сценариями

Оценивается % кода, который покрыт тестами.

Проанализировать дефекты

Понять локализацию и причины дефектов. Если много багов в каком-то конкретном месте, то ему нужно уделить особое внимание, повысив детализацию покрытия, а также учесть это при регрессионном тестировании. Возможно поднять вопрос о проблемном качестве кода от некоторых программистов.

Определить, были ли достигнуты критерии завершенности и успешности тестирования

В первую очередь проанализировать - достигнуты ли метрики тестирования (покрытие тестами, проверка всего функционала и пр. ). А также, чувствуете ли вы, что все проверили полностью, не встречаются ли еще критические баги.

Практические cоветы:

Тестовый скрипт должен работать в каждом тестовом прогоне или должен быть полностью исключен из тестового набора

Тестовые скрипты должны воспроизводиться с момента разработки

Покрывайте автоматизированными скриптами обнаруженные ошибки критичного приоритета

Зафиксируйте основные положения работы с автоматизированным тестированием в Плане Качества продукта

Установите в метрике автоматизированного покрытия приоритет «запрета выпуска версии»

Не старайтесь создать тест-план в точности таким же, как было предложено. Каждый проект уникален

Попробуйте применить концепцию «живых документов»
- Используйте здравый смысл…
- и здравый смысл!
- и задавайте правильные вопросы :)

Оценка тестирования

Полезные статьи для прочтения:

Метрики тестирования

Чувствую, что материал усвоил ты. Задумайся над этими вопросами, мой ученик. Ты найдешь ответ в понимании того уровня.

Этот уровень очень важный на пути тестировщика. Чубака говорит, что этот и следующий уровень были самыми сложными в его жизни!

Еще бы, тебе ведь придется исследовать Звезду Смерти в конце следующего уровня. Сделай решающий шаг в этом курсе - пройди тест и сделай задание. Тогда ты наверняка станешь уже наполовину тестировщиком.

Тест