Определение критериев тестирования
Цель определения
критериев тестирования
заключается в установке на месте заказчика набора правил, регламентирующих поток тестирования.
Очень важно определиться с критериями
тестирования до начала испытаний. Ввод в действие и выполнение критериев
тестирования помогает проекту выдерживать намеченные сроки за счет исключения
временных потерь, которые будут неизбежны в случае, когда на испытательный стенд попадает программный
продукт, не готовый к испытаниям, либо в ситуации, когда продолжаются испытания продукта,
который нужно отправлять на переделку.
Существует пять типов критериев, которые могут определяться
перед началом системного тестирования.
Критерий входа описывает, что нужно сделать перед началом
тестирования. Например, возможно,
потребуется располагать документами технического задания в окончательной форме.
Можно поставить задачу, чтобы программный продукт был упакован в том же виде, в
каком он будет поставляться заказчику. Во время тестирования может возникнуть
необходимость в служебных программах,
конфигурационных файлах или данных, которыми будет пользоваться заказчик. Если
на вас возложена ответственность за
проверку документации, сопровождающей
программный продукт, она также должна быть доступна во время
тестирования. Один из способов выполнения критерия входа предусматривает
проверку готовности к испытаниям. Эта проверка использует контрольную таблицу
элементов действий, которые другие группы согласились передать как входные
данных для тестирования.
Критерий выхода описывает то, что вы считаете необходимым
для завершения испытаний. Несмотря на то,
что группы тестирования часто пытаются сделать критерий выхода условием поставки программного продукта, это
нереально. Решение на поставку принимается и должно приниматься высшим руководством разработок.
Критерий выхода из испытаний должен звучать
примерно так: "все запланированные тесты выполнены, все
исправленные дефекты проверены,
уведомления о всех обнаруженных новых дефектах были выданы.
Невыполненные пункты плана, такие как неудачный прогон некоторого набора тестов
из-за неисправности оборудования,
задокументированы". Как и в случае критерия входа в испытания,
допускается проведение проверки
готовности, которая обеспечит полное выполнение всех тестов, и оценки
готовности программного продукта к
поставкам на базе результатов тестирования.
Критерий приостановки/возобновления описывает, что
произойдет, если по причине из-за дефектов продолжение тестирования окажется
невозможным. Другими словами, если дела складываются настолько неудачно, что
запланированные испытания провести не удается, их необходимо прекратить до тех
пор, пока обнаруженные дефекты не будут устранены.
Критерий успешного/неудачного прохождения теста. Прогон
каждого теста должен давать заранее известные результаты. Если получен
ожидаемый результат, считается, что продукт
успешно прошел тест, в противном случае прохождение теста завершается
неудачно. В то же время может случиться так, что прогон некоторой группы тестов
не выполняется, поскольку они либо искажены или заблокированы дефектами, либо необходимые для их прогона ресурсы
отсутствуют. Целесообразно определить заранее, что делать с тестами, которые не
удалось выполнить. Возможно, будет
запланировано пометить каждый невыполненный тест буквой "N " в
итоговом отчете и объяснить в поле комментария, что случилось и что было предпринято
в контексте решения проблемы. Может быть, в ваши планы входит замена искаженных
тестов специальным видом тестирования и
регистрация результатов в специальном акте об испытаниях.
Другие критерии, определяемые процессом или стандартами.
Если программный продукт должен
соответствовать некоторому стандарту или ваша компания предъявляет
определенные требования к выполняемому
процессу, скорее всего, придется учесть ряд дополнительных критериев. Например, в вашем локальном процессе
могут быть определены конкретные средства,
выдающие сообщения об обнаруженных дефектах или отчеты по результатам
испытаний.
Комментариев нет:
Отправить комментарий