ПРИМЕНЕНИЕ МЕТОДА СААТИ ДЛЯ ОПТИМИЗАЦИИ ПОПАРНОГО ТЕСТИРОВАНИЯ В РАМКАХ РАЗРАБОТКИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

APPLICATION OF THE SAATI METHOD TO OPTIMIZE PAIRWISE TESTING IN SOFTWARE DEVELOPMENT

Ilya Kubarev

master’s student, Department of Telecommunication Systems and Information Security, Russian New University,

Russia, Moscow

Evgenia Stepanova

scientific supervisor, candidate of Sciences in Pedagogics, associate professor of the Department of Information Systems in Economics and Management, Russian New University,

Russia, Moscow

АННОТАЦИЯ

Статья посвящена анализу и возможном потенциале комплексного применения метода Саати вместе с такой техникой тест-дизайна, как попарное тестирование. Проведен критический анализ статей по схожим темам с целью определения достоинств и недостатков каждого из методов. Выявлены сильные и слабые стороны, а также выдвинута гипотеза об эффективности и возможной оптимизации метода попарного тестирования посредством использования некоторых положений, используемых в методе Саати. Анализ научной литературы позволил выделить основные преимущества комплексного использования данного метода.

ABSTRACT

The article is devoted to the analysis and possible potential of complex application of the Saati method together with such test design technique as pairwise testing. A critical analysis of articles on similar topics was carried out in order to determine the advantages and disadvantages of each of the methods. Strengths and weaknesses have been identified, and a hypothesis has been put forward about the effectiveness and possible optimization of the pairwise testing method through the use of some of the provisions used in the Saati method. The analysis of the scientific literature allowed us to identify the main advantages of the integrated use of this method.

Ключевые слова: метод Саати, попарное тестирование, гипотеза, программное обеспечение, тестовые сценарии, оптимизация.

Keywords: Saaiti method, pairwise testing, hypothesis, software, test scenarios, optimization.

В современном мире разработки программного обеспечения важность эффективного тестирования невозможно переоценить. Одним из ключевых методов, позволяющих значительно сократить количество тестовых сценариев без потери качества, является попарное тестирование. Этот метод позволяет выявить большинство ошибок, возникающих при взаимодействии двух параметров, что делает его особенно ценным в условиях ограниченных ресурсов и времени.

В статье рассматривается возможность применения метода Саати для оптимизации процесса попарного тестирования. Метод Саати, также известный как метод анализа иерархий, позволяет структурировать и упорядочивать сложные решения [1], что делает его очень полезным и выгодным инструментом для выбора оптимальных комбинаций параметров в процессе тестирования. Для этого были использованы методы агрегирования, а также задействованы элементы системного анализа.

Попарное тестирование – это техника тест-дизайна, которая используется для проверки приложений с множеством входных параметров. Данная техника особенно полезна в случаях, когда полное тестирование с максимумом проверок и тестированием всех возможных комбинаций и значений невозможно в виду ограничений ресурсов или времени. Попарное тестирование эффективно снижает количество необходимых тестов по сравнению с полным комбинаторным тестированием, при этом обеспечивая высокий уровень покрытия и вероятность обнаружения неверной работы той или иной функции в системе.

Организация ISTQB, которая занимается определением стандартов в области тестирования программного обеспечения, определяет попарное тестирование как технику тест-дизайна методом черного ящика [2].

Основные аспекты попарного тестирования:

• определение всех входных параметров системы и возможных значений для каждого параметра;
• создание всех возможных уникальных пар значений параметров, что явяется основой для генерации тестовых случаев.
• используя различные алгоритмы, генерируются тестовые случаи, которые покрывают все пары параметров;
• попарное тестирование направлено на минимизацию количества тестовых случаев, сохраняя при этом способность обнаруживать ошибки, вызванные взаимодействие параметров;
• тестовые случаи выполняются, и результаты используются для выявления и устранения ошибок;
• результаты прохождения тестовых случаев анализируются для определения причин ошибок и улучшения качества программного обеспечения;

Основная идея метода заключается в том, что большинство ошибок в программном обеспечении вызывается взаимодействием между ограниченным числом параметров [3].

Классический метод Саати, который так же известен как метод анализа иерархий, является математическим инструментом системного подхода к сложным проблемам принятия решений. Он особенно полезен при работе над большими и трудоемкими задачами, где требуется учет человеческого восприятия и суждения. Основные положения метода Саати:

• моделирование проблемы в виде иерархии и декомпозиция на более простые составные части, которые организуются в иерархическую структуру, начиная от общей цели до критериев и альтернатив;
• на каждом уровне иерархии проводятся попарные сравнения элементов для оценки их важности или предпочтительности;
• используя специальные математические методы, вычисляются приоритеты и определяются весовые коэффициенты для каждого элемента, которые отражают их вклад в достижение цели;
• веса элементов на всех уровнях иерархии объединяются для получения общего ранжирования альтернатив;

Традиционный метод Саати разработан для принятия решений в условиях неопределенности с множеством критериев.

Метода Саати и попарное тестирование представляют собой два различных подхода, используемых для оптимизации и анализа в различных областях.

Попарное тестирование, основанное на комбинаторике, применяется в тестировании программного обеспечения для сокращения количества тест-кейсов, необходимых для проверки всех возможных комбинаций параметров. Этот метод позволяет выявлять дефекты, возникающие при взаимодействии двух факторов, что значительно снижает затраты времени и ресурсов.

В отличие от этого, как уже и говорилось ранее, метод Саати используется для принятия решений в условиях большого множества критериев. Он включает в себя построение иерархии критериев и альтернатив, а также попарное сравнение этих элементов для определения их относительной важности.

Основные сходства подходов:

• оба метода опираются на математические и алгоритмические основы для обработки данных и получения результатов;
• в попарном тестировании происходит попарное сравнение возможных комбинаций, а в методе Саати – это сравнение вариантов по общим критериям;
• оба метода направлены на оптимизацию процесса принятия решений или тестирования, стремясь минимизировать количество проверок или количество данных для анализа;

Основные различия:

• первое и самое важное – это подход к сравнению. При применении техники попарного тестирования основное внимание уделяется тому, чтобы каждая пара возможных значений была протестирована хотя бы раз. При использовании метода Саати каждую пару критериев или альтернатив сравнивают по степени их важности, при этом важность оценивается в числовом выражении, после чего расчитываются весовые коэффициенты, которые используются для оценки вариантов;
• по степени сложности попарное тестирование обычно проще и это сам по себе более механический процесс, направленный на тестирование комбинаций. В свою очередь, метод Саати сложнее, так как включает субъективную оценку важности критериев и более емкие вычисления для определения весов;
• результатом попраного тестирования служат наборы тестов, которые должны быть выполнены, чтобы обеспечить адекватное покрытие всех возможных пар значений. Результатом метода Саати является ранжирование альтернатив по важности, на основе которого принимается оптимальное решение;

Попарное тестирование и метод Саати используются в процессе принятия решений и оценке возможных вариантов, но, в основном, применяются в разных контекстах и решают различные задачи.

Использование традиционного метода Саати не во всех случаях будет соответствовать требованиям к тестированию программного обеспечения, где важны точность и воспроизводимость результатов, именно поэтому для целей попарного тестирования необходима модификация метода.

В попарном тестировании важно учитывать взаимодействие между множеством параметров, что требует более сложных математических моделей, чем предлагает классический метод Саати. Тестирование программного обеспечения часто подразумевает ограниченные временные рамки и ресурсы, что требует более эффективного подхода к выбору тестовых сценариев, чем может предложить метод.

В процессе тестирования требуется высокая точность оценок вероятности возникновения ошибок, что может потребовать изменений в шкале оценок и методах вычисления приоритетов в методе.

Традиционно метод Саати использует ручные попарные сравнения, что не всегда эффективно в контексте больших объемов данных в тестировании. Модификация может включать в себя разработку алгоритмов для автоматизации этого процесса.

Тем не менее, потенциал метода Саати заключается в его способности структурировать и количественно оценивать сложные проблемы, что делает его очень полезным инструментом для улучшения процесса тестирования программного обеспечения.

Во-первых, при помощи метода можно разбить процесс тестирования на иерархические уровни, что облегчает систематизацию и анализ компонентов.

Во-вторых, метод Саати может помочь управлять сложностью тестирования, выделяя наиболее критические аспекты программного обеспечения.

В-третьих, применение метода способствует оптимизации времени и ресурсов, так как позволяет сфокусироваться на наиболее значимых тестовых случаях.

В-четвертых, точное определение приоритетов тестовых случаев может привести к повышению качества конечного продукта за счет более тщательного тестирования ключевых функций.

В-пятых, сам метод может быть адаптирован для различных типов тестирования, включая как функциональное, так и нефункциональное.

Таким образом, приведенные выше аргументы подчеркивают потенциальность модификации и использование метода Саати для повышения эффективности и качества тестирования программного обеспечения, что делает его очень полезным инструментом для применения в этой области.

Список литературы:

1. Сологубова Л.А., Трунькина О.В., Байбекова Ф.Н., Кулаков А.А. Принятие решений с помощью метода анализа иерархий // Инновации в науке. – 2018. – №4 – С. 11-14.
2. Pairwise testing // ISTQB glossary. 2015. [Электронный ресурс]. – URL: https://glossary.istqb.org/en_US/term/pairwise-testing  (дата обращения 09.08.2024)
3. Попарное тестирование: суть техники, инструменты и примеры // Хабр. 2021. [Электронный ресурс]. – URL: https://habr.com/ru/companies/otus/articles/592575/ (дата обращения 01.09.2024)