РЕШЕНИЕ ЗАДАЧИ ПРОГНОЗИРОВАНИЯ ПРИ ПОМОЩИ ИСПОЛЬЗОВАНИЯ МНОГОСЛОЙНОГО ПЕРСЕПТРОНА

В данной работе для решения задачи прогнозирования выбран многослойный персептрон, представляющий собой обобщение однослойного персептрона [1]. Многослойный персептрон имеет несколько отличительных признаков: каждый нейрон имеет нелинейную функцию активации (всюду дифференцируемую), сеть содержит один или несколько слоев скрытых нейронов, сеть обладает высокой степенью связности (реализуется посредством синаптических соединений).

Также для многослойного персептрона выделяют два типа сигналов:

1. Функциональный сигнал – это входной сигнал сети, передаваемый по всей сети в прямом направлении. В каждом нейроне, через который передается функциональный сигнал, вычисляется некоторая функция (функция активации) от взвешенной суммы его входов с поправкой в виде порогового элемента - единичного сигнала с весовым коэффициентом w_ij.

2. Сигнал ошибки – это сигнал, берущий своё начало на выходе сети и распространяющийся в обратном направлении от слоя к слою. Сигнал ошибки вычисляется каждым нейроном на основе функции ошибки, представленной в той или иной форме.

Выходной слой сети содержит один выходной нейрон. Остальные нейроны относятся к скрытым слоям. Первый скрытый слой получает данные из входного слоя. Второй скрытый слой получает на вход результирующий сигнал первого скрытого слоя, и так далее, до самого конца сети.

В данной работе многослойный персептрон взят с одним скрытым слоем, а в качестве функции активации выбрана сигмоидальная функция. Общая структура двухслойной сигмоидальной сети представлена на рисунке 1, где  ( соответствует единичному сигналу порогового элемента) – вектор входных сигналов,  – вектор фактических выходных сигналов,  – вектор ожидаемых выходных сигналов, а  – соответствующие веса.

Рисунок 1. Обобщенная структура двухслойной сигмоидальной сети

Прежде чем прогнозировать какие-либо данные, персептрон необходимо обучить. Цель обучения многослойного персептрона состоит в подборе таких значений весов  и а  для двух слоев сети, чтобы при заданном входном векторе  получить на выходе значения сигналов , которые с требуемой точностью будут совпадать с ожидаемыми значениями  для .

Для обучения многослойного персептрона используются методы обратного распространения ошибки, в которых после прохождения функционально сигнала в прямом направлении по всей сети происходит распространение сигнала ошибки (берущего начало на выходе сети и распространяющегося от слоя к слою в обратном направлении) и корректировка весов по формулам, соответствующим конкретным алгоритмам.

В данной работе был реализован алгоритм наискорейшего спуска. В нем коррекция весовых коэффициентов производится по следующей формуле:

Уточнение весов проводится после предъявления каждой обучающей выборки (так называемый режим «онлайн»).

Для решения задачи прогнозирования были выбраны начальное значение числа скрытых слоёв, равное единице, число нейронов в скрытом слое – равное полусумме входов и выходов сети.

В результате выполнения данной работы была написана программа, имитирующая работу многослойного персептрона и проведено обучение сети по методу наискорейшего спуска.

Также проведены следующие исследования:

1) Исследование зависимости погрешности обучения от значения коэффициента обучения. Условия проведения исследования:

-  Коэффициент обучения: изменяемое значение;

-  Количество нейронов скрытого слоя: 5;

-  Количество итераций: 1000;

-  Размерность обучающей выборки: 718;

-  Длина тестовой выборки: 50;

-  Размер скользящего окна: 9.

Рисунок 2. Зависимость погрешности обучения от значения коэффициента обучения

Из рисунка 2 видно, что при увеличении коэффициента обучения его погрешность уменьшается.

2) Исследование зависимости погрешности прогнозирования от способа разделения обучающей выборки на две части: обучающую и тестирующую.

Условия проведения исследования:

-  Коэффициент обучения: 0,9;

-  Количество нейронов скрытого слоя: 15;

-  Количество итераций: 1000;

-  Размерность обучающей выборки: изменяемое значение;

-  Длина тестовой выборки: изменяемое значение;

-  Размер скользящего окна: 9.

Рисунок 3. Зависимость погрешности прогнозирования при изменении тестовой выборки для метода наискорейшего спуска с обратным распространением ошибки

Из рисунка 3 видно, что при увеличении объема тестовой выборки погрешность увеличивается.

3) Исследование зависимости погрешности прогнозирования от числа нейронов скрытого слоя. Условия проведения исследования:

-  Коэффициент обучения: 0,9;

-  Количество нейронов скрытого слоя: изменяемое значение;

-  Количество итераций: 1000;

-  Размерность обучающей выборки: 718;

-  Длина тестовой выборки: 50.

-  Размер скользящего окна: 9.

Рисунок 4. Зависимость погрешности прогнозирования от числа нейронов на скрытом слое

Из рисунка 4 видно, что при увеличении числа нейронов на скрытом слое погрешность прогнозирования уменьшается.

4) Исследовать зависимость погрешности прогнозирования от размера скользящего окна. Условия проведения исследования:

-  Коэффициент обучения: 0,9;

-  Количество нейронов скрытого слоя: 15;

-  Количество итераций: 1000;

-  Размерность обучающей выборки: 768;

-  Длина тестовой выборки: 50.

-  Размер скользящего окна: изменяемое значение.

Рисунок 5. Погрешность прогнозирования от размера скользящего окна

Из графика видно, что при увеличении размера скользящего окна погрешность уменьшается. Однако стоит отметить, что это индивидуальная характеристика и в другой предметной области можно ожидать другой тенденции.

Исходя из проведенных исследований, можно утверждать, что способ разделения на тестовую и обучающую выборку, размер скользящего окна, количество нейронов на скрытом слое являются факторами, влияющими на погрешность прогнозирования.

Список литературы:

1. Солдатова О. П. Интеллектуальные системы. Курс лекций. [Текст]. — Самара: СГАУ, 2014. — 163 с