АЛГОРИТМ ОБУЧЕНИЯ МНОГОСЛОЙНОЙ НЕЙРОННОЙ СЕТИ МЕТОДОМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ ОШИБКИ

Основные определения

Определение 1 Градиент – вектор, указывающий направление наибольшего возрастания некоторой величины от одной точки пространства к другой (скалярного поля).

Определение 2 Градиентный спуск – метод нахождения локально максимума (минимума), который заключается в движении по направлению градиента (антиградиента).

Введение

В последнее время все больше и больше приобретают популярность так называемые искусственные нейронные сети. С их помощью можно достичь аппроксимации фактически любой функции. Самым сложным и крайне важным этапом создания сети является её обучение. В данной работе будет рассмотрен один из методов обучения нейронной сети – метод обратного распространения ошибки.

Постановка проблемы

Необходимо ознакомиться с математической моделью многослойной нейронной сети. Рассмотреть метод обратного распространения ошибки.

Нейронные сети

Модель искусственных нейронных сетей была заимствована от модели биологической нейронной сети человека. В отличие от искусственных нейронных сетей, биологические утроены гораздо сложнее и способны выполнять куда более серьезные задачи.  В целом модель искусственной нейронной сети описывать поведение биологической.

Нейронные сети – это функции от n-мерного аргумента, а значение – вектор размерности m. Самая простейшая модель нейрона – персептрон. (Рис.1)

Рисунок 1. Модель персептрона

Аргументом является 3 – мерный вектор над полем (0, 1). Выходом является элемент поля (0,1). К нейрону от входного вектора идут ребра w, имеющие свои весовые коэффициенты. Также нейрон обладает смещением b, которое влияет на величину выхода.

Более сложной является модель нейрона – сигмоида. В целом сигмоид очень напоминает персептрон за исключением, что компоненты входного вектора и выхода принимают значения на отрезке от [0;1], причем  выход – это значение функции . Многослойная нейронная состоит из нескольких слоев сигмоидальных нейронов. (Рис. 2)

Рисунок 2. Многослойная нейронная сеть

Обучение нейронной сети

Для того, чтобы нейронная сеть выполняла определенную задачу, например, классификация объектов, необходимо подобрать значения весовых коэффициентов и смещений нашей нейронной сети. Метод обучения с учителем заключается в том, что на вход сети мы подаем вектор, а на выходе пытаемся получить желаемый вектор. Критерием определения результата будет является функция стоимости, которая определяет меру близости выходных значений многослойной сети от желаемого вектора. Введем функции стоимости . Функция С – среднеквадратичное отклонение выходного вектора от желаемого вектора, n – количество обучающих векторов. Основная идея заключается в нахождении градиента функции стоимости  и движении сторону антиградиента - . Данный метод называется методом градиентного спуска. Чтобы найти градиент функции, а в дальнейшем и антиградиент, мы должны найти частные производные  и  от всех весов и смещений нейронной сети. Отыскав все частные производные в начальной точке отправления, для продвижения к оптимальному решению, нужно произвести шаг в сторону антиградиента  и , где  Иногда появляется сложность в подборе коэффициента, так как при выборе слишком большого шага, можно перескочить локальный минимум, а при выборе слишком маленького, обучение требует слишком много времени. Основная сложность при вычислении градиента – является в нахождение градиента при использовании очень большого числа обучающих векторов, так как для вычислении градиента, мы должны найти отклонении нейронной сети от всех векторов и затем продвинуться на маленький шаг. В системах с использованием нейронных для обучения применяются порядка сотен тысяч обучающих выборок, что ведет к очень сильному увеличению времени. Поэтому вместо обычного градиента используется стохастический градиент. Например, имеем выборку порядка из ста тысячи векторов, используя псевдо случайное распределение, отбираем из выборки десятки или более векторов в зависимости от вычислительных ресурсов и находим приближенный градиент. Теория стохастического градиента дает условия сходимости метода стохастического градиентного спуска.

Перейдем непосредственно к описанию самого алгоритма.

1) Проинициализируем веса случайным образом. Чаще всего берётся нормальное распределение с нулевым математическим ожиданием и единичным среднеквадратичным отклонением.

2) Затем на входной слой подаем вектор и находим значения нейронов на других слоях .

3) Для выходных нейронов считаем величину ошибки

 .

4) Для внутренних слоев .

5) Изменить значения ,   где i – индекс родительского слоя.

Так как значения ошибок нейронов предшествующих слоёв зависят от значений следующих слоев, то алгоритм называется метод обратного распространения ошибок.

Заключение

В данной работе бы рассмотрены модели искусственных нейронных сетей и метод обучения – обратное распространение ошибок.

Список литературы:

1. Круглов В., Борисов В. Москва, искусственные нейронные сети. Издательство “Горячая Линия – Телеком”, 2001
2. Хайкин С. Нейронные сети. Москва, издательский дом Вильям, 2008