ГИБРИДНЫЙ АЛГОРИТМ ОБУЧЕНИЯ ДЛЯ НЕЙРОННЫХ СЕТЕЙ

Аннотация

В этой статье представлен гибридный алгоритм для механизма обучения модели нейронной сети, который дважды корректирует веса в любой отдельной итерации. Этот новый алгоритм представляет собой комбинацию алгоритма машинного обучения, предложенного Габором в 1960-х годах и алгоритмом LMS. Этот гибридный алгоритм использует два разных уравнения на основе среднеквадратических ошибок для оптимизации весов. Алгоритм показал лучшую производительность по сравнению с алгоритмами обучения по методу наименьшего среднего квадрата (LMS) и обратного распространения (BP) с использованием проблемы распознавания образов.

Введение

В последние годы модели ANN совершили большой скачок в решении сложных задач, таких как прогнозирование, классификация, анализ речи, анализ изображений и распознавание образов. Для решения множества проблем был разработан ряд сложных моделей обучения. Несмотря на замечательное достижение модели ANN в некоторых областях применения, все еще есть возможности для улучшения. В основном, эти модели страдают от проблем медленной конвергенции и определения ее структуры. В этой статье представлен гибридный подход путем объединения двух алгоритмов в единую модель обучения. Этот гибридный алгоритм в основном получен из теории коммуникаций и машинного обучения Габора, которая модифицируется путем слияния с алгоритмом обучения на основе LMS. Алгоритм сравнивается со стандартными BP и LMS с проблемой распознавания образов. Различные параметры, такие как инициализация весов, скорость обучения, и кривая обучения также исследуются с помощью экспериментального исследования.

1. Парадигма обучения

Общая структура предлагаемого алгоритма гибридного обучения показана на рис. 1, который показывает рабочий механизм алгоритма. Можно отметить, что алгоритм регулирует вес в два этапа. Оба этапа выполняются в каждом тренировочном туре одновременно, т.е. регулировка весов происходит дважды в одной итерации. На первом этапе алгоритм вычисляет три ошибки, связанные с каждым весом, и использует их для изменения связанного веса (только один вес). Впоследствии алгоритм использует среднеквадратические ошибки для корректировки всех весов, которые рассматриваются как второй этап модели. 

Рисунок 1. Общая структура предлагаемого алгоритма гибридного обучения

2. Экспериментальное исследование

Вышеуказанная двухэтапная модель анализируется с помощью экспериментального исследования с использованием разработанного для этой цели пакета компьютерного моделирования. Во время экспериментов тщательно изучается ряд параметров, таких как установка начальных весов, постоянная обучения и т.д. Следующие разделы объясняют эти параметры более подробной информацией и результатами моделирования. 

2.1. Начальные значения веса Алгоритма

Большинство сетевых моделей используют случайные начальные значения для весов для расчета их первого аппроксимированного вычисленного вывода. Из вышеуказанного ясно, что для расчета начальных значений веса нет конкретного правила; поэтому в большинстве случаев эти значения фиксируются после ряда экспериментов, которые выполняются с различными значениями случайного начального веса. Проведен ряд экспериментов, чтобы найти подходящие начальные границы веса для предлагаемого алгоритма гибридного обучения. На рис. 2 показаны кривые обучения для значений начальных весов (<1,0) и (> 1,0) соответственно. Эти графики показывают, что значения начальных весов менее 1,0 показывают лучшую производительность. 

Рисунок 2. Начальные значения веса для предлагаемого алгоритма гибридного обучения. Значения веса выбираются случайным образом менее 1,0 и более 1,0

3. Пример распознавания образов

Предлагаемая модель анализируется с помощью примера распознавания образов. Предусмотрен входной и целевой выход, как показано на рис 3.

Рисунок 3. Входные и целевые шаблоны

3.1. Кривые обучения

Критерии для корректировки веса были предметом литературы по нейронной сети в течение некоторого времени, но практически существует только один выбор - критерии средних квадратов, используемые Видроу-Хоффом, Габором, Колмогоровым и Винером для их моделей. В предлагаемой модели также используется MSE для оптимизации ее весов. Можно наблюдать скорость, производительность и адаптацию алгоритмов обучения нейронной сети от сокращения связанных MSE. MSE для примерного шаблона, как показано выше, представлены для гибридных алгоритмов обучения LMS и BP на рис. 4. Эти графики показывают лучшую производительность для алгоритма гибридного обучения, чем два других алгоритма. Сравнение с алгоритмами обучения LMS и BP показывает, что алгоритм гибридного обучения является более мощным, и его методы оптимизации быстрее, чем алгоритм обучения LMS и BP, поскольку он быстро достигает минимального уровня ошибки, как показано на рис 4(а). 

Рисунок 4. Кривые обучения алгоритмов гибридного, LMS и BP обучения

Заключение

В этой статье представлен новый алгоритм гибридного обучения для нейронных сетей. Все важные и необходимые параметры алгоритма тестируются для предлагаемой модели, чтобы показать ее возможности для реализации сложной задачи. Предложенная модель также реализована для проблемы распознавания образов и сравнивается со стандартными алгоритмами обучения BP и LMS. Новый предложенный алгоритм гибридного обучения показал лучшие результаты обучения, минимальную ошибку и лучшие показатели распознавания. Общее минимальное время обучения и плавное уменьшение ошибок оказались характерными чертами недавно разработанного алгоритма обучения. Реализация предлагаемой модели для комплексного распознавания образов, например, рукописных цифр и речи, является одной из основных задач будущего исследования. 

Список литературы:

1. Бровкова М.Б. Системы искусственного интеллекта в машиностроении: Учеб. пособие / М.Б. Бровкова. - Саратов: Сарат. гос. техн. ун-т, 2004. - 119 с. 
2. Иванов Е.А. Логика. Учебник / Е.А.Иванов - М.: Издательство БЕК,1998. - 309 с.
3. Колесников А.В. Гибридные интеллектуальные системы. Технология разработки / А.В. Колесников - СПб.: Изд-во СПбГТУ, 2001. - 711 с.
4. Маковельский А.О. История логики / А.О. Маковельский - М: Кучково поле, 2004. - 492 с.
5. Пупков К.А. Интеллектуальные системы / К.А. Пупков, В.Г. Коньков - М.: Изд-во МГТУ им. Н.Э. Баумана, 2003. - 348 с.