МОДЕЛЬ КОНСТРУКТИВНОГО ПОИСКА МОДУЛЕЙ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ (ИНС)

Рыков Валерий Павлович
Тамбовский государственный университет им. Г.Р. Державина
аспирант кафедры компьютерного и математического моделирования

Аннотация
Данная статья посвящена идее декомпозиции искусственных нейронных сетей методом конструктивного поиска для дальнейшего обучения с использованием модульного принципа. Предлагаются модели методов, позволяющих осуществить декомпозицию ИНС.

Ключевые слова: искусственные нейронные сети, конструктивный метод, модульный принцип обучения


MODEL OF CONSTRUCTIVE SEARCH OF MODULES OF THE ARTIFICIAL NEURAL NETWORK (ANN)

Rykov Valery Pavlovich
Tambov State University named after G.R. Derzhavin
postgraduate student of the department of computer and mathematical sciences

Abstract
This article is devoted to idea of decomposition of artificial neural networks by a method of constructive search for further training with use of the modular principle. Models of the methods, allowing to carry out ANN decomposition are offered.

Keywords: artificial neural networks, constructive method, modular principle of training


Рубрика: 05.00.00 ТЕХНИЧЕСКИЕ НАУКИ

Библиографическая ссылка на статью:
Рыков В.П. Модель конструктивного поиска модулей искусственной нейронной сети (ИНС) // Современные научные исследования и инновации. 2013. № 9 [Электронный ресурс]. URL: https://web.snauka.ru/issues/2013/09/26597 (дата обращения: 29.03.2024).

Широкое, в современности, применение искусственных нейронных сетей, безусловно, доказало свою практическую эффективность, однако, также выявило и некоторые неудобства, такие как, например, необходимость значительных временных затрат на обучение и недостаточный контроль за обучением. Решением данных проблем может являться модульный принцип обучения ИНС [1], позволяющий обучать сеть поочередно отдельными частями. Таким образом, обучение искусственной нейронной сети будет происходить аналогично реальному прототипу – мозгу, в котором не происходит переобучения всей системы (например, при поступлении каких-либо новых данных), а изменению подвергаются лишь отдельные нейроны и связи.

Однако возникает вопрос, по какому принципу следует произвести эффективную декомпозицию исходной нейронной структуры на модули? Исходя из модели модульного принципа обучения [2] и идеи поочередного подбора весовых коэффициентов для каждого из модулей ИНС относительно других [3], возникает идея, которая заключается в поиске такого модуля сети, при обучении которого начальная ошибка будет наименьшей из всех остальных вариантов. Другими словами, необходимо осуществить декомпозицию нейронной сети так, чтобы каждый из получившихся модулей имел, своего рода, наилучшие «способности» к обучению, выражающиеся в наименьшей начальной ошибке обучения [4].

Данный подход, однако, требует того, чтобы весовые коэффициенты уже имели какие-либо (например, случайные) значения. Таким образом, чтобы произвести декомпозицию сети рассматриваемым способом можно вначале немного «пообучать» сеть полностью, а затем остановить обучение, чтобы веса установились некоторыми начальными значениями или же задать их при помощи генератора случайных величин.

Рассмотрим вопрос о поиске модулей в исходной структуре ИНС. Безусловно, самым очевидным (и не самым плохим с точки зрения эффективности) вариантом является перебор искусственных нейронов и их связей до тех пор, пока каждый из получившихся блоков сети не даст наименьшую из возможных начальных ошибок при попытке его обучения. Для каждого из получившихся модулей такая ошибка может быть разной. Однако такой подход к декомпозиции предполагает существенную долю ручного труда, поэтому, его необходимо, немного упростить.

Можно провести аналогию с проблемой выбора архитектуры нейронной сети для каждой конкретной задачи. Здесь может быть два общепризнанных метода: конструктивный и деструктивный. Конструктивный метод предполагает, что мы строим нейронную сеть «с нуля» постепенно добавляя все новые нейроны и связи. Деструктивный метод, наоборот, предполагает наличие некоторой начальной (с большим числом искусственных нейронов и связей) структуры сети, от которой затем происходит удаление избыточных звеньев. Возникает идея использования приведенных методов для декомпозиции ИНС на модули, т.е., имея некоторую структуру сети, подлежащую декомпозиции, мы можем применять конструктивный или деструктивный метод для поиска модулей.

К примеру, при использовании конструктивного метода поиска модулей вначале мы будем обучать лишь малую часть сети (буквально 1 или 2 нейрона), затем, отслеживая процесс минимизации ошибки обучения, мы сможем постепенно добавлять больше нейронов и связей, как бы наращивая модуль. Такой подход позволит постепенно осуществить декомпозицию исходной искусственной нейронной сети на модули, которые в дальнейшем можно будет обучать с использованием модульного принципа. Рассмотренная модель конструктивного поиска приведена на рис.1.


Рис. 1. Модель конструктивного поиска модулей ИНС по наименьшей начальной ошибке

Рассмотрим представленную модель конструктивного поиска на примере полносвязного многослойного персептрона (рис. 2).


Рис. 2. Искусственная нейронная сеть

Согласно конструктивной модели поиска будем искать первый модуль представленной нейронной сети (рис. 3).


Рис. 3. Поиск первого модуля ИНС

Аналогично следует поступить с оставшимися нейронами, пока вся ИНС не будет разделена на модули. В рассматриваемом случае все оставшиеся нейроны и связи могут составить второй модуль.

Очевидно, что в случае использования деструктивного метода поиска следует действовать в обратном порядке, т.е., постепенно убирая из модуля нейроны и связи. Стоит отметить, что каждый при поиске модулей, отслеживать ошибку следует, обучая модули «с нуля». И только когда все модули найдены, каждый из них будет обучаться с сохранением уже найденных весовых коэффициентов.

Безусловно, для декомпозиции ИНС требуется, чтобы объем сети был достаточно большим, в противном случае модульный принцип обучения может быть не столь эффективным в плане увеличения скорости обучения. Вопрос о том, сколько должно быть нейронов и связей в сети, чтобы, применяя модульный принцип, можно было добиться ускорения процесса обучения, требует дальнейших, более глубоких исследований.


Библиографический список
  1. Арзамасцев А.А., Рыков В.П. Модель искусственной нейронной сети (ИНС) с реализацией модульного принципа обучения // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2012. Т. 17. Вып. 4. С. 1219-1224.
  2. Рыков В.П. Автоматизированная технология модульного принципа обучения и самоорганизации искусственных нейронных сетей // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 4. С. 1428-1430.
  3. Рыков В.П. Тестирование модульного подхода к обучения искусственных нейронных сетей на примере аффинного шифрования // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 1. С. 188-192.
  4. Рыков В.П. О вариантах декомпозиции искусственных нейронных сетей для дальнейшего обучения с использованием модульного принципа // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 4. С. 1421-1422.


Количество просмотров публикации: Please wait

Все статьи автора «Рыков Валерий Павлович»


© Если вы обнаружили нарушение авторских или смежных прав, пожалуйста, незамедлительно сообщите нам об этом по электронной почте или через форму обратной связи.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

Если Вы еще не зарегистрированы на сайте, то Вам необходимо зарегистрироваться:
  • Регистрация