Однако возникает вопрос, по какому принципу следует произвести эффективную декомпозицию исходной нейронной структуры на модули? Исходя из модели модульного принципа обучения [2] и идеи поочередного подбора весовых коэффициентов для каждого из модулей ИНС относительно других [3], возникает идея, которая заключается в поиске такого модуля сети, при обучении которого начальная ошибка будет наименьшей из всех остальных вариантов. Другими словами, необходимо осуществить декомпозицию нейронной сети так, чтобы каждый из получившихся модулей имел, своего рода, наилучшие «способности» к обучению, выражающиеся в наименьшей начальной ошибке обучения [4].

Данный подход, однако, требует того, чтобы весовые коэффициенты уже имели какие-либо (например, случайные) значения. Таким образом, чтобы произвести декомпозицию сети рассматриваемым способом можно вначале немного «пообучать» сеть полностью, а затем остановить обучение, чтобы веса установились некоторыми начальными значениями или же задать их при помощи генератора случайных величин.

Рассмотрим вопрос о поиске модулей в исходной структуре ИНС. Безусловно, самым очевидным (и не самым плохим с точки зрения эффективности) вариантом является перебор искусственных нейронов и их связей до тех пор, пока каждый из получившихся блоков сети не даст наименьшую из возможных начальных ошибок при попытке его обучения. Для каждого из получившихся модулей такая ошибка может быть разной. Однако такой подход к декомпозиции предполагает существенную долю ручного труда, поэтому, его необходимо, немного упростить.

Можно провести аналогию с проблемой выбора архитектуры нейронной сети для каждой конкретной задачи. Здесь может быть два общепризнанных метода: конструктивный и деструктивный. Конструктивный метод предполагает, что мы строим нейронную сеть «с нуля» постепенно добавляя все новые нейроны и связи. Деструктивный метод, наоборот, предполагает наличие некоторой начальной (с большим числом искусственных нейронов и связей) структуры сети, от которой затем происходит удаление избыточных звеньев. Возникает идея использования приведенных методов для декомпозиции ИНС на модули, т.е., имея некоторую структуру сети, подлежащую декомпозиции, мы можем применять конструктивный или деструктивный метод для поиска модулей.

К примеру, при использовании конструктивного метода поиска модулей вначале мы будем обучать лишь малую часть сети (буквально 1 или 2 нейрона), затем, отслеживая процесс минимизации ошибки обучения, мы сможем постепенно добавлять больше нейронов и связей, как бы наращивая модуль. Такой подход позволит постепенно осуществить декомпозицию исходной искусственной нейронной сети на модули, которые в дальнейшем можно будет обучать с использованием модульного принципа. Рассмотренная модель конструктивного поиска приведена на рис.1.

Рис. 1. Модель конструктивного поиска модулей ИНС по наименьшей начальной ошибке

Рассмотрим представленную модель конструктивного поиска на примере полносвязного многослойного персептрона (рис. 2).

Рис. 2. Искусственная нейронная сеть

Согласно конструктивной модели поиска будем искать первый модуль представленной нейронной сети (рис. 3).

Рис. 3. Поиск первого модуля ИНС

Аналогично следует поступить с оставшимися нейронами, пока вся ИНС не будет разделена на модули. В рассматриваемом случае все оставшиеся нейроны и связи могут составить второй модуль.

Очевидно, что в случае использования деструктивного метода поиска следует действовать в обратном порядке, т.е., постепенно убирая из модуля нейроны и связи. Стоит отметить, что каждый при поиске модулей, отслеживать ошибку следует, обучая модули «с нуля». И только когда все модули найдены, каждый из них будет обучаться с сохранением уже найденных весовых коэффициентов.

Безусловно, для декомпозиции ИНС требуется, чтобы объем сети был достаточно большим, в противном случае модульный принцип обучения может быть не столь эффективным в плане увеличения скорости обучения. Вопрос о том, сколько должно быть нейронов и связей в сети, чтобы, применяя модульный принцип, можно было добиться ускорения процесса обучения, требует дальнейших, более глубоких исследований.