Анализ недостатков системы NEFClass показывает, что их причиной является несовершенство алгоритма обучения нечетких множеств NEFClass. Для того что бы исправить это, необходимо заменить эмпирический алгоритм обучения на строгий алгоритм численной оптимизации. Как и оригинальная, так и модифицированная модель NEFClass основывается на архитектуре нечеткого персептрона. Архитектурные различия оригинальной и модифицированной моделей состоит в виде функций принадлежности нечетких множеств, функции t-нормы для вычисления активаций нейронов правил, а также в виде агрегирующей функции (t-конормы), определяющей активации выходных нейронов. Применение численных методов оптимизации требует дифференцируемости функций принадлежности нечетких множеств – условие, которому треугольные функции принадлежности не удовлетворяют. Поэтому в модифицированной модели нечеткие множества имеют гауссовскую функцию принадлежности.
Требование дифференцируемости диктует также вид t-нормы (пересечения) для вычисления активации нейронов правил. В системе NEFClass для этого используется функция минимума; в модификации это произведение соответствующих значений. Наконец, вид агрегирующей функции (t-конормы) для модифицированной модели ограничен только взвешенной суммой. Причина состоит в том, что функция максимума, которая используется в оригинальной системе, не удовлетворяет условию дифференцируемости.
Основное изменение, касается алгоритма обучения нечетких множеств. Целевой функцией в модифицированной системе NEFClass выступает минимизация среднеквадратичной ошибки на обучающей выборке по аналогии с классическими нейросетями
Аргументом численной оптимизации, направленной на уменьшение среднеквадратичной ошибки по обучающей выборке, является совокупный вектор параметров a и b всех нечетких множеств сети. В качестве конкретного метода может выступать любой метод безусловной оптимизации, как, например, градиентный метод или метод сопряженных градиентов.
Алгоритм обучения нечеткой нейронной сети NEFClass M
Этап 1 — генерация базы правил
Для первого этапа данного алгоритма – обучения базы правил ис-пользуется первый этап базового алгоритма NEFClass.
Этап 2 — обучение нечетких множеств
Второй этап использует метод сопряженных градиентов обучения нейронной сети прямого действия.
Проведение экспериментов с ННС NEFClass М
Исходные данные
В качестве образцов для сети были выбраны сотрудники МГОУ и занесены в базу данных(Рис.1.). Фотографии содержат изменения ракурса, масштаба и освещения. База данных имеет 100 изображений: 10 человек по 10 лиц. Размер изображений – 112x92. Формат — один байт на пиксель, в виде значений градаций серого [0; 255]. Для ускорения обучения изображения были уменьшены в 4 раза по объему (46x56).
рис.1.
Базы данных перед обучением были разделены на 2 части. Нечетные изображения человека использовались для обучения, а четные — для тестирования. Эксперименты с нечеткой нейронной сетью проводились в математическом редакторе Mathcad 14.0.
Эксперименты с ННС NEFClass M
Параметры обучения ННС NEFClass M
| Параметр | Значение |
| Алгоритм генерации правил | лучший для класса |
| Алгоритм обучения | сопряженных градиентов |
| Функция агрегации | взвешенная сумма |
| Количество термов для каждого признака | 5 |
Исследуем зависимость качества обучения от количества правил, которые генерируются на первом этапе. В качестве проверки будем проводить тестирование на проверочной выборке. Для этого зададим количество правил 1, 2, 3 или 4 (из 5) на каждый класс. Конфигурация сети: 40 выходных нейронов, 5 термов на каждый признак.
Результаты экспериментов
Таблица 1 — Зависимость качества обучения от количества правил
| Входных нейронов | Нейронов правил | Распознавание (обучающая выборка) | Распознавание (проверочная выборка) | ||||
| Ok | Err | ? | Ok | Err | ? | ||
| 200 | 40 | 73.5 | 26.5 | 0.0 | 70.0 | 30.0 | 0.0 |
| 200 | 80 | 92.5 | 7.5 | 0.0 | 86.0 | 18.0 | 0.0 |
| 200 | 120 | 98.5 | 1.5 | 0.0 | 91.0 | 9.0 | 0.0 |
| 200 | 160 | 100.0 | 0.0 | 0.0 | 93.5 | 6.5 | 0.0 |
| 400 | 40 | 76.5 | 22.0 | 1.5 | 67.5 | 32.0 | 1.5 |
| 400 | 80 | 92.0 | 7.0 | 1.0 | 82.5 | 16.5 | 1.0 |
| 400 | 120 | 98.0 | 2.5 | 0.5 | 97.5 | 0.5 | 1.5 |
| 400 | 160 | 100.0 | 0.0 | 0.0 | 98.5 | 0.0 | 1.5 |
где «Err» — ошибки второго рода, «?» – нераспознанные образы (ошибка первого рода).
Из исследуемых алгоритмов нейронная сеть NEFClass M лучше всех справилась с задачей распознавания, однако в этой сети большое количество ошибок первого рода. Классическая нейронная сеть NEFClass показала идентичный результат процента таких ошибок, но при этом отстает от NEFClass М из-за большого количества нераспознанных изображений. Это обусловлено применением треугольных функций принадлежности, которые в диапазоне входных данных могут выдавать на входы нейронов правил нулевые значения (чего не происходит при использовании гауссовых функций принадлежности).
Из приведенного анализа следует, что для повышения вероятности распознавания, необходимо использовать нейронную сеть NEFCIass M. Нейронная сеть NEFCIass M показала минимальное количество ошибок классификации, но при этом имеет повышенное значение не распознанных изображений. Необходима оптимизация поиска в базе знаний и увеличения набора изображений лиц для уменьшения ошибок не распознанных изображений.
Вывод
На основании проведенного анализа и проведенных экспериментов следует отметить о наилучшей конфигурации сети и параметров предварительной обработки для задач распознавания изображений, а именно:
1. количество коэффициентов Фурье для качественного соотнесения изображения к определенному классу: 80-200, в зависимости от количества классов;
2. количество скрытых нейронов: 80-200, в зависимости от количества выходных нейронов;
3. наиболее оптимальные функции активации слоев – гиперболический тангенс;
4. алгоритм обучения – градиентный с адаптацией шага обучения
P.S Моя первая статья на хабре. Моя работа по аспирантуре.
Автор: tibult
