ВВЕДЕНИЕ
Статистика аварийных происшествий показывает, что в настоящее время наиболее опасным участком полёта по-прежнему остаётся посадка. Причём в большинстве случаев аварийные происшествия происходят по вине личного состава (рис. 1). Таким образом, задача оценки действий летчика по управлению воздушным судном на этапе посадки является актуальной как для гражданской, так и для военной авиации, поскольку позволяет повысить безопасность полётов.
Рис. 1. Диаграммы распределения аварийных происшествий по этапам полёта и по видам нарушений личного состава
Выполненный анализ существующих способов оценивания качества пилотирования на основе информации бортовых устройств регистрации (БУР) показал их недостаточную эффективность.
В соответствии с Курсом боевой подготовки (КБП) оценка качества выполнения посадочного маневра определяется на основании данных бортовых и наземных средств объективного контроля, а также наблюдений инструктора и лиц группы руководства полетами (рис. 2).
Рис. 2. Структура формирования оценки
По КБП оценка техники пилотирования на этапе посадки по материалам бортовых СОК выполняется путем анализа параметров полета в 4-х контрольных сечениях глиссады (рис. 3): вход в глиссаду, прохождение дальнего приводного радиомаяка (ДПРМ), прохождение ближнего приводного радиомаяка (БПРМ), касание взлетно-посадочной полосы.
Рис. 3. Снижение самолёта по глиссаде
При этом полетные данные используются не в полном объеме: из 14 нормативных параметров, установленных КБП для оценки качества выполнения посадки, только 5 параметров определяются по материалам БУР, что составляет всего 35,7 %. Остальные параметры определяются на основании наблюдений инструктора и лиц группы руководства полетами, что вносит значительную долю субъективизма в итоговую оценку.
Таким образом, существует необходимость дополнения методики КБП параметрами, учитывающими характер пилотирования самолета на протяжении всего этапа снижения по глиссаде и регистрируемыми штатными БУР.
МОДИФИКАЦИЯ СУЩЕСТВУЮЩЕГО СПОСОБА ОЦЕНКИ ДЕЙСТВИЙ ЛЁТЧИКА НА ЭТАПЕ ПОСАДКИ
В работах [1-3] было доказано, что структура движения ручки управления самолетом на посадке является характеристикой качества пилотирования (показывает насколько уверенно лётчик управляет самолётом). Основываясь на этих работах можно сделать вывод, что в роли информативного признака для оценки качества пилотирования целесообразно использовать параметр «Угол отклонения ручки управления самолетом по тангажу» , который регистрируется на всех современных ВС штатным бортовым устройством регистрации (рис. 4). Данный способ позволяет оценить действия летчика на всем этапе посадки, кроме того в нем отсутствует субъективизм. Типовая система управления самолетом в продольном канале представлена на рисунке 5.
Рис. 4. Графики изменения параметра «Отклонение РУС по тангажу» на этапе посадки для летчиков различной классной квалификации; а) летчик 1 класса; б) лётчик без класса; в) передача управления
Рис. 5. Система управления самолетом в продольном канале (МУ-615А — потенциометрический датчик угловых перемещений, РП — рулевой привод)
Описанный выше способ оценки предлагается интегрировать в известную методику оценки техники пилотирования по КБП. Таким образом, повысится процент объективности итоговой оценки за счет введения в итоговую оценку дополнительного объективного показателя, характеризующего действия летчика на всем этапе снижения по глиссаде.
На основе работ [4, 5] для оценки посадки предлагается использовать спектр сигнала , а для построения модели зависимости между данным спектром и уровнем подготовки пилота (либо оценкой, выставленной командиром полёта), характеризующимся его классной квалификацией, использовать методы машинного обучения с учителем.
В качестве входных признаков в реализации предложенного метода использовались отсчеты нормализованного сглаженного спектра исследуемого дискретного сигнала , а в качестве выходного признака – номер класса летчика.
Вектор входных признаков формировался при помощи описанных ниже преобразований:
- Вычисляем спектр F дискретного сигнала длины N
; - Амплитуды сигнала, частоты которых меньше 0,5 Гц, обнуляем для исключения информационной составляющей сигнала, связанной с частотой собственных колебаний воздушного судна по углу атаки;
- Приводим спектр к виду от 0 до 2,5 Гц и изменяем размер полученного вектора признаков до фиксированного значения при помощи бикубической интерполяции (получили вектор );
- Сглаживаем спектр методом скользящего окна для получения более однородных данных и нормализуем по амплитуде:
,
,
где m – размер окна (в реализации m = 10), а K – постоянное число, превосходящее все значения (в реализации K = 250).
Построение модели зависимости между спектром сигнала и номером класса лётчика выполнялось при помощи двух алгоритмов машинного обучения с учителем: метода опорных векторов (SVM) с радиальной базисной функцией в качестве ядра и метода градиентного бустинга деревьев (GBT).
В реализации GBT использовался со следующими параметрами:
- тип функции потерь – аномальные потери;
- количество итераций бустинга – 3000;
- параметр регуляризации – 0,0008;
- порция подвыборки – 0,0001;
- максимальная глубина деревьев принятия решений – 1;
- с использованием суррогатов.
УТОЧНЕНИЕ ПРЕДСКАЗАННОГО НОМЕРА КЛАССА ЛЁТЧИКА
Для выявления слабых мест алгоритмов было проведено тестирование и были рассчитаны диаграммы распределения ошибок. Одна из этих диаграмм представлена на рисунке 6.
Описание базы, использованной для тестирования, приведено в разделе «Результаты и обсуждение».
Рис. 6. Диаграмма распределения ошибок для метода GBT
Первые три столбца диаграммы (рис. 6) соответствуют случаям неправильно детектированного 1-го класса (включая снайперов), при этом красный столбец соответствует случаям, когда 1-й класс определён как 2-й класс, зелёный столбец соответствует случаям, когда 1-й класс определён как 3-й класс и синий столбец соответствует случаям, когда 1-й класс определён как без класса. Аналогично для 2-й, 3-й и 4-й тройки столбцов, которые соответствуют 2-му, 3-му классу и “нулевому” классу (без класса).
Анализ диаграммы распределения ошибок показал, что в большинстве случаев алгоритмы ошибаются на один класс, поэтому разумно в дальнейшем провести отдельный анализ для каждой пары ближайших классов. Например, уточнять предсказанный номер класса лётчика уже в бинарном классификаторе.
В реализации использовались следующие бинарные классификаторы:
- если предсказанный класс «3-й класс», то используется метод SVM для классификации лётчиков 2-го и 3-го классов;
- если предсказанный класс «без класса», то используется метод GBT для классификации лётчиков 3-го класса и без класса.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Согласно стандартной схеме оценивания обобщающей способности алгоритма классификации, все имеющиеся данные делятся на обучающую и тестовою выборки. Однако из-за большого количества входных признаков требуется как можно большее количество примеров в обучающей выборки, иначе алгоритму классификации может не хватить информации для построения модели зависимости. Также требуется большое количество примеров в тестовой выборки для оценки качества классификации с высокой точностью.
В нашем случае объём имеющихся данных ограничен, поэтому для оценивания обобщающей способности алгоритма классификации используется метод кросс-валидации.
Все имеющиеся данные были разбиты на 5 непересекающихся блоков, каждый из которых содержит 48 образцов по 12 образцов на каждую классность пилота: без класса, 3 класс, 2 класс и 1 класс (включая лётчиков снайперов). Данные были получены с бортовых устройств регистрации маневренных самолётов (название самолёта сказать не могу). Результаты представлены в таблице ниже.
Вид алгоритма | Ошибка алгоритма E, ед. | ||||
---|---|---|---|---|---|
общая точность | 1 класс и лётчики снайперы | 2 класс | 3 класс | без класса | |
Метод SVM | 0,5526 | 0,5667 | 0,6167 | 0,3167 | 0,7152 |
Метод GBT | 0,5566 | 0,6167 | 0,3667 | 0,5167 | 0,7318 |
Итоговая оценка эффективности алгоритма:
рассчитывались по следующей формуле:
где – количество тестовых примеров, в которых допущена ошибка, – количество тестовых примеров в тестовой выборке.
Анализ полученных результатов показал, что наилучшую общую точность показал метод GBT. Кроме того, уточнение предсказанного номера класса лётчика в бинарных классификаторах повысило общую точность у метода SVM на 2 %, а у метода GBT на 3 %.
ЗАКЛЮЧЕНИЕ
Использование методов машинного обучения позволило экспериментальным путем подтвердить коррелированность параметра «Угол отклонения ручки управления самолетом по тангажу» на этапе снижения самолета по глиссаде с уровнем подготовки летчика, выраженного в баллах в соответствии с его классностью. Полученная точность метода опорных векторов и градиентного бустинга деревьев составляет 55%. Таким образом, спектр сигнала «Угол отклонения ручки управления самолетом по тангажу» может быть использован в качестве дополнительного параметра для оценки действий лётчика на этапе посадки, а построение системы, выставляющей оценку по данному спектру, можно выполнять при помощи алгоритмов машинного обучения с учителем: метод опорных векторов и градиентный бустинг деревьев.
- Авиационная медицина / под ред. Н. М. Рудного, П. В. Васильева, С. А. Гозулова. – М.: Медицина, 1986. – 580 с.
- Гладков Б. М. Автоматизированная оценка натренированности летчиков с использованием показателей управляющих воздействий: научно-методические материалы по проблемам обеспечения безопасности полетов. Иркутское ВВАИУ / Б. М. Гладков. – И., 1991. – C. 73–79.
- Фролов Н. И. Пути изучения работоспособности летчика в полете / Н. И. Фролов // Космическая биология. – 1978. – № 1. – С. 3–10.
- Патент № 2436164 Российская Федерация, МПК G07C 11/00, G08G 5/00. Способ оценивания качества пилотирования самолета летчиком на этапе посадки по данным штатного бортового устройства регистрации / Полуэктов С. П., Кашковский В. В., Тихий И. И., Лапин И. П.; заявитель и патентообладатель ФГОУ ВПО «Военный авиационный инженерный университет» (г. Воронеж) Министерства обороны РФ. – № 2010140360/08; заявл. 01.10.2010; опубл. 10.12.2011, Бюл. №34. – 3 с.
- Полуэктов С. П. Один из подходов к расширению возможностей автоматизированной системы оценки качества пилотирования воздушного судна / С. П. Полуэктов, Е. П. Колесников // Актуальные вопросы науки и техники в сфере развития авиации: сборник тезисов докладов III Международной научно-технической конференции авиационного факультета. – Минск: Военная академия Республики Беларусь, 2013. – С. 81–82.
Нафиков М.А.
p.s. Ссылку на проект и базу данных выложу позже
Автор: forcesh