В предлагаемой статье хочу рассказать о современных микроволновых системах персонального досмотра, а также о результатах выполняемого нами проекта, в котором разрабатывается новая перспективная микроволновая система досмотра, основанная на комбинированном использовании радиолокации и машинного зрения. Ожидается, что разрабатываемая система досмотра будет использоваться на наземном транспорте с большим пассажиропотоком. Достигаться это будет за счет превосходящих аналоги технических характеристик: предельно высокой пропускной способности, возможности досмотра в плотной верхней одежде, значительно меньших массогабаритных характеристик, стоимости и энергопотребления. В статье приводится описание созданной в проекте установки и методики эксперимента для имитационного моделирования описанной микроволновой системы досмотра, а также результат эксперимента с манекеном со скрытыми под одеждой предметами.
Чтобы понять, чем отличается разрабатываемая микроволновая система персонального досмотра от существующих на рынке систем и каким образом можно преодолеть существующие ограничения микроволновых систем досмотра, препятствующих их широкому использованию (как, например, рамочным металлодетекторам), необходимо рассмотреть состояние дел.
Для получения радиолокационных изображений скрытых под одеждой предметов во всех микроволновых системах досмотра используется апертурный синтез, при котором механическое перемещение антенн, либо их электронная коммутация позволяют сформировать антенну с большей эквивалентной апертурой. За счет использования синтезированной апертуры получается высокое пространственное разрешение, которое определяется длиной волны, полосой зондирующего сигнала, а также размером самой апертуры. Принципиальным параметром, ограничивающим пространственное разрешение радиолокационных изображений, является длина волны излучения, так как в практически пригодной для досмотра человека геометрии зондирования достичь пространственного разрешения меньше длины волны невозможно.
В современных системах досмотра синтезированная апертура формируется двумя способами: за счет механического перемещения антенн и электронной коммутации, либо только за счет электронной коммутации. В наиболее известной и распространенной системе L-3 ProVision, через которую проходили многие читатели, используется механическое сканирование двумя линейными вертикальными антенными решетками. В вертикальном направлении синтезированная апертура получается за счет электронной коммутации антенн, а в горизонтальном направлении — за счет механического перемещения [1].
В системах, появившихся позднее, таких как Eqo производства Smiths Detection [2] и QPS производства Rohde&Schwarz [3], механическое перемещение для формирования апертуры не используется. Вместо этого происходит быстрое переключение антенн или антенных элементов, расположенных на плоской панели, что позволяет в реальном времени получать радиолокационное изображение досматриваемого со стороны расположения панели. Несмотря на быструю электронную коммутацию антенн в двух последних системах, их производительность остается на уровне системы с механическим сканированием L-3 ProVision, так как досматриваемый должен обязательно снять верхнюю одежду, пройти в зону досмотра, принять стационарную позу на время сканирования (QPS), либо поворачиваться, стоя на месте, для получения радиолокационных изображений со всех сторон (Eqo).
В системах досмотра с электронной коммутацией микроволновая часть значительно сложнее, чем в системах с использованием механического сканирования, поскольку требуется переключение возросшего числа антенн. Из-за большего числа каналов в системе генерируется огромный поток данных (обратите внимание на этот параметр у системы QPS), для обработки которого в реальном времени требуется высокопроизводительный компьютер, расходующий основную часть потребляемой энергии. Единственное преимущество систем досмотра в форм-факторе экрана — это меньшие габариты по сравнению с портальным исполнением L-3 ProVision.
Опираясь на традиционный подход к синтезированию апертуры, пропускную способность микроволновых систем досмотра можно увеличить, окружив досматриваемого человека множеством панелей с антеннами для получения одновременного обзора с разных ракурсов. Такой подход был реализован в системе досмотра easyCheck, разработанной компанией Camero [4]. Эта система имеет портальное исполнение в виде панелей с антеннами, расположенными вокруг досматриваемого человека. Многоракурсные радиолокационные изображения проходящего через портал человека получаются с частотой 8 Гц, что позволяет в движении обнаружить скрытые под одеждой объекты, представляющие опасность.
В настоящее время все представленные на рынке системы досмотра автоматически распознают опасные предметы и сообщают результат распознавания в виде пиктограмм, не предъявляя радиолокационные изображения оператору, тем самым сохраняя приватность досматриваемых.
В разрабатываемой нами системе досмотра для формирования синтезированной апертуры будет использоваться естественное перемещение человека между неподвижными вертикальными линейными антенными решетками, что позволяет превзойти аналоги по следующим характеристикам: пропускной способности, массе, габаритам, себестоимости и энергопотреблению. Когерентная обработка радиолокационного сигнала в такой системе осуществляется с помощью RGB-D видеосенсора или лидара, который синхронно с радиолокационной системой регистрирует перемещение досматриваемого человека в пространстве. Регистрируемая видеосенсором карта глубины служит для извлечения траектории частей тела человека для последующей компенсации связанных с движением фазовых набегов в радиолокационном сигнале. Синтезируемую апертуру, формируемую за счет движения самой цели мимо стационарной антенны или системы антенн, называют инверсной синтезированной апертурой.
Микроволновая система досмотра, использующая принцип инверсного апертурного синтеза, должна иметь перечисленные выше превосходящие характеристики по следующим причинам:
- Предельная пропускная способность будет достигаться за счет того, что досматриваемому человеку не нужно останавливаться, так как для получения радиолокационного изображения требуется пройти между линейками антенн.
- Масса и габариты становятся минимальными, так как не нужны ни портал для обособления зоны перемещения антенн, ни массивные панели с антеннами.
- Количество антенн становится существенно меньшим, чем у микроволновых систем с исключительно электронной коммутацией, что уменьшает сложность и стоимость микроволновой части системы досмотра.
- Выборки радиолокационного сигнала поступают с меньшего числа каналов и обрабатываются по мере поступления таким образом, что после прохода человеком зоны досмотра, протяженность которой должна быть равна горизонтальному размеру панелей или портала традиционных систем, радиолокационное изображение рассчитывается одновременно для всей поверхности тела человека. Благодаря низкому потоку радиолокационных данных и их обработки по мере поступления, мощный процессор данных не потребуется, и микроволновая система может быть построена в мобильном варианте в форм-факторе рамочного металлодетектора или двух стоек с антеннами, расположенными по обе стороны идущего человека.
Работоспособность описанной микроволновой системы досмотра была исследована с использованием созданной для этих целей экспериментальной установки [5,6], фотография которой показана на следующем рисунке.
Установка состоит из модуля линейного перемещения (1) приемной и передающей антенн (2), векторного анализатора цепей (3), гибких антенных фидеров (4), манекена человека (5), тележки для перемещения манекена (6), модуля линейного перемещения манекена (7), RGB-D видеосенсора (8) и персонального компьютера (9). Приемная и передающая антенны (2) подключаются к векторному анализатору цепей посредством гибких фидеров (4). Получение данных происходит методом кукольной мультипликации. Независимое перемещение приемной и передающей антенн (если используются два модуля) вдоль параллельных линий позволяет имитировать поведение линейных моностатических и мультистатических (MIMO) антенных решеток. При этом, положения антенн, в которых происходят выборки радиолокационного сигнала, задаются программно, благодаря чему с помощью установки можно исследовать характеристики любой линейной антенной решетки. Манекен человека (5), направление движения которого можно задавать, ориентируя размещенный на полу модуль линейного перемещения (7), перемещается инкрементально через программируемые интервалы. После задания параметров эксперимента: интервалов выборок радиолокационного сигнала, интервала перемещения манекена, диапазона изменения частоты зондирующего сигнала, количества дискретных частот, эксперимент проходит автоматически. В ходе эксперимента для каждого положения манекена регистрируются карта глубины сцены зондирования и выборки радиолокационного сигнала в заданных положениях антенн. Полученные данные обрабатываются совместно для получения радиолокационных изображений. Для получения аналогичных данных в реальном времени от передвигающегося шагом человека потребуется электронно коммутируемая линейная антенная решетка. Ключевой особенностью разрабатываемой системы досмотра является использование RGB-D видеосенсора (в экспериментальной установке мы использовали Microsoft Kinect v2) или аналогичного устройства, которое позволяет получить детальное радиолокационное изображение с использованием существенно меньшего объема радиолокационных данных.
Примеры регистрируемых в ходе проведения экспериментов исходных данных показаны на следующих рисунках.
 |
 |
 |
| 1-й кадр | 101-й кадр | 201-й кадр |
|---|---|---|
| ИК-изображения, полученые с помощью Microsoft Kinect. | ||
 |
 |
 |
| 1-й кадр | 101-й кадр | 201-й кадр |
|---|---|---|
| Карты глубины, полученные с помощью Microsoft Kinect. | ||
 |
 |
 |
| Синфазная компонента сигнала | Квадратурная компонента сигнала | Амплитуда сигнала |
|---|---|---|
| Радиолокационный сигнал (радиоголограмма), зарегистрированный на частоте 15.55 ГГц. | ||
Показанные выше ИК-изображения и карты глубины сцены зондирования, с порядковыми номерами 1, 101, 201 были получены в ходе эксперимента, в котором манекен перемещался на расстояние 1 м с остановками через каждые 0.5 см, в результате чего был получен 201 кадр. Радиолокационный сигнал (радиоголограмма) на частоте 15.55 ГГц представлен в виде полутоновых изображений. Первый столбец слева у радиоголограммы соответствует выборкам радиолокационного сигнала с шагом 0.5 см, полученным в результате механического сканирования для сцены зондирования с порядковым номером 1. Последний столбец у радиоголограммы соответствует выборкам радиолокационного сигнала для сцены зондирования с порядковым номером 201. Промежуточные столбцы радиоголограммы соответствуют сценам с промежуточными порядковыми номерами. Всего радиоголограмма имеет 201 столбец, по числу статических сцен, и 201 строку, по числу выборок радиолокационного сигнала на интервале длиной 1 метр с шагом выборок 0.5 см. Для регистрации аналогичной радиоголограммы в реальном времени потребовалась бы моностатическая линейная антенная решетка длиной 1 метр, состоящая из 201 антенны, расположенных на расстоянии 0.5 см друг от друга. Для многочастотного сигнала, состоящего из N частот, получается, соответственно, N радиоголограмм.
Перед тем как обрабатывать полученные данные, требуется провести калибровку оптической системы видеосенсора, а также совместную калибровку радиолокационной и оптической систем установки. О калибровке оптической системы Microsoft Kinect v2 и канала дальности было рассказано здесь. Калибровка радиолокационной системы осуществлялась в два этапа. На первом этапе определялось положение перемещаемой модулем линейного перемещения антенны в системе координат, связанной с видеосенсором. Второй этап заключался в измерении зависящего от частоты зондирующего сигнала положения фазового центра антенны, что необходимо для обработки широкополосного сигнала. Положение центра открытого конца круглого волновода, используемого в качестве антенны, заносилось в систему координат видеосенсора с помощью графического маркера, закрепляемого на конце антенны, как показано на следующем рисунке.
Положение маркера регистрировалось для двух крайних положений на линии сканирования. Остальные положения антенны вычислялись с помощью интерполяции. Шаговые двигатели и оптическая система видеосенсора обеспечивали погрешность позиционирования выборок сигнала, которая несущественно влияла на разрешение радиолокационного изображения.
При использовании широкой полосы зондирующего сигнала положение фазового центра антенны на разных частотах может быть разное. Под фазовым центром антенны понимают воображаемый центр, который может быть принят за центр излучаемой антенной сферической волны. У сферической волны поверхностями равной фазы являются сферы. Калибровка антенны проводилась на малом по сравнению с длиной волны излучения рассеивателе и заключалась в нахождении корректирующего множителя для регистрируемого антенной сигнала, который позволяет получить теоретически ожидаемую зависимость фазы сигнала. Влияние калибровки антенны иллюстрирует следующий рисунок, где показан результат восстановления радиолокационного изображения для точечного рассеивателя, расположенного на расстоянии 20 см от линии сканирования, которая совпадает с осью Y на графике. Зондирование и восстановление радиолокационного изображения осуществлялось в диапазоне частот от 6 до 12 ГГц.
 |
 |
 |
| Без калибровки антенны | После калибровки | Модель |
|---|---|---|
| Восстановленное радиолокационное изображение точечного рассеивателя | ||
Первое слева изображение на рисунке выше получено после калибровки антенных фидеров для среднего положения на линии сканирования с использованием эталонных нагрузок (калибровочного набора) для векторного анализатора цепей. Видно, что смещение плоскостей измерения к концам фидеров не позволяет получить сфокусированное радиолокационное изображение. На втором изображении показано радиолокационное изображение, полученное после калибровки антенны и корректировки исходных данных. На третьем приводится эталонное изображение, полученное в результате численного моделирования.
После калибровки антенной системы можно обработать данные, полученные в экспериментах с манекеном с широкополосным зондирующим сигналом. Обработка радиолокационного сигнала состояла из следующих этапов: нахождения особых точек на полутоновом изображении манекена; генерирование плотной сетки, связанной с особыми точками, каждый узел которой является подвижной точкой фокусировки для радиолокационного сигнала; нахождения траектории особых точек от кадра к кадру; нахождения траектории узлов плотной сетки; интегрирования сфокусированного радиолокационного сигнала для каждого узла плотной сетки от кадра к кадру; визуализации полученного массива данных в виде радиолокационного изображения.
Рисунок ниже иллюстрирует извлечение особых точек и слежение за ними на последовательности полутоновых изображений движущегося манекена. Каждому полутоновому изображению соответствует кадр глубины, который содержит необходимый атрибут дальности для каждого пикселя полутонового изображения.
 |
 |
 |
| 1-й кадр | 101-й кадр | 201-й кадр |
|---|---|---|
| Слежение за манекеном на последовательности кадров, полученных в ходе имитационного эксперимента. | ||
На текущем этапе проекта проводились имитационные эксперименты с манекеном. На следующем рисунке изображен манекен, под одеждой которого были скрыты различные предметы, представляющие угрозу: нож в чехле, газовый пистолет за поясом из ткани и куски мыла с болтами на поверхности в качестве имитатора самодельного взрывного устройства.
В имитационном эксперименте с показанным на рисунке манекеном использовался сигнал со ступенчатым переключением частоты в диапазоне от 6 до 12 ГГц с шагом изменения частоты 250 МГц, в результате чего отраженный сигнал регистрировался на 25 частотах. Манекен передвигался через интервалы в 1 см на общей дистанции 100 см с помощью модуля линейного перемещения. Линия, вдоль которой происходило сканирование антеннами, имела длину также 100 см с шагом выборки 1 см. Полный объем радиолокационных данных, таким образом, представлял из себя массив комплексных чисел размером 101⨯101⨯25. Расстояние до манекена изменялось от 150 до 110 см вдоль оптической оси видеосенсора. Среднее расстояние от манекена до линии сканирования антеннами составляло 80 см.
На следующем рисунке показано итоговое радиолокационное изображение, полученное фокусировкой на последовательность слоев от поверхности одежды до глубины 2.5 см и представлением полученных данных в приповерхностном слое методом проекции максимального значения.
Как видно на приведенном рисунке, различимы все скрытые предметы под одеждой. Отражение от ножа можно принять за отражение от поверхности правого бедра манекена. Ожидается, что изображения скрытых предметов на теле движущегося человека будут иметь больший контраст, чем на манекене, поскольку у человека, идущего шагом, ориентация фрагментов поверхности тела постоянно меняется в пространстве, и при накоплении сигнала такие участки на радиолокационных изображениях будут иметь значительно меньшую яркость. Радиолокационные изображения, полученные для тела человека, должны быть также менее зашумленными по сравнению с радиолокационными изображениями манекена, поскольку полупрозрачный для радиоволн манекен создает сложную интерференционную картину поля на его поверхности, приводя к артефактам на получаемых радиолокационных изображениях.
Пространственное разрешение приведенного радиолокационного изображения со скрытыми под одеждой предметами ограничено длиной волны зондируемого сигнала и для средней частоты используемого диапазона 9 ГГц составляет около 3 см. Разрешение радиолокационных изображений можно увеличить, увеличив частоту излучения, но при этом возрастает поглощение волн в одежде, из-за чего плотная верхняя одежда становится непрозрачной. В отличие от микроволновых сканеров, используемых в аэропортах, обеспечение высокого разрешения радиолокационных изображений на наземном транспорте не требуется. Более важным является возможность досмотра в плотной верхней одежде.
Возможный внешний вид микроволновой системы досмотра с инверсной синтезированной апертурой представлен на следующем рисунке.
На рисунках приведены варианты системы досмотра с различным количеством линейных антенных решеток, достаточное количество которых можно установить в ходе имитационных экспериментов на описанной установке, не создавая сложную радиолокационную систему с фиксированным количеством антенн и их расположением. Количество антенных решеток должно быть достаточным для получения радиолокационных изображений для всей поверхности досматриваемого.
Следующим этапом на пути создания системы досмотра будет разработка быстродействующих линейных антенных решеток для сбора данных в реальном времени с целью проведения экспериментов на движущемся человеке. Вместо векторного анализатора цепей будет использоваться один или несколько генераторов микроволнового излучения с перестройкой частоты и квадратурный приемник.
Микроволновая система досмотра с инверсным синтезированием апертуры может изменить подход к обеспечению безопасности на наземном транспорте подобно тому, как микроволновые сканеры повлияли на безопасность на воздушном транспорте. Появление на рынке доступных устройств для трехмерного видеозахвата наблюдаемой сцены позволяет реализовать комплексную систему досмотра структурированного пассажиропотока, которая позволила бы без каких-либо неудобств автоматически досматривать пассажиров в верхней одежде в движении, используя безопасное микроволновое излучение.
Как говорилось выше, имитационные эксперименты с установкой поспроизводят технику кукольной мультипликации. Применяя ее к радиолокационным данным, можно получить «радиолокационный мультипликационный фильм», в котором каждое следующее радиолокационное изображение получается путем интегрирования вновь поступивших данных с предыдущим радиолокационным изображением, в результате чего увеличивается разрешение. Посмотрев анимацию, можно заметить, что детализированное радиолокационное изображение может быть получено, когда манекен проехал достаточное расстояние, сформировав синтезированную апертуру достаточной длины, что находится в полном соответствии с положениями классической радиолокации.
Работа поддержана грантом РНФ №15-19-30012.
Литература
- D. L. McMakin, P. E. Keller, D. M. Sheen, and T. E. Hall, «Dual-surface dielectric depth detector for holographic millimeter-wave security scanners,» in Proc. SPIE 7309, Orlando, Florida, USA, Apr. 2009. [Online].
- B. N. Lyons, E. Entchev, and M. K. Crowley, «Reflect-array based mmwave people screening system,» in Proc. SPIE 8900, Dresden, Germany, Oct. 2013. [Online].
- S. S. Ahmed, «Personnel screening with advanced multistatic imaging technology,» in Proc. SPIE 8715, Baltimore, Maryland, USA, May 2013. [Online].
- A. Beeri and R. Daisy, «System and method for volume visualization in ultra-wideband radar imaging system,» USA Patent 9 354 307, May, 2016. [Online].
- A. Zhuravlev, V. Razevig, A. Tataraidze, M. Chizh, S. Ivashov, and A. Ivashov, «Experimental setup to simulate the performance of ISAR-based microwave personnel screening system,» in 2016 IEEE International Symposium on Phased Array Systems and Technology (PAST), Boston, MA, USA, 2016, pp. 1-7. [Online].
- A. Zhuravlev, V. Razevig, M. Chizh, and S. Ivashov, «Imaging of concealed objects on moving persons by creating synthetic aperture due to their natural motion,» in 2017 IEEE International Conference on Microwaves, Communications, Antennas and Electronic Systems (COMCAS), Tel Aviv, Israel, 2017, pp. 1-4.
Автор: DrCrane
