Предисловие
Небольшая статья про технологии мультитач уже была опубликована на Хабре в далеком октябре 2008 года. В апреле 2011 года читатель DMikhail описал свой опыт создания интерактивного стола. На дворе октябрь 2012 года и пора рассказать очередную порцию новостей из мира мультитач.
Введение
С момента появления на свет первого мультитач дисплея прошло 35 лет, за это время появилось множество разнообразных технологий, поддерживающих от одного до бесконечности касаний. В этой статье я расскажу про несколько распространенных методов преобразования обычного средства отображения в интерактивное устройство.
Проекционно-емкостная технология (Projected Capacitive Touch)
Принцип работы данной технологии описан в вышеуказанной статье читателя meako, а так же в Википедии.
На момент написания статьи в свободной продаже находятся пленки до 100” по диагонали (для форматов 4:3 и 16:9) с поддержкой до 12 независимых касаний. Так же компанией Perceptive Pixel (недавно купленной Microsoft corp.) представлен 82” мультитач ЖК-дисплей с поддержкой неограниченного числа касаний.
Прелесть этой технологии заключается в том, что сенсорная пленка наклеивается с обратной стороны от защитного стекла, т.е. находится между средством отображения (ЖК-панель, проекционный экран, и т.п.) и стеклом, таким образом защищена от погодных условий и механических повреждений. У некоторых производителей заявлено, что толщина стекла может доходить до 20мм. Именно на этой технологии основано большинство сенсорных дисплеев/терминалов/киосков, установленных в бизнес-центрах, аэропортах, вокзалах, метро и других общественных местах.
К недостаткам данной технологии можно отнести только отсутствие возможности распознавания меток (fiducial marker, см. далее) и ограниченная площадь сенсорной пленки. Последний недостаток может быть отчасти нивелирован возможностью наклейки пленки стык-в-стык.
Оптические технологии (Optical technologies)
Данные технологии получили широкое применение у любителей DIY после выхода в свет Microsoft Surface 1.0 в мае 2007 года, и дожили до наших дней практически без изменений.
Из всего многообразия оптических методов наибольшее распространение получили следующие:
- Rear Diffused Illumination (DI);
- Frustrated Total Internal Reflection (FTIR);
- Diffused Surface Illumination (DSI).
Прежде чем приступить к подробному описанию каждой из технологий опишу общие достоинства и недостатки, присущие этим методам.
Достоинства:
- поддержка практически неограниченного числа одновременных независимых касаний (на самом деле, количество ограничено разрешением камер(ы) и мощностью компьютера);
- возможность изготовить экран круглой, треугольной, шестиугольной и т.п. формы.
Недостатки:
- поскольку технологии основаны на ИК-излучении определенной длины волны (см. далее), то наличие прямых солнечных лучей в зоне инсталляции недопустимо;
- для установки проектора и камер(ы) требуется довольно много пространства за экраном, что не всегда является приемлемым;
- необходимо разрабатывать специальное ПО, заставляющее эту систему работать, т.е. фактически писать драйвер.
Технология DI
Самый распространенный метод (из оптических), широко применяющийся в коммерческих инсталляциях в силу своей простоты и наглядности.
Рассеиватель — материал, рассеивающий поток проектора, т.е. экран обратной проекции.
Подложка — оптически прозрачный материал, придающий прочность экрану.
Проектор — проектор.
ИК-прожектор — монохромный излучатель в невидимом глазу человека ИК-диапазоне.
ИК-камера — камера с установленным узкополосным фильтром, пропускающим только длину волны соответствующую длине волны ИК-прожектора.
Принцип работы следующий:
- ИК-прожектора создают равномерный ИК-фон, который проходит сквозь подложку и рассеиватель, и только малая часть излучения отражается обратно.
- при касании рассеивателя каким-либо предметом, отражающим ИК-излучение (рука, стилус, кружка и т.п.), в данном месте камера засекает довольно яркое пятно на сером фоне.
- сигнал с камеры обрабатывает специальное ПО и на выходе выдает координаты (а иногда и форму/размер/рисунок) ярких пятен, присутствующих в заранее заданной области экрана.
Достоинства технологии:
- возможность распознавания меток (см. далее);
- предельная простота реализации;
- возможность изготовить экран любой самой сложной формы, в т.ч. неплоской;
- возможность изготовить экран любой площади.
Недостатки технологии:
- самый низкий контраст изображения с камеры (среди указанных трех технологий);
- возможность ложных срабатываний (при поднесении пальца к экрану, но не касаясь его, плохо реализованное и настроенное ПО может распознать это как полноценное касание).
Технология FTIR
Довольно распространенный метод, однако в коммерческих продуктах встречается крайне редко.
Рассеиватель — материал, рассеивающий поток проектора, т.е. экран обратной проекции.
Подложка — оптически прозрачный материал, среда распространения ИК-волн.
Проектор — проектор.
ИК-светодиод — светодиод с длиной волны лежащей в ИК-диапазоне.
ИК-камера — камера с установленным узкополосным фильтром, пропускающим только длину волны соответствующую длине волны ИК-светодиода.
По периметру подложки устанавливаются линейки ИК-светодиодов, излучение которых проникает внутрь подложки и распространяется там как волна в оптоволокне (явление носит название полное внутреннее отражение). Если палец касается экрана, то из-за изменения коэффициента преломления, волна проходит дальше границы подложки и отражается (рассеивается) от пальца, и это рассеянное излучение засекается камерой. Для усиления контраста изображения с камеры между рассеивателем и подложкой наносят слой так называемого “compliant layer”, выполненного чаще всего из силикона.
Рассеянное ИК-излучение засекается камерой и обрабатывается специальным ПО.
Достоинства технологии:
- самый высокий контраст изображения с камеры (среди указанных технологий);
Недостатки технологии:
- необходимость устанавливать торцевую ИК-подсветку;
- не распознает метки (см. далее).
Технология DSI
Технология идентична FTIR за исключением того, что подложка выполнена из специального оргстекла.
Рассеиватель — материал, рассеивающий поток проектора, т.е. экран обратной проекции.
Подложка — специальное оргстекло Endlighten, среда распространения ИК-волн.
Проектор — проектор.
ИК-светодиод — светодиод с длиной волны лежащей в ИК-диапазоне.
ИК-камера — камера с установленным узкополосным фильтром, пропускающим только длину волны соответствующую длине волны ИК-светодиода.
Фишка Endlighten в следующем: в материале размешана металлическая “пыль” таким образом, что при подсветке оргстекла с торца, излучение рассеивается на частичках “пыли” и возникает эффект самосвечения подложки, при этом на просвет материал все равно остается прозрачным.
Таким образом, помимо распознавания нажатий технология позволяет распознавать метки.
Достоинства технологии:
- возможность распознавания меток (см. далее);
Недостатки технологии:
- необходимость устанавливать торцевую ИК-подсветку;
- технология завязана на конкретном производителе оргстекла.
Метки (fiducials)
Метка представляет из себя плоскую фигуру, на которую нанесен рисунок, контрастный в ИК-диапазоне. Чаще всего это наклейка с черно-белым рисунком, нанесенная на реальный объект.
Пример меток.
ИК-излучение от белой области отражается, а черной — поглощается. Таким образом, в технологиях DI и DSI ИК-камера засекает рисунок, который легко распознается программным способом. В технологии же FTIR такой фокус не удастся: камера увидит только контур метки, но не ее содержание.
Ярким примером использования меток служит Reactable:
Технические детали
Рассеиватель
За время существования оптических технологий мультитач было испробовано большое количество разнообразных пленок и пластиков. Однако, самым лучшим материалом небезосновательно считается Evonik 7D006. Небезосновательно потому, что именно такой материал использовался в Microsoft Surface 1.0.
ИК-прожектор
Подбирается из ассортимента оборудования охранных систем. На рынке представлены прожектора с двумя длинами волн: 850 нм и 940 нм.
ИК-камера
Насколько я знаю, любая ПЗС-матрица чувствительна к ближнему ИК, поэтому можно использовать любую камеру, главное, чтобы объектив был без фильтра, блокирующего ИК-излучение. Любители DIY для этих целей используют обычные веб-камеры, с которых самостоятельно снимают ИК-фильтры. Я пробовал использовать 3 камеры: PlayStation 3 Eye (классика жанра), Microsoft LifeCam Cinema, Logitech C910. Больше всего понравилась камера Logitech, которая имеет самую большую ПЗС-матрицу и легко-съемный фильтр.
Чтобы камера видела только “нужное” излучение, на объектив необходимо нанести узкополосный ИК-фильтр, пропускающий только длину волны, соответствующую длине волны ИК-прожектора. Купить ИК-фильтры можно, например, на aliexpress.com.
Из профессиональных камер чаще всего используются камеры производства компании Point Grey.
Проектор
По проектору никаких ограничений нет, главное подобрать правильное разрешение, поток и объектив. Довольно много инсталляций используют ультракороткофокусные проектора, которые располагаются очень близко к экрану, экономя пространство. Так же не стоит обходить стороной лазерно-светодиодные проектора, которые на данный момент только начинают набирать популярность, главное преимущество которых заключается в высоком сроке службы источника света (более 20 тысяч часов против 3-4 тысяч у ламповых проекторов).
Примеры коммерческих продуктов
Mediascreen MonkeyBook (на технологии DI):
Microsoft Surface 1.0 (на технологии DSI):
Автор: Fuco
