Министерство обороны США заинтересовано в создании смешанных боевых подразделений из людей и роботов, но для этого им нужны машины, способные понимать человеческую речь, выполнять команды людей и докладывать об их выполнении. Такие роботы должны быть оснащены системами искусственного интеллекта, чтобы объяснять человеку, почему они в ходе выполнения задания приняли то или иное решение.
Разработкой подобной системы занимается исследовательская лаборатория армии США при участии Массачусетского технологического института, Института робототехники Университета Карнеги-Меллона, QinetiQ, General Dynamics, Лаборатории реактивного движения NASA, Университета центральной Флориды и Пенсильванского университета. Она состоит из вычислительного блока на базе четырёхъядерного процессора Intel Core i7, лидара и оптико-электронных камер.
Для системы были разработаны несколько алгоритмов на базе нейросетей. Оснащённый ей робот, перемещаясь, может составлять обзорную карту местности, распознавать расположенные на ней объекты, присваивать им семантические метки, а также получать расширенную информацию для некоторых объектов. Кроме того, система позволяет распознавать сложные голосовые команды, вроде «узнай, что происходит за углом здания». Робот умеет уточнять, какое именно здание имеется в виду.
Во время испытаний новой системой был оборудован небольшой четырёхколесный робот Husky с манипулятором. Ему поручали расчистить местность, убрать конкретный предмет с дороги или провести разведку местности: в общей сложности были проведены три испытания. Два из них прошли полностью успешно: робот понимал приказы и успешно их выполнял, третье прошло частично успешно: хотя робот справился с распознаванием команд, его пришлось перезагружать из-за зависшей навигационной системы.
Пока параметры распознаваемых объектов заранее прописаны программистами, но разработка алгоритма для автоматического определения параметров уже ведётся. Военные рассчитывают получить систему, которой можно будет отдавать не только конкретные приказы, но и задавать вопросы, связанные с оценкой вероятности выполнения миссии, а также роботов, которых можно будет использовать для разведки или зачистки территории.
