Роботы, которых создают в лаборатории робототехники Корнелльского университета, мало похожи на устрашающие порождения сумрачного гения Boston Dynamics и многих других лабораторий, разрабатывающих роботов военного назначения. Это персональные роботы — помощники, официанты, сиделки. Их обязанности — следить за порядком в комнатах, приносить и уносить предметы, прислуживать во время еды. Для таких роботов важно умение чутко улавливать намерения людей, чтобы оказаться рядом в правильный момент и наоборот, не мешаться под ногами, когда они не нужны. Их учат предсказывать, что будет делать человек в следующие несколько секунд. Может быть, ему надо помочь открыть дверь. А может — подержать что-то. Или налить чая в опустевшую чашку. И всё это без нажатия на кнопки, без специальных жестов и голосовых команд.
Робот воспринимает окружающий мир через трёхмерную камеру Microsoft Kinect. Базой для предсказания действий человека является набор ранее увиденных и распознанных роботом движений. Кроме того, роботу знакомы предметы окружающей обстановки и их назначение. Он знает, что такое стул, книга, чашка, холодильник, знает, как человек взаимодействует с этими предметами.
