За несколько месяцев работы студенты так и не поняли, что с ними общался не человек, а робот
Профессор информатики из Технологического института Джорджии Ашок Гоэль (Ashok Goel) в январе сообщил студентам магистратуры, что помогать в работе им теперь будет новый ассистент, которого профессор недавно нанял. Общение с ассистентами часто проходит в онлайн-режиме — те уведомляют студентов о наступающих событиях, вроде необходимости сдать очередную работу или изменении в расписании занятий. Профессору обычно приходится общаться с сотнями студентов в сети, для одного человека это непосильная задача. Поэтому обычно ему помогают 8 ассистентов. Но даже для этой команды задача отвечать на все сообщения студентов вовремя оказалась слишком сложной, поэтому Гоэль сообщил о своем намерении нанять девятого помощника. Что и было сделано – вскоре пользователей студенческого форума приветствовала Джилл Ватсон (JillWatson), новый член команды ассистентов.
Ватсон сходу приступила к работе, и студенты были очень довольны ее пунктуальностью и ответственностью. Именно Джилл помогала больше других, выполняя огромную часть обязанностей команды помощников. Она не только рассылала уведомления по электронной почте, но и комментировала посты студентов на форуме. Каково же было удивление учащихся, когда в конце апреля они узнали, что на самом деле Джилл — не человек, а машина. Точнее, специально разработанный на основе возможностей когнитивной системы IBM Watson, сервис.
Почему было решено использовать когнитивную систему? Дело в том, что профессор за годы общения со своими подопечными понял, что на форумах студенты задают примерно одни и те же вопросы. И компьютер мог бы без проблем отвечать на большую часть из них. Джилл Ватсон, прежде чем «познакомиться» со студентами, обучалась на основе полной базы вопросов и ответов с форума Piazza. Эта база содержала информацию за несколько лет.
Изначально система давала иногда неверные ответы – но за этим следил сам профессор. Некорректные ответы он удалял, а система продолжала самообучаться. Уже в марте точность ее работы достигла почти 100%.
За несколько месяцев общения с «ассистенткой профессора» из 300 студентов никто не заподозрил, что общается с машиной. Да, были иногда странности в общении, но не слишком часто, да и ответы реальных людей нередко бывают необычными (ответ невпопад, ошибка в лексической конструкции и т.п.). В целом же, студенты были очень довольны Джилл. «Я бы даже предложил номинировать Джилл Ватсон на звание выдающегося технического ассистента», — говорит один из студентов. Другой учащийся отмечает, что общение с Джилл было всегда обычным, как и любая другая беседа с нормальным человеком. Большинство студентов считали характер общения с Джилл дружеским.
Без помощника профессору было бы тяжело. Дело в том, что только за январь подопечные разместили около 10000 вопросов и комментариев на форуме, и на многие из них требовалось ответить. Джилл смогла ответить примерно на 40% вопросов, включая самые сложные. Например,«Дайте определение понятию «разум»».
Профессор Ашок Гоэль за работой в аудитории (источник: news.gatech.edu)
Интересно, что искусственную машинную природу «помощника профессора» не почувствовал даже студент Баррик Рид, который по работе часто сталкивается с необходимостью использовать сервисы IBMWatson. Он сказал, что не ощутил ничего особенного при общении с ассистенткой профессора – ответы были вполне нормальные, необычного ничего не было.
Отметим, что Джилл Ватсон была создана не одним человеком: над этим проектом несколько месяцев работала команда исследователей этого же университета. Они решили использовать возможности IBM Watson также и для ответов на вопросы студентов на дискуссионном форуме, известномкак “Piazza” (базарная площадь — прим. ред.). Некоторое время Джилл тренировали именно на данной платформе, а затем уже отправили помогать студентам (начиная с марта этого года). Техническим помощником сервис стал только после того, как ученые убедились, что с ответами на форуме все хорошо: Джилл общалась там на уровне «эксперт», как считают специалисты. При этом не стоит путать Джилл с ботами, которые пытаются отвечать на вопросы пользователей на различных сервисах (банки, интернет-магазины и т.п.). Это совсем другой уровень общения.
Над фамилией «помощника» один раз пошутили на форуме, сказав, что, вероятно, это суперкомпьютер IBM Watson пришел на форум, а не реальный человек (напомню, фамилия Джилл — Ватсон). За все время попался только один подозрительный студент, заметивший, что помощник отвечает очень быстро. Тем не менее, реальное положение вещей никто не раскрыл до того, как это не сделал сам преподаватель.
В следующем году профессор планирует «нанять» еще одного виртуального помощника. А поскольку состав ассистентов постоянно меняется, никто не будет знать, кто же из новичков является машиной, а кто — человеком. Студентам же будет дано задание определить, кто на самом деле человек, а кто — машина. И сделать это будет далеко не так просто, как кажется.
Автор: IBM
