Популярность Coursera, Udacity и других площадок для дистанционного обучения набирает обороты. Всем знакома распространенная структура МООС-курсов: видео-лекции, при просмотре которых даются мини-тесты на усвоение материала, домашние задания с дедлайном выполнения, минимальные возможности для совместного обсуждения курса учениками. Подтверждение личности ученика минимально: достаточно только email, чтобы начать проходить курс, и в конце получить для некоторых курсов — подписанный крупным вузом бумажный сертификат.
Но достаточно ли такой структуры для доверия к МООС-сертификатам вузов? Мы попробовали выделить недостатки МООС и дополнить существующую систему методами контроля и защиты от накруток, а для проверки этих гипотез — реализовали свой прототип веб-сервиса по дистанционному обучению.
Рассмотрим общепринятую сейчас структуру онлайн-курсов с точки зрения ее безопасности и защищенности от накруток и злоупотреблений.
Проблемы рейтинга, который не защищен от накруток
Возьмем пример из знакомой большинству ИТ-области. Предположим, вы ищете Python-разработчика (или Java, C++) в команду, со знанием машинного обучения, AI алгоритмов, рассматриваете также толковых джуниоров без опыта. У некого кандидата Васи — есть несколько бумажных сертификатов Coursera, Udacity по профильным дисциплинам, якобы «свой» проект с исходниками на github, пока нет реального опыта программирования в коллективе — но вроде бы он кое-как отвечает на ваши технические вопросы и обещает быстро учиться. Может быть, так все и будет, и из него получится хороший разработчик.
Но, что если сертификаты Coursera и «свой» проект — заказаны «на аутсорс» у помощника через фриланс-сервис по сходной цене?
Итого, что мы имеем — благодаря отстутствию контроля на сервисах онлайн-обучения и возможности пройти курсы с помощником, Вася сможет сильно завысить свой «внешний» рейтинг и ожидания от его работы, и далеко не факт, что потом он сможет эти ожидания оправдать. От этого проигрывают все: и те, кто доверяют сертификатам — они потеряют свое время с Васей, и сам Вася — пытаясь обмануть сервис, вместо того чтобы реально учиться и осваивать технологии — он теряет и свое время, и ваше. Возможно, Вася благодаря такому типу — со временем станет хорошим предпринимателем или хакером (надеемся, белым), но хорошим разработчиком, за которого он попытается себя выдать — сразу точно не станет. С учетом высокого спроса на любых программистов — он скорее всего сможет пройти 1-2 плохих HR-фильтров. Можно не привязываться только к ИТ, и применить эту аналогию к большинству других сфер, по которым читаются онлайн-курсы и выдаются подтвержденные МООС-сертификаты, влияющие на рейтинг пользователя вне онлайн-сервиса по обучению. Поэтому, незащищенный от накруток рейтинг и отсутствие контроля невыгодно всем — в том числе и самим онлайн-сервисам, так как это понижает доверие к полученным сертификатам.
Возьмем другой пример легко накручиваемого рейтинга — некоторые публичные голосования (за фотографии, за отбор музыкальных коллективов на фестиваль) учитывают в качестве голосов простой «лайк» из фейсбука или вконтакте. Всем известно, что «лайки» можно легко накрутить, и можно нагуглить несколько сервисов, которые сделают это быстро и недорого. Таким образом, в результате накрученного рейтинга участников, если в голосовании отсутствует дополнительная комиссия экспертов, либо нет технологии отсеивания накруток и наказания за них — первые призы получат заведомо посредственные участники, а интересные новички без «лайк»-поддержки не смогут попасть в топ. Голосование за качество продукта участников превращается в банальное «накрути больше лайков». Думаю, двух приведенных примеров достаточно, чтобы понять ценность борьбы с накрутками в любой сфере. Рассмотрим технологии накруток существующих онлайн-сервисов МООС.
Технология обмана сервиса онлайн-обучения «курс с помощником»
Итак, Вася решил тщательно подготовиться к собеседованию на вашу позицию — загуглил FAQ для профильного собеседования, прочитал «Python (java, C++) за 24 часа» или аналог, вложил немного денег в китайского фрилансера-помощника (назовем его Папа), который знает нужные дисциплины и с которым он будет проходить курсы и получать сертификаты. Зарегистрировался на Coursera или аналоге, нашел нужные курсы, поставил галочки «я не буду списывать», записался на нужные курсы. Далее Вася передает доступ к Coursera Папе, и Папа начинает проходить все курсы за него. В рамках существующей системы — против Васи невозможно применить никаких мер, так как ни на одной лекции или тесте — его личность не подтверждается, и Вася легко может передать прохождение курса Папе, так же как и выполнение домашних заданий. Папа хороший специалист, и прошел все курсы добросовестно, заслужил выдачу подтвержденного сертификата по ним. В этот момент возвращается Вася, высылает для подтверждения личности свои данные — и пачка сертификатов по пройденным Папой курсам у Васи в кармане. Вася получил нужные сертификаты, Папа — немалые по китайским меркам 50-100$ за прохождение курсов, обе стороны довольны. Вероятность спалить схему Васи при существующих технологиях МООС-курсов — 0%. Для улучшения правдоподобности, Вася может дать Папе прокси/VPN на своем IP, чтобы ходить на Coursera, так что банальная проверка по ИП — тоже легко обходится Васей. В результате своих действий — Вася готов к собеседованию с условным общим «внешним» рейтингом 50, имея реального только 10.
Понятно, что опытный рекрутер в паре с техническим специалистом смогут легко отсеять Васю на собеседовании или по результатам испытательного срока, но в некоторых компаниях очень большую роль играют сертификаты, и там готовы брать новичков почти без опыта. Цель примера — не обвинить Васю, он всего лишь нашел уязвимость в МООС, а показать, что само по себе наличие легко накручиваемого рейтинга и сертификатов подрывает к ним доверие, и в этой области важно бороться с накрутками, так как декларируется некая ценность данных сертификатов, в перспективе близкая к реальному диплому. Реальных защит от накруток большинство сервисов по онлайн-образованию пока не делают, или делают очень слабо, пример — галочка «я соблюдаю fair play» на Coursera, которая ничего не гарантирует.
Кроме прохождения курса с помощником, возможны и другие методы накруток — рассмотрим их.
Другие технологии читерства и накруток
Предположим, Вася все-таки почувствовал угрызения совести и решил принципиально отказаться от помощи Папы, делать все тесты и задания сам. Рассмотрим, какие у него есть возможности для накрутки результатов тестов без Папы, в рамках существующей системы МООС-курсов:
- можно найти доброго ботаника Петю, шарящего в курсе, объединиться небольшой группой «единомышленников» вокруг него, и он сделает каждому «единомышленнику» его задание или пройдет тест, по бартеру или просто за лайк;
оценочная вероятность обнаружения схемы системой МООС: ~0.1% (если Петя сам спалится случайно, или ответы будут слишком одинаковыми, и если это будет отслеживаться хоть как-то) - можно загуглить уже выложенные добрым Петей в паблик или на приватный форум правильные ответы на задания, и просто вбить их, быстро получив 100% результат на курсе;
оценочная вероятность обнаружения схемы системой МООС: ~1% (требуются значительные вложения по отслеживанию публикаций ответов на всех открытых/закрытых форумах, оперативное закрытие веток с опубликованными ответами, в двух словах — задача сопоставима с задачей «удалить что-либо из интернета навсегда») - можно найти другого, физического Папу, который также будет силен в математике/AI/машинном обучении, сядет за спиной и будет на ушко или по скайпу советовать все правильные ответы неопытному, но дерзкому Васе;
оценочная вероятность обнаружения схемы системой МООС: ~0.1% (при существующей системе МООС близка к нулю, контроль на тестах практически не ведется) - можно в процессе каждого теста гуглить по контексту каждый конкретный вопрос — в условиях, когда время ответа на тест не ограничено, и можно свободно переключаться на другую вкладку браузера или приложение — можно загуглить почти все что угодно;
оценочная вероятность обнаружения схемы системой МООС: ~0% (контроль внимания ученика только на тест не ведется)
Довольно широкие возможности, и Вася рад такому положению вещей, ведь можно и без затрат на помощника существенно накрутить себе рейтинг в процессе прохождения курса.
После такого разбора полетов, возникают вопросы:
Вопрос I. Если перечисленным методам почти не препятствуют сервисы онлайн-образования, то какой процент из их учеников сможет накрутить себе результаты и получить сертификаты, повторяя за Васей?
Ответ. По данным LA Times — опрос самих учеников онлайн-сервиса “Online Journal of Distance Learning Administration” еще в 2010 году выявил, что 32.7% учеников хотя бы раз пробовали читы в процессе онлайн-курса[1]. Это процент только тех, кто сам в этом признался, а в 2010 году МООС были еще не так распространены. При сегодняшней ситуации, когда МООС становятся действительно массовыми, но пока не добавляют серьезный контроль — можно предположить любой процент читеров вплоть до 50% (точные данные по накруткам невозможно получить, так как пока нет реального контроля накруток) пользователей, которые будут достаточно любопытны, чтобы нагуглить ответы, или могут позволить себе помощника Папу или ботана Петю по бартеру. Никакого реального противодействия методам накруток пока по сути нет.
Вопрос II. Какую ценность представляют из себя сертификаты Coursera Васи, можно ли им доверять, ведь они подписаны Гарвардом или Стэнфордом?
Ответ. В целом, сомнительную, так как при существующей системе МООС — очень сложно определить в обладателе сертификатов Васе добросовестного ученика, или читера с помощником Папой и ботаном Петей на подхвате.
Вопрос III. Что же делать?
Ответ. Попытаться бороться с накрутками, в следующем разделе попробуем предложить, как именно.
Методы борьбы с накрутками (гипотезы)
Рассмотрим возможные методы борьбы с перечисленными накрутками.
- «Курс с помощником», Папа из Китая, передача аккаунта Папе
Для противодействия такому методу — нужно контролировать личность ученика на каждом критичном тесте, одного контроля по email/pass/IP — явно недостаточно. Наше предложение состоит в том, что на критичном тесте должен быть видео-контроль учеников (по вебкамере и микрофону), и присутствовать человек-арбитр (например, сам преподаватель или его помощник), который сможет визуально по видео определить, что ученик проходит тест сам, а также задать ему устные вопросы, если есть какие-либо сомнения, или выставить предупреждение о нарушении fair play в процессе теста. - Ботаник Петя и «единомышленники»
По этому методу — противодействие аналогично предыдущему решению - Загуглить готовые ответы на весь курс
Возможные пути решения — делать генераторы заданий для тестов, например для технической задачи — если мы имеем задачу, решение которой F=ma (определяется по формуле), то варьируя в задаче теста параметры m,a — мы получим множество уникальных по ответу (но не по формуле) вариантов вопросов+ответов. Гипотетически, можно варьировать в ответе и части формул — для тех задач, которым это подходит, или же варьировать условия тестирования и входные данные для задач типа «написать программу по заданию». Для текстовых заданий типа «выберите год Куликовской битвы» или «выберите артикль a, an, the» это не подходит, но для технических задач с формулами — вполне. В этом случае, усложняется публикация готовых ответов. - Физический Папа с подсказками в рил-тайме
Для борьбы с этим методом, по аналогии с 1) — подходит видео-контроль с арбитром, предупреждениями. - Гугление по контексту вопроса в процессе теста
Подходит видео-контроль, а также ограничение времени ответа на каждый вопрос теста. В этом случае, у ученика останется критически мало времени на гугление (он увидит таймер 30 сек, например) — и ему придется сосредоточиться только на вопросе или пропустить вопрос (пропуск будет засчитан как отсутствие ответа = неправильный ответ). Также подходит контроль нажатий клавиатуры учеником (если слишком много нажимает — значит, возможно гуглит ответ, т.к. в тестах с вариантами достаточно одного клика мыши для ответа) и недопущение переключения на другое приложение (Alt-Tab) или другую вкладку браузера из приложения с уроком.
Изучив и осознав перечисленные проблемы, мы попробовали реализовать некоторые из предложенных выше гипотез в своем сервисе онлайн-обучения Tutortalk: видео-контроль с предупреждениями и таймер обратного отсчета на вопросах тестов. Создание генераторов ответов для технических задач, контроль нажатий клавиатуры и блокирование переключения вкладки/Alt-Tab из приложения урока — в процессе реализации.
Представим себе проведение традиционного университетского оффлайн-курса, состоящего из лекций + семинаров + экзаменов + контроля на экзаменах, тестах или домашних заданиях. На таком курсе преподаватель обычно совмещает функции преподавателя (собственно передача знаний, чтение лекций, разбор задач) и функции арбитра (контроль учеников от списывания на контрольной или экзамене, контроль несписывания курсовых и дипломных работ, другие способы контроля знаний учеников), либо передает функции арбитра помощникам (они ведут семинары у небольших групп студентов, отвечают каждый за свою группу). Любой онлайн-курс должен стремиться по всем перечисленным параметрам приблизиться к оффлайн-курсу. Значит, если дополнить курсы МООС вебинарами и экзаменами с возможностью контроля и функциями арбитра, при грамотном подходе, мы получим практически равноценный онлайн-эквивалент привычного оффлайн-обучения без вышеперечисленных проблем с накрутками. Функционал большинства МООС отражает только видео-лекции и задания, при этом обходя стороной уроки-вебинары и контроль учеников, либо наоборот — есть сервисы, которые реализуют только вебинары. Мы решили совместить эти 2 направления в своем проекте так, чтобы выигрыш был для обоих форматов — ученики могут слушать привычные видео-лекции в удобное для них время, проходить пост-лекционные тесты:
Интерфейс плеера видео-лекций и тестов на лекциях
а затем отрабатывать типовые задачи на вебинарах с преподавателем, проходить экзамены на тех же вебинарах, но с функцией видео-контроля арбитром и выставления штрафов при нарушении fair play.
Интерфейс проведения теста с возможностью назначить штрафы для нарушителей
При этом, конечно, придется учитывать трудозатраты преподавателя на вебинаре или арбитра, который осуществляет видео-контроль, и стоимость их времени (эта стоимость будет небольшой для арбитра-помощника преподавателя), а также проверять арбитра на беспристрастность — это остается в компетенции преподавателя, как и в оффлайн-курсах. Но и положительный результат очевиден — все ученики будут поставлены в равные условия, подмена личности ученика, списывание или гугление будет проблематичным, для нарушителей будет действовать система сдерживания — в виде предупреждений, и минус-баллов от арбитра, а злостных нарушителей можно будет выгнать с курса или не дать права на сертификат. Также очевидно, что в данном случае нужно вести журнал посещений, опозданий учеников и преподавателей на таких критичных тестах или вебинарах, потому что время арбитра или преподавателя имеет ценность и распределено по расписанию — поэтому, ученики должны принять тот факт, что несмотря на то, что это онлайн-курс, отдельные критичные тесты им придется проходить строго в опредленное время — если они хотят получить подтвержденный сертификат, заслуживающий доверия. Разумеется, видео-контроль ученика на уроке вряд ли получится адекватным, если он сидит с ноутбуком или планшетом в вагоне метро или в шумной комнате, где его постоянно отвлекают — здесь также есть некие ограничения, привычные для оффлайн-курсов, и любые уроки не рассчитаны на проведение в таких условиях, можно разве что послушать видео-лекции.
Таким образом, можно существенно улучшить МООС и доверие к МООС-сертификатам вузов, а частные преподаватели и репетиторы смогут вести полноценные онлайн-курсы для небольших групп, совмещая функции преподавателя и арбитра, как это происходит на обычном оффлайн-курсе с экзаменами.
Приватность
Мы исходим из того, что все ученики должны быть поставлены в равные условия, а также из того, что анонимное онлайн-обучение (которое пока допускают МООС-сервисы) с преподавателем неэффективно по ряду причин:
1) на условиях анонимности невозможно противостоять перечисленным накруткам, организовать контроль, невозможен анонимный и одновременно защищенный от накруток рейтинг
2) обучение с преподавателем основано на доверии и личном контакте, анонимно это практически невозможно
3) предполагается, что обеим сторонам (преподавателю и ученику) нечего скрывать из того, что касается их образовательной жизни
4) большинство фриланс-сервисов, платежных систем и других сервисов, где важно контролировать пользователей — аналогично предлагают повышение привилегий пользователя в обмен на уменьшение его анонимности, это распространенная практика
Другие настройки приватности сервиса — например, публиковать ли свои результаты пройденных курсов, или список своих студентов — могут настраиваться пользователями на свое усмотрение. Проходить ли верификацию и пользоваться ли контролем, системой предупреждений и штрафов — окончательное решение остается за преподавателем, в зависимости от его методов преподавания.
Заключение
Зная о подобной системе контроля, упомянутые юный программист Вася, Папа и ботаник Петя десять раз подумают, прежде чем пытаться искать способы обойти такую систему. А значит, из плюсов:
- Перечисленные схемы накруток станут бессмысленными: Вася не будет тратить свое время на обход системы (и возможно примет новые правила игры системы, либо займется чем-то другим), Папа не будет пытаться «продвинуть» Васю в рамках сервиса своими подсказками, а Петя возможно займется чем-то более интересным, чем «вытягивание» своих коллег за лайк
- Рекрутер не будет тратить свое время на Васю, отсеяв его сразу по набору сертификатов, которые не заслуживают доверия
- В выигрыше останется и преподаватель — он получит больше контроля над процессом онлайн-обучения, и сможет отвечать за своих онлайн-учеников почти на том же уровне, что и за оффлайн-учеников, а также при желании сможет полностью перейти на онлайн-преподавание практически без потерь качества курса, где также получит новый рынок учеников
- Вузы, участвующее в такой системе — получат больше доверия к своим подписанным МООС-сертификатам
- Модель обучения «преподаватель с небольшой отобранной группой учеников», которые обоюдно устраивают друг друга и пользуются взаимным уважением — может быть намного эффективнее как жесткой оффлайн-муштры, так и существующего необязательного и уязвимого формата МООС
- Общий рейтинг от сервиса с системой противодействия накруткам очевидно заслуживает больше доверия, чем от сервиса без такой системы
- В сочетании с предложенным, можно ввести дополнительные меры для усиления контроля личности учеников и преподавателей — верификацию по документам об образовании, СМС-подтверждению
Есть и относительные минусы, которые для кого-то будут плюсами:
- Преподавателю или арбитру придется тратить свое время на видео-контроль учеников по расписанию, но большинство частных репетиторов и преподавателей вузов привыкли совмещать функции преподавателя и арбитра, либо передавать функции арбитра помощникам
- Требуется более тщательный подход к составлению тестовых задач или домашних заданий, чтобы к ним было невозможно выложить готовые решения, но это лишь небольшое усложнение подготовки заданий, на которое в любом случае уходит львиная доля времени при подготовке онлайн-курса
В прототипе нашего сервиса по онлайн-обучению Tutortalk мы попытались устранить большинство перечисленных проблем и воплотить предложенные технологии борьбы с накрутками. В ближайшее время на нашем сервисе появятся несколько новых курсов, которые будут проводиться с использованием возможностей контроля учеников и противодействия накруткам, а также будет сделан редизайн с улучшением UX. Наш сервис прошел предварительный отбор на грант от Start Fellows, где в обсуждении разобраны основные пункты нашего видения будущего проекта, мы планируем дальше улучшать и проверять гипотезы в рамках нашего сервиса, постепенно выходить на массовый рынок МООС.
Анализ всех перечисленных в статье проблем проводился без привязки к конкретному сервису, данные недостатки есть у большинства популярных МООС-платформ (Coursera, Udacity, Edx). В результате, мы приходим к выводу, что в условиях отсутствия защиты от накруток у большинства МООС — процент злоупотреблений учеников может быть сколь угодно большим, все зависит только от любопытства и находчивости учеников, никаких реальных ограничений нет. Оценки читерства на онлайн-курсах, по разным данным, лежат в промежутке от 30 до 40% учеников [1] и значительно превышают процент списывающих на оффлайн-курсах из-за фактического отсутствия противодействия накруткам. Подписанные Гарвардом или Стенфордом сертификаты о прохождении онлайн-курсов имеют очевидную ценность, в перспективе близкую к ценности обычного диплома — поэтому такие сертификаты представляют интерес для получения многими специалистами, а следовательно, и для накрутки или получения их нечестными способами. Поэтому, для сервисов МООС, как и для фриланс-сервисов или платежных систем, которые также должны тщательно контролировать своих пользователей и защищаться от злоупотреблений — защита от накруток просто необходима. При этом, разрабатывая систему контроля МООС, как и для любой системы безопасности — важно не перегнуть палку и соблюдать баланс между защищенностью и принятием системы пользователями, чтобы простой онлайн-тест не превратился в подобие проверки на полиграфе.
Материалы и статьи по контролю на МООС:
1. Using technology to fight cheating in online education (LA Times)
2. Keeping an Eye on Online Test-Takers (NY Times)
3. MOOC Teaches How to Cheat in Online Courses, With Eye to Prevention
Автор: moonsly
