Источник: Wikimedia
Онлайн-энциклопедия Wikipedia получила новый инструмент — сервис с элементами ИИ, который поможет автоматически определять некорректные правки материалов ресурса. Сервис ORES (Objective Revision Evaluation Service) будет проверять все правки на наличие спама или троллинга. Создателем ORES является Wikimedia Foundation. Разрабочики говорят, что новый сервис работает, как рентгеновские очки (отсюда и анонсная картинка. Система теперь будет выдеять все, что выглядит подозрительным, а затем отправлять на проверку редактору-человеку. Если администратор решит не использовать правку, пользователь, предложивший ее, получит уведомление. Эта система более дружественна к пользователям, поскольку сейчас никакие уведомления пользователям не рассылаются.
Команда энциклопедии научила систему различать непреднамеренные ошибки в правках и то, что называется «повреждением правок» (damaging edits). Обучение проводилось на примерах реальных материаолв. Сейчас новый сервис уже можно использовать.
Пример работы сервиса показан ниже. Здесь демонстрируется то, как видят материалы редакторы (слева) и то, что видит ORES (справа). Вероятность того, что текст нормальный, составляет 0,0837. Вероятность умышленной порчи текста — 0,9163. В итоге редактор-человек понимает, что текст действителльно пытались испортить. В самом деле, предложение «Ламы растут на деревьях» никак нельзя назвать корректной правкой.
ores.wmflabs.org/scores/enwiki/damaging/642215410
А вот пример оценки «человеческого фактора»
ores.wmflabs.org/scores/enwiki/damaging/638307884
Это уже не первый подобный инструмент, который работает на благо онлайн-энциклопедии. Раньше такие системы тоже пытались научить работать, но старые сервисы не видели разницы между «вредной правкой» и обычной ошибкой человека.
Среднее время анализа текста составляет около 100 миллисекунд. Сейчас поддерживается работа с 14 языками. Уже проведено 45 миллионов оценок. Это не так и много, поскольку количесво правок «Вики» за день достигает полумиллиона. Новый сервис поможет редакторам быстро и эффективно оценивать все предлагаемые пользователями правки.
Автор: marks
