Если вы подозреваете, что «трамвай» — это глагол повелительного наклонения, или что «забор крови» — это нечто из фильмов ужасов, то вы точно понимаете, где в тестах по русскому языку есть обширное поле для лютого троллинга.
Сначала я вообще считал, что «Русский медвежонок» — это отдельное произведение искусства, созданное, чтобы с иррациональным юмором показать расширенные возможности языка. А потом allex познакомил меня с создателями сего шедевра, и выяснилось, что это вообще-то ужасно серьёзное дело, которым заняты математики и лингвисты. Предельно адекватные, насколько это вообще возможно для математиков и лингвистов.
Значит, сейчас «Медвежонок» — это самый массовый конкурс по русскому языку, подозрительно напоминающий олимпиаду всем, кроме формы. Формально он — игра. Предприятие это сугубо коммерческое, участие стоит 85 рублей (до 100 рублей на Дальнем Востоке). Участие добровольное, в качестве приза предполагается нечто символическое — это тоже осознанно, чтобы не было тех, кто играет на мамону. Все вопросы предполагают на входе некоторый общий уровень развития человека, рождённого на Земле в России. То есть это нечто из базовой школьной программы, общечеловеческие бытовые знания и базовый же кругозор. Задач на чистое академическое знание нет. Задач на зубрёжку нет. Даже если вам кажется, что есть. Задачи довольно хорошо тестируются на живых людях до раскатки на конечных пользователей.
В общем, я хочу показать, что бывает, когда математики добираются до русского языка. И познакомить вас с двумя прекрасными людьми — кандидатом физико-математических наук Игорем Рубановым, и кандидатом филологических наук Еленой Муравенко.
Первое, что меня без меры порадовало — что в методологии «пять вариантов ответов» сразу подразумевается, что все эти варианты создаются так, чтобы максимально запутать отвечающего и, фактически, внести новый уровень сложности в задачу. Сейчас покажу пару примеров.
Почему мне это важно
Мы сейчас активно разбираемся с тем, как работает образование в футбольных школах «Метеора» и других спортсекциях. К счастью, мы можем позволить лучших специалистов-методологов в России, к несчастью — понимаем, что всю схему подготовки надо переделывать, потому что образование у нас, увы, до сих пор заточено на орков. Точнее, по стандартам-то уже нет, а вот по факту — много где да. Тренеры сразу отметили, что в футболе самое важное — это голова, и ей нужно думать. Можно хорошо бегать, можно быть большим и страшным, можно круто натренироваться на стандартные действия, но хороший игрок, понимающий, что и почему он делает, никогда не сравнится с натасканным. И «Медвежонок» для меня — история как раз про понимание предмета, а не зубрёжку, про то, как можно сломать систему тестов и сделать её крутой.
Формат Медвежонка
Есть три блока вопросов: простые для разогрева и радости «я не совсем тупой», которые, скорее, похожи на анекдоты. Потом средние для тех, кто учился хорошо. И сложные, которые требуют чувства юмора или каких-то базовых творческих способностей. Сложные вопросы — самый сок, и они очень напоминают вопросы «Что, где, когда?» тем, что когда вы находите правильный ответ, то сразу понимаете, что он идеально соответствует задаче. Но в ЧГК ответ нужно найти, а тут каждый вопрос снабжается 5 вариантами. Поэтому кроме красоты самого вопроса нужно придумать варианты так, чтобы неправда выглядела достовернее реальной версии. Что, к слову, невероятно учит критическому .
Вот пример вопроса:
Город Великие Луки получил такое название из-за того, что:
(A) славился мастерами по изготовлению луков;
(Б) в его окрестностях лук вырастал особенно крупным;
(В) город прославили его основатель Лука Великий и его сын Лука Лукич;
(Г) в нем находится штаб-квартира компании «Лукойл»;
(Д) река, на которой он стоит, имеет большие излучины?
Попробуйте ответить, потом идите под спойлер. К слову, это вопрос, на который школьники статистически отвечают неверно, и он ярко выделился на боевых испытаниях (в отличие от тестов).
Теперь логика составителей задачи: «Будем действовать методом исключения. Понятно, что ответ — не Г (название города неизмеримо старше компании «Лукойл») и не В (никакого Луки Великого в истории России не было, да и город в этом случае имел бы название вроде «Великолукск»). Вариант А (лук родился особенно крупным) маловероятен: в этом случае город, скорее всего, получил бы имя вроде «Добрые [т. е. хорошие] Луки». Выбирая между мастерами по изготовлению луков и речными излучинами, примем в расчет то огромное значение, которое играли в жизни древних славян реки. Ответ: (Д).»
Ну школьники отвечают вариантом (В), потому что Луков много. И ещё до кучи версия с двумя историческими деятелями ещё достаточно детальна (а детальные варианты в обычных тестах часто бывают правильными). Борис Бурда ещё постфактум предположил, что дети предпочитают всё одушевлённое. А Игорь считает, что это потому, что в названии города слово Луки написано с большой буквы и во множественном числе.
Или вот отлично путающие варианты:
Дана статья из Малого энциклопедического словаря Брокгауза и Ефрона 1907–1909 гг. выпуска, в которой пропущено одно слово: «Сутки, период оборота Земли вокруг своей оси (звёздные сутки = 23 часа 56 мин. 4 сек.). В _____ сутки считаются в 24 часа». Какое слово мы пропустили?
(А) гостинице; (Б) интернате; (В) общежитии; (Г) пансионате; (Д) санатории.
Тут надо на секунду остановиться и сначала понять, что бы он написал, если бы вариантов не было. А потом поискать подходящий вариант. Родителей, ищущих ответ на этот вопрос, просто рвёт в интернетах, потому что они ищут изначальную цитату и считают, что ребёнок должен её помнить для ответа. Не должен. Ведь «Каждый гражданин СССР обязан соблюдать Конституцию Союза Советских Социалистических Республик, исполнять законы, блюсти дисциплину труда, честно относиться к общественному долгу, уважать правила социалистического общежития».
И мой любимый вопрос (я его уже приводил в одном из постов много лет назад), где задача невозможна без таких прекрасных вариантов:
Какое из сочетаний слов (А)-(Г) имеет смысл?
(А) приплыло ходила;
(Б) приползло бегала;
(В) пришло ползала;
(Г) прибежало плавала;
(Д) все сочетания слов (А)–(Г) бессмысленны.
А вот тут запутан сам вопрос, варианты ни при чём:
Андрей закончил школу с золотой медалью. Борис завоевал бронзовую медаль на соревнованиях по бегу. Василий награждён медалью «За спасение погибавших». Григорий изготавливает медали в мастерской. Денис купил в магазине шоколадную медаль. Сколько среди них медалистов?
(А) один; (Б) два; (В) три; (Г) четыре; (Д) пять.
Тут варианты очень важны, если вы не собираетесь решать задачу полным перебором:
Выпишем все русские числительные от 1 до 100: один, два, три, четыре, …,
девяносто девять, сто. Какие буквы встретятся в этом списке ровно по 10 раз?
(А) н и п; (Б) л и н; (В) п, ч, ш и ы; (Г) и и н; (Д) к, ч и ы.
Как начиналось
Сначала появилась почти такая же штука, но по математике — «Кенгуру» в Австралии. Важно было то, что там уже были недокументированные возможности математики, немного юмора и немного троллинга. И всё это тоже называлось игрой. Математика оказалась довольно грустной на лёгком и среднем уровне сложности. Оказалось, чтобы смеяться с математических анекдотов, надо быть как минимум бакалавром. В русском языке возможностей куда больше — в частности, потому что носителей тоже больше, и люди учат его с первого класса, а потом думают, что хорошо знают.
Из Австралии игра быстро переехала во Францию. По одной из версий это случилось из-за простаивающих после переписи населения машин, умеющих читать бланки с галочками. Так это или нет, данных я не нашёл, но летом 1993 года в Париже прошла встреча для тех, кто может делать математические конкурсы в разных странах. За тот год удалось окенгурить около полумиллиона французских школьников, поэтому было за что поговорить. Наши тоже приехали. В 94-м за это дело взялся Александр Савин с мехмата МГУ.
Получилась следующая структура: центральный оргкомитет отвечал за координацию, а региональные комитеты работали, фактически, по территориальной франшизе. В этот момент на сцене появляется Игорь Рубанов: он уже засветился как хороший организатор, и Савин попросил попытаться охватить территории, где не было оргкомитетов. Ему удалось с помощью обычной телефонной трубки и пластиковой бутылки мобилизовать кучу разных людей (преимущественно математиков) — причём далеко не всегда знакомых. В результате 15 региональных оргкомитетов, которые объединил кировский межрегиональный комитет. Через несколько лет появилась мысль: «А почему только математика?». Долго думали, что же может быть другой темой — но ответ вы уже знаете. Название брали по аналогии: кенгуру из Австралии, медведь из России (и медведь тогда ещё не имел политической окраски). Поскольку играют дети — уменьшительно-ласкательный медведь. А русский он потому, что не физический и не биологический. Возглавить методкомиссию «Медвежонка» Игорь предложил Елене Муравенко, имевшей многолетный опыт составления олимпиад по лингвистике. С «Кенгуру» договорились об общей инфраструктуре: несмотря на разные комитеты, продукты использовали похожие сети дистрибуции и помогали друг другу.
Логотип с офсайта: это чуть обновлённая версия, но принципиально от первой не отличается
И «Медвежонок», и «Кенгуру» создавались не как коммерческие проекты, а, скорее, как просветительские. По мере роста числа участников история становилась всё более коммерческой. В этот же момент надо вспомнить, что доцент кафедры высшей математики ВГГУ в девяностые зарабатывал величину, которую мы примем за ε.
Формат сразу установили, как игру-конкурс. Конкурс — потому что рейтинг и победители с маломатериальными призами, а игра — потому что невозможно относиться к искусству серьёзно. Олимпиада же — это проверка знаний и умений. Конкурс не является проверкой знаний и умений.
Вокруг «Медвежонка» с первых дней пошли дичайшие конфликты, потому что не всё можно взять логикой, нужна как минимум лингвистическая интуиция.
Ещё примеры вопросов, чтобы понять уровень сложности и фрустрацию родителей
Вот вопрос просто на то, что вы ходили в школу на уроки русского:
Какое из этих прилагательных в сочетании с существительным образует грамматический термин?
(А) отличный; (Б) замечательный; (В) превосходный; (Г) великолепный; (Д) невероятный.
А этот уже подразумевает, что ребёнок не только учил русский, но и хотя бы раз был на море — или не прогуливал биологию:
Оля записывала то, что можно увидеть и в море, и в ванной. Какое слово попало в её список по ошибке?
(А) раковина; (Б) пена; (В) мочалка; (Г) губка; (Д) гребешок.
Вот кварки лингвистической интуиции:
Четыре из пяти данных словосочетаний обладают необычным свойством. Какое из них этим свойством не обладает?
(А) два слова; (Б) три слога; (В) пять гласных; (Г) девять согласных; (Д) десять букв
Слово ластик получилось в результате отбрасывания буквы...
(А) п; (Б) р; (В) э; (Г) о; (Д) к
Какое из этих слов чаще употребляется с приставкой не-, чем без неё?
(А) бессмысленно; (Б) безынтересно; (В) скучно; (Г) уныло; (Д) грустно
До этого места всё было хорошо. Теперь переходим к более психоделичным вопросам. Начнём с очень простого:
Одна из программ, переводящих текст из латиницы в кириллицу, выдала следующее предложение: Этот замок существовал с ИХ по ХВИИ век. С какого века по какой?
(А) с 4 по 12; (Б) с 9 по 17; (В) с 15 по 20; (Г) с 18 по 19; (Д) с 20 по 21.
А вот здесь уже некоторые особо одарённые родители могут решить, что требуется знать греческий алфавит:
Греческая буква Г называется гамма. А какая буква древнегреческого алфавита называлась дигамма?
(А) E; (Б) F; (В) H; (Г) Κ; (Д) Λ.
Китайский язык:
Слово Россия на китайский язык переводится как 俄罗斯, а другое русское слово — как 白俄罗斯. Что означает иероглиф 白?
(А) ‘холодный’; (Б) ‘чёрный’; (В) ‘белый’; (Г) ‘красивый’; (Д) ‘ровный’.
Учить стихотворение Тарковского наизусть:
До сих пор мне было невдомёк
Для чего мне звёздный каталог?
В каталоге десять миллионов
Номеров небесных телефонов…
Так начинается стихотворение Арсения Тарковского «Звёздный каталог». А какой номер телефона в нём упоминается?
(А) А-89-74-75; (Б) А-13-40-25; (В) А-51-18-03; (Г) А-33-22-70; (Д) А-01-34-32
Непонятно что вообще (на самом деле латынь, химию в рамках школьной программы или стоматологию):
В 1755 году Джакомо Казанова бежал из венецианской тюрьмы, расположенной на верхнем этаже Дворца дожей. Глава его мемуаров, посвящённая этой тюрьме, в некоторых русских переводах называется «Под пломбами». Листами какого металла была покрыта крыша Дворца дожей?
(А) железа; (Б) меди; (В) золота; (Г) цинка; (Д) свинца.
И вопрос, который порвал просто всех, судя по дискуссиям в сети:
Ани Лорак — сценическое имя известной украинской певицы. А её настоящее имя?...
А) Анна-Лора
Б) Каролина
В) Карина
Г) Алина
Д) Лолита
На всякий: если что, биографию певицы знать не нужно, это вопрос всё ещё на лингвистическую интуицию. И, как у хороших ЧГК-вопросов, если вы найдёте правильный ответ, то будет совершенно очевидно, что возможен только он. Но родители, конечно, этого всего не понимали и ругались. Поэтому игра, а не олимпиада.
К слову, я думаю, что в негативе по «Медвежонку» виноваты сами организаторы, потому что задачи и ответы они выкладывают в открытый доступ, а вот решения берегут и хотят за них денег. Точнее, выпускают в виде бумажных книг в наш век. Естественно, до большей части родителей логика не доезжает, потому что они привыкли к квадратно-гнездовым ЕГЭ-тестам. Возможно, не доезжает и объяснение, чем игра отличается от олимпиады. Собственно, именно в этом месте я и решил, что «Медвежонок» — это арт-перфоманс по получению этой самой обратной связи в промышленных масштабах. Но оказалось, что всё предполагалось немного не так.
Продолжаем про организацию
Первый конкурс прошёл в 2000 году. Задачи конструировались по следующим критериям:
- Много коротких вопросов примерно на минуту-две, а не на 15-30 минут, как на олимпиадах хардкорного уровня.
- Все одного формата: вопрос и 5 вариантов ответа, причём правильный ответ не должен «выпирать» — про это мы уже говорили.
- Задачи можно унести домой и решать с родителями. Возможно, именно этот фактор и стал главным критерием успеха дальше.
- Все вопросы должны быть нешаблонными.
В этот момент выяснилось, что обычные тесты вообще-то как раз очень шаблонны, что и делает их неинтересными в конечном итоге. Чтобы сделать десять типовых тестов по русскому языку достаточно придумать несколько простых форм заданий и менять в них слова. Скорее всего, это будут вопросы на знание или память. А вот чтобы сделать десять медвежат, нужно найти много-много людей, способных не только найти какие-то прикольные нюансы языка, но и завернуть их в задачи.
И, судя по некоторым вопросам, оргкомитет уже тогда понимал всю глупость некоторых тестов, где надо пытаться понять, как мыслил составитель, не умеющий правильно формулировать задачу. Вот один из примеров:
В одном из заданий теста по русскому языку для иностранцев требуется в предложение Скажите, пожалуйста, _______ стоит снять квартиру в этом районе? вставить пропущенное слово, сделав выбор из вариантов: 1) где, 2) сколько, 3) почему. Какие из данных вариантов тут возможны?
(А) только один ― сколько; (Б) только два ― где и почему; (В) только два ― сколько и где; (Г) только два ― сколько и почему; (Д) все три.
В общем, именно на «Медвежонке» я понял, что в стране есть ещё люди, которых так же бесят типовые тесты, как они когда-то бесили меня. Но в таких критериях это всё не формулировалось.
25 задач первого конкурса придумали математики, около 50 задач нашла в своём богатом жизненном опыте сама Елена, ещё 15 дал М. А. Кронгауз (лингвист-семантик), а дальше оказалось, что нужно больше людей. Со второго года в этой феерии стали участвовать ещё лингвисты, включая студентов, а потом начали присоединяться вообще самые разные люди. Задачу может прислать любой, но в ядре — хороший научный состав. Многие вроде Александра Пиперски пишут книги, выступают с лекциями, занимаются серьёзными научными темами. Всего в комиссии 13 человек, а авторов 125 человек (но только около 30 из них присылают задачи регулярно).
Задачи к следующему конкурсу ищутся год. Реально год, а не месяц прямо перед тем, как начать проводить. Члены методкомиссии живут в разных городах и странах, многие часто в разъездах, у всех свои графики. Когда задача поступает в комиссию — сначала к ней ищутся побочные решения, выверяется формулировка. Редко задача приходит в бой в том же виде, как поступила от автора. Работа комиссии и авторов оплачивается из фонда конкурса, но большинство из них работают не для денег. Процитирую Игоря:
Если у человека цель что-то сочинить за плату, то такой человек здесь не продвинется. Всё держится на энтузиазме. Людям интересно этим заниматься. Некоторые вот уже 20 лет занимаются. Задачи вроде бы для детей, а сталкиваемся в обсуждении с кучей интересных лингвистических проблем, в словари лезем. По некоторым задачам можно писать исследования.
Например:
Какие из данных причастий представляют собой исключения из общего правила образования причастий: руководимый, управляемый, возглавляемый?
А, только руководимый;
Б, только управляемый;
В, руководимый и управляемый;
Г, управляемый и возглавляемый;
Д, исключений нет.
Пока вас не напугали сложные слова, просто скажу, что управлять и руководить можно чем-то, а возглавлять только что-то. Дальше смотрим на пассивные причастия: «руководимый Ивановым отдел», «управляемый Ивановыми самолёт», но «возглавляемая Ивановым фирма». «Возглавлять» — переходный глагол, а «управлять» и «руководить» — отнюдь. Если вы хотите погрузиться в мрачный мир переходных глаголов, то начните вот отсюда с Вики. Вообще-то, базовый уровень этого дела входит в школьную программу, но вопрос реально сложный даже по меркам «Медвежонка». Тем не менее, в статистике по результатам вот чего:
А в обсуждении вопроса всплыли прекрасные вещи вроде попячивания непереходных глаголов в переходные: «Кто девушку ужинает, тот её и танцует», «мы поступили сына в хороший вуз» и даже завершённые переходы вроде «его ушли». Изменения в грамматике связаны с изменениями в социальной жизни. То есть в лексике обычно да, например, слово прошлого года — «обнуление». Но вот когда что-то такое происходит в грамматике, то это точно стоит исследования.
Первичные тесты идут на домочадцах членов комиссии, то есть задачи проходят примерно сотню человек в альфе. Задача может быть забракована из-за неинтересности, некорректности, многозначности или просто потому, что она повторяет что-то, что есть в другом варианте прошлых лет.
Но есть, например, вот такие редкие вещи:
8-9 класс
С чьей песней сравнивают последнее в жизни автора произведение?
(А) жаворонка; (Б) соловья; (В) кукушки; (Г) лебедя; (Д) петуха10-11 класс
Какой из знаменитых циклов песен для голоса и фортепиано был сочинён композитором незадолго до кончины, а опубликован и получил своё название лишь после смерти автора?
(А) «Без солнца» Модеста Мусоргского;
(Б) «К далёкой возлюбленной» Людвига ван Бетховена;
(В) «Любовь поэта» Роберта Шумана;
(Г) «Прекрасная Магелона» Иоганнеса Брамса;
(Д) «Лебединая песня» Франца Шуберта.
Это вариация одной и той же темы в двух разных вопросах в параллельных вариантах. Допустимо, но встречается редко.
Варианты не должны повторять по словам другие задачи прошлых лет — то есть разные темы и разная лексика в вариантах. В общем за год надо набрать 190 задач: 5 вариантов для школьников, один для иностранцев, один для учителей на 12 задач. Сложнее всего с младшими классами, потому что почти вся методкомиссия — преподаватели вузов. Все когда-то занимались с детьми, имеют опыт работы в школе, но школьных учителей младших классов в ядре нет. То есть главная проблема на этой стадии не в том, чтобы сочинить подходящую задачу, а в том, чтобы определить сложность уже придуманных задач. Во II классе дети ещё ничего не прошли по теории языка, поэтому с ними особенно сложно. Хочется, чтобы это была задача, а не какой-то тупой вопрос. В итоге получаются задачи на общие знания. Ещё интересность задач повышается введением персонажей: раньше это был Незнайка, сейчас комиссия не знает, кто там в Тиктоке.
Поначалу проскакивали сложные задачи — где-то дети не знали какие-то слова, где-то просто какие-то вещи устаревали. Вот, например:
В большинстве четырёхтомных изданий словаря В. И. Даля целый том занимают слова на букву… .
(А) А; (Б) М; (В) П; (Г) Т; (Д) Я
Эту задачу крайне легко решить, если у вас дома есть этот самый Даль или другой словарь. Можно решить, если знать принципы ЙЦУКЕНГ-раскладки. Можно попробовать обратиться к каким-то общим знаниям, и школьники её нормально берут:
Или вот:
Навстречу ей выруливает мальчик на велосипеде, стоя на педалях: ___ему___. Что мы дважды пропустили в этой фразе из книги Майи Кучерской?
(А) велик; (Б) весело; (В) пора; (Г) седло; (Д) трудно.
Оказалось, дети знают этот артефакт как байк, а не как велик.
Принципиальной разницы в логическом аппарате и теории языка между 5 и 9 классом нет, только набор знаний школьной программы разнится. Трёхбалльная задача десятиклассника может быть четырёхбалльной задачей пятиклассника. Но вообще трёхбалльные должны решать почти все, 4 балла — отличники, 5 баллов — гики. Вариант 11-го класса тестируется на широких массах абитуры и считается вариантом для взрослых. Тесты задач младших групп идут в школах на детях на год старше, чтобы они точно не участвовали.
К счастью, по статистике решаемости задачи можно понять, что в прошлом году не знали школьники, чтобы избежать этого в будущем.
Общий подход
«Медвежонок» прекрасен. Но он принципиально не растёт с 2011 года, в прошлом было всего 1,2 миллиона участников. В Москве было 150 тысяч участников, стало 14 тысяч — платные конкурсы сильно ограничены.
Я до сих пор не понимаю, почему бы не поднять цену вдвое — это всё равно транзакция уровня «бывает раз в год», и вряд ли там спрос настолько эластичен. На вырученные деньги можно было бы сделать нормальный сайт, например. Сейчас по запросу про Медвежонка всплывает в поиске наверху что угодно, кроме официального — потому что он до сих пор сделан по стандартам 95-го года, и весь контент заботливо упакован в PDF или XLS/DOC внутри RAR. Вот задачи, вот статистика, кстати. Я не понимаю, почему бы не сделать из этого игру-приложение типа викторины, вместо того, чтобы беречь вопросы до дня Х, когда за 2 часа все должны всё решить. Я не понимаю, почему методкомиссию так заботит читерство, если это игра. В общем, есть тысяча способов сделать всё лучше, и плохо, что такая замечательная фигня не развивается. Я не понимаю, почему нет работы с родителями: позиция сейчас заключается в том, что конкурс подносит зеркало, в котором можно увидеть своё развитие. Но на деле без объяснения решений получается, что некоторые уверены в своей правоте и создают волны негатива — вместо того, чтобы разобраться, что не нужно разбираться в арабском языке, собаках и чём-то ещё.
Да, конечно, родители часто думают, что если они не решили — это сверхвысокая сложность. А они не всегда могут решить задачи, которые легко решают дети — и потому что дети могут оказаться умнее, и потому что у них другие пути . «Если задача дурацкая, значит, автор дурак» — с этим тоже можно работать. Точнее, работать шире, потому что есть группа Вконтакте, где подробно разбирается любая задача по запросу. Проблема в том, что охват группы ВК и охват конкурса — это совершенно разные вещи.
С другой стороны, оргкомитет открывают задачи и решения после конкурса для использования в обучении. Многие из учителей используют эти задачи для уроков и дополнительных занятий. В школах, бывает, преподают русский язык скучно и сводят всё к выполнению тестов, то есть к заучиванию правил. А бывает, что хорошим учителям прямо остро не хватает таких маленьких произведений искусства, которыми можно считать задачи. И конкурс очень хорошо показывает, что даже орфографию можно хакнуть. Мне кажется, что методкомиссия нашла очень хороший формат того, как можно реально дать интерес к предмету — даже банально решая сборники прошлых лет.
В общем, к «Медвежонку» можно относиться по-разному, но я бы очень хотел, чтобы вы про него знали. Потому что он, как минимум, показывает другой подход к образованию и другой подход к тестированию.
Автор: Сергей Абдульманов
