Об ЕГЭ немало копий сломано. При этом, правда, на Хабре в основном был разбор комичных или некорректных заданий и только один взгляд изнутри глазами админа, к которому наблюдался повышенный интерес, что неудивительно. Поскольку наша компания в этом проекте давно, нам тоже есть что рассказать. ABBYY принимала участие:
• в проектировании архитектуры обработки результатов экзамена с использованием продукта ABBYY FormReader Developer Edition (теперь это называется ABBYY FlexiCapture Engine),
• в обучении региональных специалистов,
• во внедрении,
• в технической поддержке.
Итак, продолжим смотреть на ЕГЭ изнутри.
История
История ЕГЭ начинается в 1999 году, когда Центром стратегических разработок была поставлена задача проанализировать возможность проведения в России единого государственного экзамена. Основные требования заключались в том, что экзамен должен был стать массовым, независимым, объективным, сравнимым.
Алексей Калинин, ведущий управляющий по корпоративным проектам ABBYY Россия, отмечает, что планирование было довольно грамотным: основные сценарии и подавляющая часть исключительных была описана с самого начала, что помогло избежать дополнительной путаницы в и без того непростом проекте. Но и тут не обошлось без разнообразных проблем, о которых (и не только о них) можно прочитать ниже.
В 2001 году к тестированию ЕГЭ подключились 5 регионов и 30 тысяч выпускников. На тот момент ЕГЭ – ещё не совсем ЕГЭ, а по факту «централизованное тестирование», проводимое Федеральным центром тестирования (ФТЦ), потому что для true way-ЕГЭ ещё не закуплено железо, софт. Есть только хитрый план :)
В целом схема изначально выглядела довольно просто: оператор следит за сканером на станции сканирования, сканы передаются на станцию распознавания, где происходит догадайтесь что. После окончания этого таинственного автоматического процесса результат передаётся на станцию верификации, где оператор имеет возможность сравнить результат распознавания с оригиналом (в электронном виде, конечно).
В 2002 регионов было уже 16, набралось в них 300 000 участников. И это был уже настоящий ЕГЭ. Бланки, поддающиеся автоматической обработке, обрабатывались именно автоматически, но не без проблем: цепочка «сканирование-распознавание-верификация» была устроена так, что при отвлечении человека-верификатора производительность всей цепочки падала. Зачем ему отвлекаться? Дело в том, что заполнение бланков довольно жёстко формализовано. Поэтому, когда обнаруживается какая-нибудь отметка «не по уставу», например, штрих-код на одном из бланков закрашен (заскучал ученик, что поделаешь), верификатор обязан привлечь специалистов, которые проблему разрулят. При этом такие действия часто могли сопровождаться сбором комиссии и заполнением актов. В том же 2002 всплывает ещё одна проблема со второй частью бланков, которую могут решить только эксперты. Заключалась она в том, что не было реализовано автоматическое распределение работ между экспертами, проверяющими работы, и, как следствие, возникал некоторый хаос.
В 2003 участие в едином экзамене приняло уже большинство выпускников. Для устранения проблем реализованы механизмы автоматического распределения заданий второй части между экспертами (для них автоматически печатается область с ответами бланков «C»), а также введена в схему «станция старшего верификатора». На ней как раз работали те специалисты, к которым раньше должен был «ходить ножками» обычный верификатор. Теперь в случае проблем рядовой верификатор просто перенаправлял задачу старшему и «конвейер» не замедлялся.
2004. Внезапно стало понятно, что зря печатается огромное количество пустых документов, ведь к заполнению бланка с вопросами группы «C» даже не приступают 50-80% учеников. Но тут есть проблема: по правилам пустая страница обязательно перечёркивается буквой «Z» по окончании экзамена, чтобы нельзя было дописать чего-нибудь позже. Поэтому систему научили распознавать перечёркнутые таким образом страницы, и они стали определяться как пустые. Количество печатаемых материалов уменьшилось в разы.
Казалось бы, леса спасены, конвейер налажен – чего ещё желать?
К 2007 стала наблюдаться некоторая небрежность со стороны верификаторов – они принимали участие в проекте уже не первый год, привыкли и расслабились. Стало понятно, что необходимо стимулировать людей для возвращения к нормальному состоянию – состоянию крайней внимательности, ведь дело крайне серьёзное – на кону буквально будущее детей. Тогда в систему был добавлен механизм статистической оценки вероятности ошибки. Если у поля встречалось редкое значение, бланк попадал на станцию дополнительного контроля верификации. Оператор должен был убедиться, что верификаторы всё правильно проверили и отпустить бланк с миром дальше или сделать «а-та-та» верификатору и вернуть документ на этап верификации. Наличие такого контроля вернуло уровень качества верификации.
Итак, схема обработки документов обрела свой финальный вид
В 2008 ЕГЭ «накрывает» всю страну. Для того чтобы дотянуться до труднодоступных районов, бланки ЕГЭ отправляются заранее, а задания передаются в зашифрованном виде. За час до экзамена передаются пароли. После экзамена заполненные бланки сканируются на любом сканере и отправляются в региональный центр обработки информации. Процесс спроектирован так, что квалификация оператора может быть невысокая («учитель физкультуры»), т.е. с работой может справиться человек, практически не знакомый с компьютером.
Инструменты
Такая длительность проекта естественным образом сказалась на инструментах: начинали с VB, MS SQL 2000, продолжали на C#, MS SQL 2008. C++ тоже использовался – для сложных математических операций. «Операционки»: Windows XP, 2000. Скажете «старьё»? Вообще, даже сейчас, когда им уже столько лет, надо очень глубоко задуматься, прежде чем перетянуть всё под современную Windows 7.
Обучение
Обучение технических специалистов проходило с участием компании ABBYY. Из каждого региона 2 человека приезжали на 3-дневные курсы, где учились настраивать инфраструктуру, а также пробовали свои силы в роли операторов каждой из станций, чтобы задать вопросы в случае их возникновения. Уезжали эти специалисты с дистрибутивом приложения, скриптами автонастройки и пошаговыми инструкциями на каждое рабочее место. Практика показала, что такой формат обучения достаточно эффективен, поэтому он остаётся таким и сегодня.
Саппорт
В техподдержке кроме стандартных средств (e-mail, helpdesk) был использован закрытый форум, на котором сотрудники, принимающие участие в организации ЕГЭ, могли посоветоваться друг с другом. Форум оказался очень полезным, поскольку подавляющее большинство вопросов появляется, конечно, в период проведения экзаменов, т.е. за 5 дней вопросы должны успеть и возникнуть и разрешиться.
Что получилось
По нашим данным, среди тех заявлений на апелляцию, которые были удовлетворены в 2006 году, 0.3% удовлетворены «по техническим причинам». Много это или мало? Вот здесь говорится, что подают апелляции <2% выпускников, а удовлетворяют примерно каждую третью из них, т.е. около 0.6% от общего количества. Т.е. получается, что технические ошибки обнаруживаются в 0.0018% работ.
Автор:
