Даниэль Лурье, главный редактор DataArt.
Двадцать лет DataArt занимался разработкой IT-решений для клиентов из сферы финансов, здравоохранения, туризма и других серьезных индустрий. Своих собственных продуктов мы никогда не выпускали — опасались возможного конфликта интересов. Но недавно мы запустили собственную игровую платформу Skillotron. Все началось с того, что в DataArt появились две, на первый взгляд, не связанные между собой проблемы.
Первая — оценка профессионального уровня коллег. За последние десять лет мы выросли с 400 человек до 2500, и люди продолжают к нам приходить, DataArt уже работает в 10 странах и 20 городах по всему миру. Как у любой организации, у нас, конечно, есть система оценки квалификации при приеме на работу. Сложнее оценить тех, кто работает с нами не первый год и все время развивается. Отчасти для этого технологические сообщества внутри DataArt устраивают «селф-чеки» — добровольные экзамены или олимпиады, на которых каждый может себя адекватно оценить и понять, что еще ему надо подтянуть, в какую сторону развиваться. Процесс этот довольно трудоемкий — на придумывание задач, организацию «селф-чека» и проверку результатов уходило немало времени и сил самых опытных коллег. Разработчики задались вопросом, как упростить жизнь себе и остальным.
Вторая проблема заключалась в том, что приближалось 20-летие DataArt, и нужно было делать новый сайт. Мы хотели создать что-то нестандартное, что могло бы отличить его от других корпоративных сайтов и рассказать что-то о нас, например игру-тест, посвященную IT. Команда сайта решила обсудить идею с разработчиками. Оказалось, что они давно думали о чем-то похожем.
Идея на миллион часов
Разработчики хотели сделать тест, в основе которого лежало бы «дерево скиллов». Такая штука позволила бы оценивать не просто абстрактный уровень владения Java, но отдельно оценить, насколько человек знает Core libraries, отдельно — Ui libraries и так далее. Команда сайта думала о более легком жанре, казуальной игре — чтобы каждый посетитель мог потратить на нее пару минут, получить удовольствие и послать ссылку друзьям. В итоге разработчикам удалось доказать, что простой тест инженерам неинтересен, хотя они согласились, что тест должен быть не слишком серьезным.
Разработки первой публичной версии заняла полгода. Игру наверняка можно было бы сделать и быстрее, будь DataArt продуктовой компанией. Увы, основные силы у нас всегда уходят на клиентские проекты, поэтому собрать сильную команду и оградить ее от постоянных посягательств коммерческих проектов было практически невозможно.
Чтобы придумать формат игры, мы изучили похожие системы — от серьезных платформ для сертификации до приложений для подготовки к экзаменам в автошколе и изучения языков. В результате мы пришли к таким правилам. Каждая игровая сессия состоит из 10 вопросов по одной из технологий. В случае, если игрок отвечает правильно хотя бы на 8 из 10, он переходит на следующий уровень с более сложными задачами. За правильные ответы и при переходе на каждый следующий уровень начисляются очки, а в процессе игры участники получают бонусы.
На днях вышел релиз первой версии Skillotron. В ней — чуть больше тысячи вопросов, которые разбиты на 16 категорий и несколько десятков подкатегорий, от языков программирования до технологий проектного управления и истории IT.
Skillotron был создан как система, которую должно поддерживать сообщество — те, кому это нужно и интересно. Участники могут не только отвечать на чужие вопросы, но и задавать собственные. Они же модерируют весь контент на сайте. Количество и качество вопросов — в руках коммьюнити, а их сложность считает алгоритм.
В Skillotron уже сыграла примерно половина разработчиков DataArt, каждый в среднем по 4 раза. Возврат пользователей — 76%, а средняя продолжительность сессии — 9 минут 20 секунд, достаточно неплохой показатель.
Сторонних пользователей мы привлекаем в проект постепенно, без массированной рекламы. Мы будем смотреть на статистику, получать фидбэк, улучшать то, что нужно улучшить и двигаться дальше. Важно не мешать коммьюнити, нужно следовать за людьми. Главная цель первого этапа — отладить все механизмы, которые позволят конвертировать игроков в авторов вопросов. Они — самое ценное.
Что дальше
Как с любым проектом, построенным вокруг комьюнити, мы на самом деле не знаем, взлетит ли Skillotron, а если взлетит, то в какую сторону вырулит. Тем не менее, у нас уже есть идеи, как можно развивать платформу в дальнейшем.
Skillotron можно превратить в инструмент, который дает возможность не только оценить свой текущий уровень, но и повысить его — в случае неправильных ответов он может подсказывать, что стоит почитать, чтобы улучшить свои результаты. Мы подумываем использовать платформу для проведения удаленных собеседований: кандидат расшаривает экран и отвечает на вопросы, в прямом эфире комментируя свои решения. Skillotron может быть полезен для того, чтобы сопоставить запросы клиентов и наши оценки профессиональных навыков коллег — то есть чтобы, например, под middle developer и мы, и клиенты понимали одно и то же.
Сейчас Skillotron — это классический тест: на любой вопрос нужно выбрать правильные варианты ответов. В скором времени мы начнем добавлять вопросы, ответом на которые должен послужить код, написанный пользователем. Это код будет исполняться в контейнере и проверяться тестами. Такие задачки и сочинять интереснее, и отвечать на них сложнее.
В процессе роста и улучшений Skillotron важно не потерять принципы, на которых был построена платформа. Она должна расти и развиваться органически. Программный код мы пока держим при себе, но если все будет хорошо, то, вполне возможно, выложим его в open source.
Автор: DataArt
