Современное техническое собеседование — это обряд посвящения для инженеров-программистов, который (надеюсь!) предшествует получению отличной работы. Но также и огромный источник стресса, бесконечных вопросов кандидатам. Простой поиск «Как подготовиться к техническому собеседованию» выдаёт миллионы постов на Medium, в блогах по обучению программированию, обсуждений Quora и даже целые книги.
Несмотря на всю эту информацию, люди по-прежнему изо всех сил пытаются узнать, как вести себя на интервью. В предыдущей статье мы обнаружили, что на удивление большое количество пользователей interviewing.io недооценивают свои способности, что повышает вероятность негативного исхода собеседования. Сейчас мы получили гораздо больше данных (более 10 000 интервью с реальными инженерами-программистами), так что хотим копнуть глубже: что заставляет кандидатов занижать самооценку?
Из научных исследований известны некоторые общие факты, которые мешают правильной самооценке: так, люди не всегда хорошо оценивают или даже помнят свою производительность в сложных когнитивных задачах, таких как написание кода 1. Технические интервью особенно трудно оценить, если кандидаты не имеют большого опыта работы с вопросами без одного правильного ответа. Поскольку многие компании не обсуждают с кандидатами результаты после собеседования, многие так никогда и не поймут, что они сделали хорошо или что могло быть лучше 2, 3. В конце концов, снятие занавесы тайны вокруг собеседований во всей отрасли стало одной из главных причин создания interviewing.io!
До сих пор было мало данных, как люди чувствуют себя после реальных интервью в разных IT-компаниях. Поэтому мы собрали эти данные в большом масштабе, что позволило проверить интересные теории о разработчиках и их уверенности в своих навыках программирования.
Один из главных факторов, который нас интересовал — синдром самозванца. Известно, что от него страдают многие программисты 4. Многие задаются вопросом, действительно ли они соответствуют по уровню коллегам, а убедительные доказательства своей компетентности считают случайностью. Синдром самозванца заставляет задуматься, в какой мере можно полагаться на положительные отзывы о производительности и сколько возможностей исходят из собственных усилий кандидата, по сравнению с удачей. Особый интерес для нас представляло то, насколько страдают этим синдромом женщины. Существует много исследований, свидетельствующих о том, что кандидаты из недопредставленных слоёв населения в большей степени испытывают дефицит чувства принадлежности к сообществу, что питает синдром самозванца 5, и это может искажать оценку собственных способностей на интервью.
Организация исследования
Interviewing.io — платформа, где люди анонимно проходят технические собеседования, и если всё хорошо, получают работу в ведущих компаниях. Мы запустили проект, потому что резюме не даёт полной картины и потому что мы считаем, что любой, независимо от резюме, должен иметь возможность заявить о себе.
Когда интервьюер и кандидат совпадают, они встречаются в совместной среде кодирования с голосовой связью, текстовым чатом, «доской» для письма — и погружаются в техническую задачу (можете посмотреть этот процесс в действии на странице с записями интервью). После каждого собеседования они оставляют друг другу отзывы, и каждая сторона видит, что сказал о нём другой человек, как только оба отправят отзывы.
Вот пример формы обратной связи интервьюера:
Форма обратной связи для интервьюеров
Сразу после собеседования кандидаты оценивают по той же шкале от 1 до 4, насколько хорошо, по их мнению, они справились:
Форма обратной связи для кандидатов
Для этой статьи мы рассмотрели более 10 тыс. технических интервью, проведённых настоящими инженерами-программистами из ведущих компаний. В ходе каждого собеседования интервьюер оценивал кандидата по его способности решать проблемы, техническим способностям и навыкам общения, а также по тому, достоин ли кандидат перехода в следующий раунд. Это даёт нам показатель, насколько отличается самооценка кандидатов от рейтинга, который фактически им даёт интервьюер, и в какую сторону. Другими словами, насколько искажена самооценка кандидата по сравнению с его истинными качествами?
Изначально у нас были некоторые предположения, что может повлиять на результат:
- Пол. Будет ли женщинам сложнее оценить свои способности программирования, чем мужчинам?
- Раньше сам проводил собеседования. Кажется разумным, что побывав на другой стороне, вы продемонстрируете более точную самооценку на собеседовании.
- Работал в топ-компании. Аналогично предыдущему пункту.
- Показывал отличный результат на собеседованиях — люди, которые показывают лучший результат в целом, могут иметь больше уверенности и осведомлённости о том, когда они всё делают правильно (или неправильно!).
- Проживание в Bay Area или нет. Поскольку IT-компании по-прежнему географически сосредоточены в районе Залива, мы сочли, что люди, которые живут в местности с более насыщенной инженерной культурой, лучше знакомы с профессиональными нормами собеседований.
- Качество вопросов и квалификация интервьюера непосредственно на собеседовании. Предположительно, лучший интервьюер лучше умеет общаться, а бестолковый интервьюер может запутать самооценку кандидата. Мы также рассматриваем, было ли это учебное интервью или на конкретную должность.
- Для некоторых кандидатов, мы могли также посмотреть на показатели их личного бренда в отрасли, такое как количество фоловеров на GitHub и в Twitter. Может, люди с сильным влиянием в интернете более уверены в себе, когда проходят собеседование?
Что мы обнаружили?
Женщины оценивают свои технические способности точно так же, как и мужчины
Вопреки ожиданиям в отношении пола и уверенности в себе, мы не обнаружили достоверной статистически значимой гендерной разницы. Сначала казалось, что женщины-кандидаты чаще недооценивают свои результаты, но когда мы нормализовали результат по другим переменным, таким как опыт и технические способности, оказалось, что ключевым отличием является опыт. Более опытные инженеры более точно оценивают результаты своего собеседования, а мужчины в среднем более опытны. Однако опытные инженеры-женщины точно так же точны в оценке своих технических способностей.
Основываясь на предыдущих исследованиях, мы предположили, что синдром самозванца и больший дефицит чувства принадлежности к IT-сообществу могут привести к тому, что кандидаты-женщины будут занижать свою оценку на собеседовании, но мы не обнаружили такой закономерности 6. Наш вывод перекликается с исследовательским проектом Стэнфордского института гендерных исследований Клеймана, в котором приняли участие 1795 технических работников среднего звена из высокотехнологичных компаний. Они обнаружили, что женщины в IT не обязательно менее точны при оценке собственных способностей, но сильно отличаются от мужчин в своих представления о том, что требуется для успеха (например, длинный рабочий день и принятие риска). Другими словами, женщины в IT могут не сомневаться в собственных способностях, но иначе представляют, чего от них ждут. И опрос Harvard Business Review, в котором более тысячи профессионалов спрашивали о своих решениях при приёме на работу, также подтверждает этот момент. Результаты подчёркивают, что гендерные различия в процессе оценки кандидата больше исходят из разных ожиданий того, как рассматриваются процессы вроде собеседований.
Тем не менее, мы нашли одно интересное отличие: женщины проходят меньше тренировочных интервью, чем мужчины. Разница небольшая, но статистически значимая, и она возвращает нас к предыдущему выводу, что после плохого собеседования женщины покидают interviewing.io примерно в 7 раз чаще, чем мужчины.
Но в той же предыдущей статье мы также обнаружили, что маскировка голосов по полу не повлияла на результаты интервью. Весь этот кластер результатов подтверждает то, что мы подозревали, и то, что подтверждают специалисты, проводящие углубленные исследования гендерной разницы в IT: всё сложно. Отсутствие у женщин настойчивости в интервью не может быть объяснено только синдромом самозванца и занижением собственных способностей. Но по-прежнему вероятно, что они более серьёзно воспринимают отрицательную обратную связь и более склонны делать разные предположения и выводы после собеседования.
На диаграмме ниже показано распределение расстояния точности самооценки для женщин и для мужчин-кандидатов на нашей платформе (ноль указывает на рейтинг, который соответствует баллу интервьюера, в то время как отрицательные значения указывают на заниженный балл, а положительные значения указывают на завышенный балл). Две группы выглядят почти одинаково:
Что ещё имеет значение?
Ещё один сюрприз: опыт интервьюера не помогает. Даже бывшие интервьюеры, похоже, не демонстрируют из-за этого более точной самооценки. Личный бренд тоже не даёт эффекта. Люди с бóльшим числом фоловеров на GitHub не оказались более точными, чем люди с несколькими фоловерами. Рейтинг интервьюера также не имеет значения (т.е. насколько хорошо интервьюера оценивали другие кандидаты), хотя, для справедливости, интервьюеры обычно оцениваются довольно высоко на сайте.
Итак, что же стало статистически значимым стимулом для точных суждений об эффективности интервью? В основном, опыт
Опытные специалисты лучше понимают, насколько хорошо они прошли собеседование, по сравнению с инженерами в начале своей карьеры 7. И кажется, что дело не только в том, что лучшие навыки программирования позволяют лучше оценить свою эффективность; хотя здесь есть небольшая корреляция: у инженеров, которые более точно оценивают свою эффективность, действительно более высокий уровень программирования. Но если посмотреть на начинающих программистов, то даже лучшие из них зачастую недооценивают свои навыки 8.
Наши данные отражают тенденцию, наблюдаемую в опросе разработчиков Stack Overflow 2018. Они задали респондентам несколько вопросов о самоуверенности и конкуренции с другими разработчиками и отметили, что более опытные инженеры чувствуют себя более конкурентоспособными и более уверенными 9. Это неудивительно: в конце концов, опыт коррелирует с уровнем квалификации, а высококвалифицированные люди, вероятно, будут более уверены в себе. Но наш анализ позволил нормализовать эффективность интервью и навыки программирования по карьерным группам — и мы по-прежнему обнаружили, что опытные инженеры лучше предсказывают свои результаты интервью, независимо от квалификации и реального результата собеседования. Наверное, тут сказывается несколько факторов: опытные инженеры уже проходили собеседования, сами их проводили, и имеют более сильное чувство принадлежности к сообществу, что помогает бороться с синдромом самозванца.
Похоже, инсайдерские знания и контекст тоже помогают: жители района Bay Area и сотрудники топ-компаний делают более точную оценку. Как и опыт, знание контекста индустрии позволяет более адекватно оценивать ситуацию. Мы обнаружили небольшую, но статистически значимую разницу от таких факторов как проживание в районе Залива и работа в ведущей компании. Тем не менее, бонус от работы в ведущей компании, по-видимому, в основном соответствует бонусу от общих технических навыков: нахождение в топ-компании по сути является прокси-параметром, указывающим на более опытного инженера с более продвинутыми навыками.
Наконец, по мере улучшения результатов на собеседованиях и перехода к реальным собеседованиям в компаниях вы улучшаете точность самооценки. Люди демонстрируют более точную самооценку в реальных интервью, по сравнению с тренировочными, а их общий рейтинг на сайте также коррелирует с точностью самооценки: interviewing.io вычисляет для пользователей общий рейтинг, основанный на их эффективности во всех интервью и взвешенный по отношению к более поздним показателям. Люди в топ 25% по рейтингу с большей вероятностью точны в оценке своих результатов на собеседовании.
Как люди в целом оценивают свою эффективность на собеседовании? Мы изучали это раньше, примерно на тысяче интервью, и теперь с увеличением выборки в десять раз выводы те же. Кандидаты точно оценивают свой результат только в 46% собеседований, недооценивают себя в 35% (а в остальных 19% завышают результат). Тем не менее, обычно кандидаты примерно угадывают: не бывает, что люди с четырьмя звёздами всегда оценивают себя в одну 10. Самооценка статистически значимо прогнозирует фактический результат собеседования (и положительно коррелирует с ней), но в этих отношениях много шума.
Значение
Точное суждение о вашем результате собеседования является конкретным навыком, который приходит с опытом и знанием IT-отрасли. Но оказалось, что многие предположения, которые мы делали о точности оценки, не выдержали критики: женщины-инженеры имеют такое же точное представление о своих навыках, как и мужчины, а инженеры, которые провели больше собеседований или хорошо представлены на GitHub, не намного лучше оценивают свой результат.
Что это значит для отрасли в целом? Во-первых, синдром самозванца, похоже, является мрачным монстром, который атакует инженеров любого пола, любой квалификации, независимо от их известности и места жительства. Опыт помогает немного смягчить боль, но синдром самозванца влияет на всех, независимо от того, кто они и откуда. Так что, возможно, пришло время для более доброй, более чуткой культуры собеседований. Культуры, которая добрее ко всем. Хотя отдельные группы, менее опытные в технических интервью, больше всего страдают от недостатков процедуры собеседований, никто не застрахован от неуверенности в себе.
Ранее мы обсуждали качества хорошего интервьюера, и эмпатия играет непропорционально большую роль. И мы увидели, что для предотвращения потери кандидатов действительно важно предоставлять немедленную обратную связь после собеседования. Итак, независимо от того, движет вами доброта и принципы либо холодный, жёсткий прагматизм, немного больше доброты и понимания по отношению к кандидатам не помешают.
Примечания
1. Cамооценка изучалась в ряде областей и часто использовалась для оценки степени обучения. Одним важным критическим замечанием является то, что на неё сильно влияет мотивация и эмоциональное состояние людей во время опроса. — Ситцманн, Эли, Браун, Бауэр. (2010). Самооценка знаний: когнитивное обучение или аффективное измерение?.. Academy of Management Learning & Education, 9(2), 169-191. ↑
2. Разработка хорошего технического собеседования — непростая задача для интервьюера. Неофициальное обсуждение этой темы см. здесь. ↑
3. Рассуждения о самооценке на интервью. ↑
4. Например, эта статья и эта. ↑
5. Некоторая дополнительная литература по исследованиям в области общественных наук:
- Гуд, Раттан, Двек. (2012). Почему женщины уходят? Чувство принадлежности и представительство женщин в математике. Journal of personality and social psychology, 102(4), 700.
- Мастер, Черьян, Мельцофф. (2016). Принадлежность к IT: стереотипы подрывают интерес и чувство причастности девочек к информатике. Journal of Educational Psychology, 108(3), 424. ↑
6. Одной проблемой для нашего набора данных является не слишком большая выборка опытных женщин-инженеров: это соответствует реальной демографии IT-индустрии, но также означает возможный перекос в статистических результатах при оценке межгрупповых различий. Мы хотим продолжить сбор статистики с женщинами, чтобы полностью изучить тему. ↑
7. Эти эффекты и предыдущее отсутствие корреляции изучены в линейной смешанной модели. У всех значимых результатов для индивидуальных эффектов p<0,05. ↑
8. У опытных инженеров среднее отклонение −0,14; у джуниоров −0,22, у выпускников −0,25. ↑
10. Ещё один недостаток нашего набора данных заключается в том, что есть максимальная и минимальная оценки: например, при получении реальной оценки 4 люди никак не могут себя переоценить, потому что уже находятся на вершине шкалы. Мы корректировали это несколькими способами: путём исключения людей с максимальными и минимальными результатами и повторного анализа на среднем подмножестве, а также путём разделения на точные или неточные. Результаты не изменились. ↑
Автор: m1rko
