Среди компаний веб-разработки принято мериться «показателями успешности». Кроме первичных признаков, вроде количества именитых клиентов и толщины портфолио, были придуманы и вторичные — рейтинги.
Со временем дошло до измерения фолловеров и лайков — стеб, воспринимаемый многими слишком серьезно. Однако есть и традиционные рейтинги «по делу», о которых все, кто в отрасли, знают.
Кстати, сегодня запускает голосование Tagline, один из самых крупных российских рейтингов студий веб-разработки и интернет-агентств.
В свете актуальности вопроса, небольшое исследование. По порядку:
Кто есть в рейтинговой сети Рунета?
Навскидку припоминается:
— Тэглайн. Проводится с 2005-го года. Один из самых влиятельных.
— Рейтинг Рунета (CMS Magazine). Проводится с 2009-го. Тоже популярный.
— 1С-Битрикс. Внутренний, для партнеров Битрикса, без комментариев.
— UMI.CMSАналогично, для UMI.
— NetCat. Аналогично, для NetCat.
— Рейтинг SEO-компаний (CMS Magazine).
— Рейтинг SEO News.
— Это только глобальные. Есть еще региональные, коих много больше. Можете полистать результаты поиска.
— Ruward. Самообъявленный «рейтинг рейтингов», сводный рейтинг из 52 других.
«Междусобойные» рейтинги коммерческих CMS в исследовании использовать не будем. Также не будем учитывать слишком специфичные рейтинги (например, для разработчиков flash-сайтов). Те, рейтинги, где около 20 участников — не репрезентативны, тоже не берем.
Итак, поехали.
Исследование
Сузим круг до рейтингов веб-разработчиков. Финальный список:
- Tagline;
- Рейтинг Рунета;
- Рейтинг Восточно-европейской гильдии веб-разработчиков;
- Рейтинг Wwwrating;
- Рейтинг BestWebDevs.
В основе любого рейтинга — его критерии. Ясно, что критерии для веб-студии должны отличаться от таковых для SEO-агентства. Это, к слову, первый камень в огород «сводных рейтингов», о чем позже.
Гипотеза: Показатели успешности для компаний с одинаковой сферой деятельности должны быть очень близкими для разных рейтингов. Следовательно — разброс мест должен быть несущественным.
Берем за основу верхнюю двадцатку «Рейтинга Рунета». Первая (и, в целом, ожидаемая новость) — только 15 компаний из 20 представлены более, чем в одном рейтинге. Это несколько искажает картину, но самое интересное впереди. Кликайте на графике.
Эффект такой, как будто в рейтинговую систему Рунета вбросили гранату. Слишком уж большой разброс мнений. Как вести себя заказчику, который впервые встал перед выбором подрядчика — вообще не понятно.
Давайте к причинам. То есть к критериям оценки.
Во-первых, три рейтинга из пяти выше означенных имеют закрытую систему оценки. То есть подвергать их какой-либо критике — физически невозможно, разве что указывать на эту самую закрытость.
Во-вторых, «прозрачная» система оценки Тэглайна и Рейтинга Рунета на деле не такая уж прозрачная. Подробная методология есть, например, на сайте первого.
Анализ
Но непрозрачность — это полбеды. Допустим, что можно довериться аналитическим отделам составителей рейтингов. И будем считать, что «выравнивающие» коэффициенты помогают создать нужную объективность.
Причина несостоятельности рейтингов номер два: их много. Если некоторые громко объявляют о себе в СМИ и привлекают по своим каналам как можно больше участников, то вторые дремлют на дне морском, как Великий Ктулху, а потом внезапно публикуют результаты. Принцип «кто успел — того и тапочки» в действии. Студия-подрядчик физически не может (да и не хочет) успеть везде. А разброс тем временем увеличивается.
Добровольность участия в рейтингах порождает неполноту информации. Неполнота порождает недостоверность общей картины. Недостоверность порождает заблуждение заказчика. Заблуждение ведет к Темной стороне.
Еще причина: стремление все объять. Зачастую узконаправленные рейтинги публикуются «по-тихому», а больше всего внимания (и сил пиарщиков) уходит на проталкивание «общих сводных рейтингов». За места в которых потом и разгорается битва. А по факту — это винегрет из подрядчиков совершенно разной специализации. Клиент идет, естественно, в самый раскрученный рейтинг — и получает искаженную картину.
Пожалуй, имеет место и такая причина, как фанатизм участников. Хотя, в то же время все понимают, что зная критерии можно «оптимизировать метрику». Да так, что вы проберетесь в топы. Только вот толку от этого будет — одно зашкаливающее ЧСВ и возросший поток потенциальных заказчиков. Которых может отрезвить уровень портфолио компании — он-то не вырос, пока вы занимались оптимизацией метрик.
Простые выводы
- Зависимость вероятности успешного завершения проекта от места в том или ином рейтинге — слабая.
- Рационально пользоваться только «узконаправленными» рейтингами с целью составить список подрядчиков, которым вы можете доверить разработку. И выбирать затем среди них. Любые совокупные рейтинги (веб-студий, интернет-агентств и дизайн-студий в куче) — не имеют ценности.
- Самые верные критерии выбора — это по-прежнему рекомендации коллег и уровень работ студии. О чем, кстати, как-то писал Рейтинг Рунета, подкрепляя своим же исследованием.
- Чем больше рейтингов — тем менее ценным становится участие в них. Чем меньше желающих участвовать — тем менее достоверны сами рейтинги.
Вот такие выводы. Предлагаю обсудить в комментариях.
Автор: zevvssibirix
