Горящие серверы, катастрофическое падение сервисов, героическое спасение портала с помощью жены, оставшейся у компьютера. Так мог начинаться фантастический технотриллер, но на самом деле так начиналась история российского интернета, частью которого мы стали.
Сегодня в честь 18-летия компании мы впервые расскажем о реальной истории Mail.Ru Group. Впервые за годы жизни поделимся тем, что раньше было на уровне мифов и легенд даже внутри самой компании. Мы разговорили людей, проработавших в компании много лет и непосредственно участвовавших во всех событиях.
Владимир Габриелян, вице-президент, технический директор, руководитель бизнес-подразделения Поиск и e-commerce Mail.Ru Group
2001. Первый рабочий день
В первый рабочий день мне дали задание поставить на сервер операционную систему Solaris. Она для меня была довольно экзотической. Откровенно говоря, я видел ее впервые в жизни. Но выбора не было. Операционная система устанавливалась, потом перезагружалась и «говорила», что у нее не хватает каких-то драйверов. Это было мое первое задание, так что пойти домой я не решался. И ставил операционку трое суток, не выходя из офиса.
Дистрибутив Solaris в фирменной папочке мне дал начальник офисных админов: «Всегда с этого диска ставим — все работает». Я в отчаянии понимал, что работаю только первый день (сначала первый, потом второй, потом третий), а у меня совершенно ничего не получается. Сисадмином я был неплохим, у меня уже был опыт работы. И тут первая задача на новом месте, а справиться с ней я не могу.
Мне было около 20, начальник — старше лет на десять, взрослый очень, по моему мнению. Он ходил по офису с чашкой чая и звенел ложечкой. С чашкой он ходил всегда, мы по звуку ложечки определяли, где он сейчас находится. И на третий день, когда я минимум по десять раз перепробовал все способы установки Solaris, описанные в интернете, приходит ко мне он, звенит ложечкой, и по-отечески так спрашивает: «Ну, что, не получается?» Я говорю: «Слушай, я трое суток не уходил с работы». Он мне: «Ладно. Держи правильный дистрибутив». И протягивает диск.
Павлин у дата-центра
В 2001 году, когда в компании работали человек 40, я был сетевым администратором. Оборудования на тот момент было немного, около 150 серверов, но денег на их обслуживание и поддержку было крайне мало. Соответственно, когда что-то ломалось, мы сами это «что-то» и чинили.
Однажды мы с Димой Гришиным (CEO Mail.Ru Group) приехали на Красноказарменную улицу, где располагался первый и единственный на тот момент дата-центр в России, чтобы починить сломавшийся сервер. Наша возня с сервером затянулась — проработали мы до пяти утра. Вышли ранним утром из дата-центра на безлюдную улицу. Стоим, ждем проезжающую машину, чтобы с руки ее поймать. Я сначала отработал день, потом – всю ночь, уставший. И тут вижу, как улицу медленно переходит… павлин!
Москва, пять утра, ни одного человека на улице. Я курю, смотрю на этого павлина и про себя думаю: «Ну, трындец, переработал». Поворачиваюсь к Диме и вижу, что он тоже смотрит примерно в ту же сторону. Мы молчим. Как спросить у руководителя: «Видишь ли ты павлина?» А если он скажет «нет», что делать? Молчание тянулось где-то полторы минуты, потом Дима меня аккуратно спрашивает: «Ты тоже его видишь?» Я со вздохом облегчения отвечаю: «Да, тоже». Что там делал павлин в такой час, мы так и не узнали.
Офис на Пушечной улице
Самый живучий проект
Тогда в компании было всего 40 человек, поддерживать проекты (а их было 40–50) стало очень сложно, мы делали это практически из последних сил. И был у нас один заброшенный проект, которым никто не занимался и который работал бесперебойно. Что бы ни происходило, он как-то беспроблемно существовал. В определенный момент мы задались вопросом: «Как так? Куча проектов, периодически на каждом из них возникают проблемы, а этому хоть бы что». Изучая этот вопрос, мы зашли на сервер и увидели, что удаленно кто-то к нему подключен. Оказалось, что давно ушедший из компании разработчик много лет сам поддерживал проект, не в силах расстаться с ним.
Александр Горный, директор по информационным технологиям Mail.Ru Group
2001. Как я Афишу выключил
11 сентября 2001 — дата для нас ещё более памятная, чем для большинства: мы не только напряженно следили за событиями вокруг теракта, но и старались, чтобы и у наших пользователей была такая возможность. News.mail.ru, в то время news.list.ru, уже тогда был одним из крупнейших новостных ресурсов рунета. Но отдельного сервера ему ещё не полагалось, он работал на одном Pentium 3 с несколькими другими проектами типа «Афиши» и «Спорта».
Офис на Никольской улице
И вот происходит террористическая атака на Всемирный торговый центр в Нью-Йорке, пользователи, конечно, бегут в интернет за подробностями, а нам приходится обеспечивать работу сервиса при десятикратной нагрузке. Весь вечер мы занимались экстренными оптимизациями: сделали статической сначала главную страницу Mail.Ru, потом страницы с ключевыми новостями. В какой-то момент я решил выключить «Афишу», потому что она съедала ресурсы, а «Новости» в тот момент были явно важнее. Не проходит и получаса, как мне на мобильный телефон звонит менеджер «Афиши»: «Саша, у меня что-то проект не открывается». Как я мог ей ответить? Только так: «Это я его выключил».
Игорь Ермаков, руководитель подразделения Instant Messaging
2003. Рабочее место
Первые две недели в Mail.Ru Group я был в принципе не уверен, взяли меня на работу или нет. Мне дали задачу, но меня никто не спрашивал: «Что? Как? Где?» Я думал: «Блин, я работаю вообще здесь или нет?»
Разработчики тогда сидели в офисе на Пушечной. Только-только появились жидкокристаллические экраны, но они были не очень распространены и для компании тогда еще были жутко дорогими. Практически ни у кого не было такого, все сидели на ЭЛТ. Когда я пришел, меня спросили, какой монитор я хочу. Я сказал: «Конечно же, побольше». И два сисадмина посмотрели на меня, посмотрели друг на друга — и ничего не сказали, ухмыльнулись только. Я только потом понял, в чем суть. По стене проходил мощный силовой кабель, и от него шли такие наводки, что раздваивалась вся картинка в мониторе. И чем больше был монитор, тем больше изображение двоилось. Через пару дней я попросил себе монитор поменьше.
Театралы и программисты
Вровень с нашими окнами во внутреннем дворике на постаменте стояли лавочки. На этих лавочках летом загорали студентки Щепкинского училища. И было у нас два козырных рабочих места — оба прямо около окна. Через месяц или два, как я устроился на работу, меня посадили на одно из этих мест. И два человека, которые давно работали, страшно обиделись и пару дней со мной вообще не разговаривали.
А еще рядом с нашим офисом находился один из известнейших вегетарианских ресторанов «Джаганнат». Было особым шиком купить сосиску около метро и завалиться в ресторан. Ты мог просто прийти с бутербродом и стоять, смотреть. Но у посетителей и персонала это вызывало совершенно непередаваемые эмоции.
Серверные работы
Когда начинался сезон тополиного пуха, он забивал решеточки в радиаторах в серверных стойках. В этот период два сотрудника сидели и прочищали решетки, а третий — стоял со шлангом и поливал охлаждающие системы. В этот момент наши серверы горели в прямом смысле слова. В дата-центр было невозможно зайти: температура поднималась до 60 градусов. Админы заходили в туалет, мочили на себе одежду, забегали в серверную и через три–пять минут выходили оттуда абсолютно сухими. Мы выключали серверы, потому что иначе они могли просто физически сгореть. Естественно, нужно было какое-то решение. Им стали фарш-машины Габриеляна.
Фарш-машины
Когда Володя Габриелян строил дата-центр М100, там была применена интересная система экстренного снижения температуры. Идея в том, что с одной стороны здания открывались металлические жалюзи, а с другой стороны запускались огромные вентиляторы. Они были абсолютно безопасны, но назывались «фарш-машины Габриеляна», потому что выглядели очень страшно. Казалось, что корову могут за секунду в фарш превратить.
Однажды туда приехала большая делегация — Дима Гришин, инвесторы, акционеры. Им показывают красивейший дата-центр, в котором настроена идентификация по радужной оболочке, перемещаться можно только в бахилах. По плану мы должны были включить фарш-машины, демонстрируя уникальную (ни у кого в России на тот момент ее не было) систему охлаждения, продувающую дата-центр приблизительно за полминуты, если не справляются нормальные холодильные системы.
Дима Гришин проводит экскурсию, показывает фарш-машины. Володя Габриелян дает сигнал — и запускается фарш-машина. Раздается гул. Мы видим, как из-под пола начинает подниматься облако густой пыли. За полминуты система реально создала вакуум и начала засасывать воздух из-под пола. Потом выяснилось, что сисадмины так переволновались, что забыли открыть металлические жалюзи, поэтому воздуха не хватило на продувку, и он потянулся из-под пола.
К слову, эта система никогда не была запущена в боевом режиме. Система охлаждения была рассчитана правильно, и всегда все работает штатно.
Вынос операционной системы
В Unix есть команды, с помощью которых можно удалить большой объем данных без особых вопросов со стороны операционной системы. Однажды Саша Горный ошибся в этой команде. Есть некий ключ, который можно задать — и операционная система тебя не будет переспрашивать, а просто сделает то, что ты попросишь. Мы привыкли, что, когда ты удаляешь что-нибудь, система спрашивает тебя «Удалить или нет?», а тут прямо хардкорная команда в Unix и ключ, который означает «Ничего не спрашивать. Старайся удалить как можно больше данных, попавших в указанный шаблон».
Горный ошибся и запустил эту команду по корневому разделу. Я помню, как мы сидим совершенно спокойно, и вдруг Володя Габриелян подскакивает на своем месте и кричит: «Она у меня уходит! Она прямо из-под рук у меня уходит! Вот прямо только что была — и нет ее!» Мы все на него смотрим: «Вова, что происходит?» — и видим, как рядом сидящий Саша начинает суетиться и говорит: «Кажется, это я». Да, он просто ошибся и разнес нам тачку, через которую мы заходили на все серверы Mail.Ru. И это нас на некоторое время парализовало.
2005/2006. Как мы работали на корпоративе
Игорь Ермаков, Александр Горный, Владимир Габриелян, 2003 год
У нас был второй или третий летний корпоратив в истории компании. Тогда только появилась возможность выходить с телефона в интернет через GPRS и модемы, которые позволяли делать это на безумно медленной скорости.
Сисадмин Михалыч не очень любил корпоративы. Он сказал, что продолжит работать, ни в коем случае не поедет. Мы его оставили одного, и он заскучал. А кто-то накоммитил в код Mail.Ru перед отъездом. И Михалыч решил: «А чего бы не обновить Mail.Ru, пока все отдыхают?» Ну и накатывает он, все падает и ломается. Мы узнали о случившемся в автобусе. Поднимали Mail.Ru с помощью жены одного из наших сотрудников: он ей отдавал текстовые команды, а она дома сидела за компьютером.
Наталья Троицкая, event-директор Mail.Ru Group
2002/2003.
В 2002 году мы начали проводить видеочаты прямо в офисе. Я была модератором, встречала звезд. Они приходили к нам в офис, садились в переговорку, а так как вопросов от пользователей было совсем мало (не как сейчас, конечно), мы задавали дежурные вопросы из заготовленного списка на все случаи жизни: «Как вы относитесь к хомячкам? А вы любите хомячков?»
Борис Гребенщиков в офисе Mail.Ru, 2002 год
Тогда же Ася Лабунская, наш event-менеджер, привела в офис на видеочат Жириновского. Прошло все как обычно, и только Владимир Вольфович собрался уходить, как предприимчивая Ася, не задумываясь, остановила его и попросила поздравить ее с грядущей свадьбой. И на этом не остановилась: Ася записала целое видео и потом его показывала родственникам на свадебном вечере. К счастью, запись сохранилась.
В 2003 году у нас был день рождения, который совпал с Хэллоуином. Тогда мы все делали сами, своими руками. Директор по спецпроектам поехал на рынок, купил тыквы, привез их в офис. Мы начали сами эти тыквы вырезать. И оставили их на ночь как декорации. Утром приходим — половина тыкв съедена, в оставшихся сидят крысы.
Про офис на Пушечной уже многое рассказали, но я добавлю еще. Там было очень жарко, потому что здание старое, и первое время нам не разрешали устанавливать кондиционеры. Спасались очень просто: рядом с рабочим местом ставили ведро с водой и засовывали туда ноги.
Любовь Шокина, директор по персоналу портального направления
2009—2013
Однажды я остановила самолет в Шереметьево. Мы вылетали на какую-то конференцию. С нами должен был лететь Роман Кохановский, но он попал в пробку. Нужно было решать вопрос: без Ромы лететь не было смысла. Сначала я подбежала к представителям «Аэрофлота», они сказали: «Мы ничем вам не можем помочь. Найдите главного, кто занимается регистрацией». Я, естественно, нашла этого человека, ходила около него и не давала закрыть регистрацию. Меня пытались посадить в самолет, но я ждала Рому Кохановского и никак не могла уйти. Тянула время сколько могла. В итоге регистрацию задержали на полчаса: ровно столько Рома добирался до аэропорта.
Лифты были маленькие и старые, и постоянно застревали. Сотрудники на лифтах ездили в столовую, которая располагалась на минус первом этаже. И когда там застревало несколько человек, включая Борю Никифорова, он кричал: «Зачем вы все наелись так, что лифт не может вас поднять? Зачем было столько есть, и зачем вы все сюда набились?» Сотрудники сидели взаперти около часа, потому что в бизнес-центре не было человека, обслуживающего лифты, и приходилось ждать подмогу.
Чтобы припарковать машину, нужно было приехать на работу в восемь утра, иначе парковочное место было не найти. Все мои царапины на машине — из-за этой стихийной парковки. Однажды Коля Кондратьев (у него был здоровенный джип) припарковался на чьей-то машине — не заметил, как сел задним бампером на другую машину.
Когда стало совсем плохо, мы сняли огромный ангар, который находился в 15 минутах ходьбы от офиса, но выглядел он как в фильме ужасов.
Проект Hi-Tech Mail.Ru в «Авионе» сидел на минус первом этаже, рядом со столовой. И там у них не было специального места для тестов. В какой-то момент я захожу к ним в отдел и вижу, как Боря Никифоров лежит на полу и машет руками. Оказалось, это была очередная игра на Nintendo Wii, и они таким образом ее тестировали.
Когда к ним приходили девушки, у них спрашивали: «Не хотите поиграть в Wii?» — «Хотим». И тогда им предлагали задание, где нужно было лежать на полу и размахивать руками.
Заключение
Мы не нашли, куда в тексте вставить эти фотографии, но вы только посмотрите! Ноябрь 2004 года. Дмитрий Гришин (CEO Mail.Ru Group) и Анна Артамонова (вице-президент, руководитель бизнес-подразделения Почта и Портал) награждают 20-миллионного пользователя Mail.Ru. Дарят ей машину.
И летний корпоратив 2005 года. Дмитрий Гришин и Анна Артамонова на квадроциклах на вечеринке в гавайском стиле.
А теперь мы переехали в новый офис, 27-этажную башню (с пятиэтажной подземной парковкой), у нас нет надоедливых соседей, а вопрос еды решают собственный ресторан, Starbucks в офисе, фреш-бар и тысячи фруктов и печенек.
У нас отличные дата-центры, и никто больше не обливается водой, чтобы не сгореть рядом с сервером. И порой прямо в офис нам привозят бассейн с шариками, чтобы больше нечего было желать.
Борис Добродеев, Антон Мальгинов, Дмитрий Гришин, Анна Артамонова и Владимир Габриелян тестируют бассейн с шариками
Ностальгируем ли мы по историям прошлого? А вы сами как думаете? :)
Автор: Mail.Ru Group
