Рубрика «высокая производительность» - 56

Ceph — это object storage, призванный помочь построить отказоустойчивый кластер. И все-таки отказы случаются. Все, кто работает с Ceph, знают легенду о CloudMouse или Росреестре. К сожалению, делиться отрицательным опытом у нас не принято, причины провалов чаще всего замалчивают, и не дают будущим поколениям научиться на чужих ошибках.

Что ж, настроим тестовый, но близкий к реальному кластер и разберем катастрофу по косточкам. Измерим все просадки производительности, найдем утечки памяти, разберем процесс восстановления обслуживания. И все это под руководством Артемия Капитулы, который потратив почти год на изучение подводных камней, заставил при отказе производительность кластера не падать в ноль, и latency не подскакивать до неприличных значений. И получил красный график, который ну сильно лучше.
Ceph. Анатомия катастрофы - 1

Далее вы найдете видео и текстовую версию одного из лучших докладов DevOpsConf Russia 2018.

Читать полностью »

Как перестать стремиться к совершенству и достичь максимальной продуктивности - 1

Мы живем в эпоху, когда все вокруг помешаны на достижениях, и нормой считается выставлять их напоказ (да-да, я говорю о социальных сетях).

Почти все достижения каждого из нас постоянно отражаются на экранах смартфонов, поэтому вполне очевидно, что совершенство — это новая мода, и чтобы добиться успеха в современной сверхконкурентной культуре, нужно быть «совершенным».

И если вы соглашаетесь с мыслью о том, что совершенство — обязательное условие успеха, то вы не одиноки: перфекционизм захватывает все больше умов. Исследования показывают, что распространенность перфекционистских тенденций за последние три десятилетия несколько раз повышалась значительными скачками.

Да, общество уделяет совершенству больше внимания, однако это не означает, что люди при этом успевают больше. «Совершенство» и «продуктивность» — это совсем не одно и то же. Может показаться, что перфекционизм — ключ к тому, чтобы достичь больше и успевать больше, однако в действительности перфекционизм контрпродуктивен. Вы верно поняли: дотошность вам скорее вредит, чем помогает.

Мы поговорили с двумя психологами — Лаурой Хэмилл (трудовой психолог и главный научный сотрудник компании Limeade, занимающейся вовлеченностью персонала) и Эрин Бейкер (социальный психолог и тренер по лидерству) — о том, как именно перфекционизм снижает производительность, почему «сделанная» работа всегда лучше, чем «безупречная», и как перестать стремиться к безупречности и при этом резко повысить свою продуктивность.

Переведено в Alconost
Читать полностью »

На национальном суперкомпьютером форуме НСКФ-2018, проходящим в эти дни в Переславле — Залесском, компания Т-Платформы в лице Александра Мурашёва, представила план по захвату вселенной стратегию развития бизнеса компании на ближайшие годы, в том числе и её дочерней компании Байкал Электроникс. Видео с презентацией доступно по ссылке.

Компания Байкал Электроникс планирует выпустить на рынок линейку процессоров.

imageЧитать полностью »

В начале месяца в AMD рассказали о Zen 2. Первые чипы ожидаются уже в 2019. Рассказываем об особенностях архитектуры и о том, что она даст в контексте AMD vs Intel.

Что нового: стали известны подробности о реализации новой архитектуры Zen 2 - 1Читать полностью »

Использование ClickHouse в VK, или Зачем мы написали KittenHouse - 1 В начале года мы решили научиться хранить и читать отладочные логи ВКонтакте более эффективно, чем раньше. Отладочные логи — это, к примеру, логи конвертации видео (в основном вывод команды ffmpeg и список шагов по предварительной обработке файлов), которые иногда бывают нам нужны лишь спустя 2-3 месяца после обработки проблемного файла.

На тот момент у нас было 2 способа хранения и обработки логов — наш собственный logs engine и rsyslog, которые мы использовали параллельно. Стали рассматривать другие варианты и поняли, что нам вполне подходит ClickHouse от Яндекса — решили его внедрять.

В этой статье я расскажу о том, как мы начали использовать ClickHouse ВКонтакте, на какие грабли при этом наступили, и что такое KittenHouse и LightHouse.
Читать полностью »

Производительность PHP: планируем, профилируем, оптимизируем - 1

Привет! Два года назад мы писали о том, как перешли на PHP 7.0 и сэкономили миллион долларов. На нашем профиле нагрузки новая версия оказалась в два раза более эффективной по использованию CPU: ту нагрузку, которую раньше у нас обслуживали ~600 серверов, после перехода начали обслуживать ~300. В результате на протяжении двух лет у нас был запас мощностей.

Но Badoo растёт. Количество активных пользователей постоянно увеличивается. Мы совершенствуемся и развиваем нашу функциональность, благодаря чему пользователи проводят в приложении всё больше времени. А это, в свою очередь, отражается на количестве запросов, которое за два года увеличилось в 2—2,5 раза.

Мы оказались в ситуации, когда двукратный выигрыш в производительности нивелировался более чем двукратным ростом запросов, и мы опять стали приближаться к пределам нашего кластера. В ядре PHP снова ожидаются полезные оптимизации (JIT, предзагрузка), но они запланированы только на PHP 7.4, а эта версия выйдет не раньше, чем через год. Поэтому трюк с переходом сейчас повторить не удастся — нужно оптимизировать сам код приложения.

Под катом я расскажу, как мы подходим к таким задачам, какими пользуемся инструментами, и приведу примеры оптимизаций, идей и подходов, которые мы применяем и которые помогли нам в своё время.
Читать полностью »

Разрабатываем свой браузер с нуля. Часть первая: HTML - 1

Всем привет!

Продолжаем цикл статей по разработке браузерного движка.

В данной статье я расскажу как создать самый быстрый HTML-парсер c DOM. Мы рассмотрим HTML спецификацию и чем она плоха относительно производительности и потребления ресурсов при разборе HTML.

С данной темой я докладывался на прошедшем HighLoad++. Конференцию не каждый может посетить, плюс в статье больше деталей.

Я предполагаю, что читатель обладает базовыми знаниями об HTML: теги, ноды, элементы, пространство имён.

Читать полностью »

За окном ноябрь, а это значит, что до новогодних каникул осталось всего ничего! Для Western Digital уходящий год выдался не самым простым, хотя и весьма продуктивным. Подготовка к производству винчестеров, использующих передовую технологию магнитной записи MAMR, перепрофилирование производства SSD с планарных чипов на трехмерные, запуск новых продуктов, а теперь еще и ребрендинг! Нет-нет, не пугайтесь: мы не собираемся расставаться с названием Western Digital. Напротив: отныне легендарный (что уж тут скромничать) бренд будет включать в себя огромное количество продуктов, в том числе — выпускаемых ранее под марками дочерних предприятий. И специально для того, чтобы вы не запутались, мы и подготовили сегодняшний материал.Читать полностью »

Всем привет!

Мы допечатали книгу «Философия DevOps», а также планируем делать и новую книгу на эту тему.

DevOps: что же это такое на самом деле - 1

Немало копий сломано по поводу того, чем является и чем не является DevOps, а также о соотношении DevOps и непрерывной интеграции. Поэтому мы просим вас максимально объективно высказаться, разделяете ли вы точку зрения сегодняшнего автора Адама Маккея (Adam Mackay) относительно сути DevOps — либо, на ваш взгляд, предложенная им картина в чем-то неполна или ангажирована?

Читаем и комментируем!
Читать полностью »

В этой статье я расскажу вам, как стал работать, "не отрывая рук" от клавиатуры, при этом чувствуя себя очень комфортно.

Для достижения результата, мне помогло очень интересное устройство, объединяющее в себе клавиатуру и мышь.

Опыт использования гибрида клавиатуры и мыши в программировании - 1

    ‌‌‍‍
Далее речь пойдет о том, как я пришел к мысли о необходимости покупке этого девайса, а так же, какие впечатления спустя почти пол года использования.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js