Это продолжение длинного рассказа о нашем тернистом пути к созданию мощной, высоконагруженной системы, обеспечивающей работу Биржи. Первая часть тут.
Читать полностью »
Рубрика «высокая производительность» - 42
Эволюция архитектуры торгово-клиринговой системы Московской биржи. Часть 2
2019-05-22 в 6:47, admin, рубрики: Алгоритмы, биржевая торговля, Блог компании Московская Биржа, высокая производительность, резервное копирование, торгово-клиринговая системКак ускорить разжатие LZ4 в ClickHouse
2019-05-21 в 11:14, admin, рубрики: bayesian optimization, big data, c++, clickhouse, highload, lz4, lz77, open source, performance, базы данных, Блог компании Яндекс, высокая производительность, сжатие данныхПри выполнении запросов в ClickHouse можно обратить внимание, что в профайлере на одном из первых мест часто видна функция LZ_decompress_fast. Почему так происходит? Этот вопрос стал поводом для целого исследования по выбору лучшего алгоритма разжатия. Здесь я публикую исследование целиком, а короткую версию можно узнать из моего доклада на HighLoad++ Siberia.
Данные в ClickHouse хранятся в сжатом виде. А во время выполнения запросов ClickHouse старается почти ничего не делать — использовать минимум ресурсов CPU. Бывает, что все вычисления, на которые могло тратиться время, уже хорошо оптимизированы, да и запрос хорошо написан пользователем. Тогда остаётся выполнить разжатие.
Вопрос — почему разжатие LZ4 может быть узким местом? Казалось бы, LZ4 — очень лёгкий алгоритм: скорость разжатия, в зависимости от данных, обычно составляет от 1 до 3 ГБ/с на одно процессорное ядро. Это уже существенно больше скорости работы дисковой подсистемы. Более того, мы используем все доступные ядра, а разжатие линейно масштабируется по всем физическим ядрам.
Continuous Monitoring – автоматизация проверок качества ПО в CI-CD Pipeline
2019-05-21 в 8:01, admin, рубрики: devops, Блог компании ГК ЛАНИТ, высокая производительность, Ланит, ланит-интеграция, системное администрированиеСейчас на хайпе тема DevOps. Конвейер непрерывной интеграции и доставки CI/CD внедряют все, кому не лень. Но большинство не всегда уделяют должное внимание обеспечению надежности работы информационных систем на различных этапах CI/CD Pipeline. В данной статье я хотел бы поговорить о своем опыте автоматизации проверок качества ПО и реализации возможных сценариев по его «самовосстановлению».
Bluetooth LE не так уж и страшен, или Как улучшить пользовательский опыт без особых усилий
2019-05-20 в 14:57, admin, рубрики: bluetooth, corebluetooth, iOS, IoT, L2CAP, Raiffeisenbank, raiffeisenIT, usability, Блог компании Райффайзенбанк, высокая производительность, разработка под iOSНедавно мы в команде придумали и реализовали функцию передачи денег по воздуху с помощью технологии Bluetooth LE. Я хочу рассказать вам, как мы это сделали и что Apple предоставляет нам из инструментов. Многие разработчики думают что Bluetooth — это сложно, ведь это достаточно низкоуровневый протокол, и по нему не так много специалистов. Но всё не так страшно, и на самом деле использовать эту функцию очень просто! А те функции, которые можно реализовать с помощью Bluetooth LE, безусловно, интересны и впоследствии позволят выделить ваше приложение среди конкурентов.
Нехватка гелия может замедлить развитие квантовых компьютеров — обсуждаем ситуацию
2019-05-18 в 11:32, admin, рубрики: Блог компании ИТ-ГРАД, высокая производительность, ИТ-ГРАД, квантовые вычисления, квантовый компьютерРассказываем о предпосылках и приводим мнения экспертов индустрии.
/ фото IBM Research CC BY-ND
Зачем нужен гелий в квантовых компьютерах
Прежде чем перейти к рассказу о ситуации с нехваткой гелия, поговорим о том, зачем вообще квантовым компьютерам нужен гелий.
Квантовые машины оперируют кубитами. Они, в отличие от классических битов, могут находиться в состояниях 0 и 1 одновременно — в суперпозиции. В вычислительной системе возникает явление квантового параллелизма, когда операции производятся одновременно с нулем и единицей. Эта особенность позволяет машинам на основе кубитов решать некоторые задачи быстрее классических компьютеров — например, моделировать молекулярные и химические реакции.Читать полностью »
Оптимизация сборки мусора в высоконагруженном .NET сервисе
2019-05-17 в 19:07, admin, рубрики: .net, ASP, C#, высокая производительность, ПрограммированиеЕжедневно в сервисе Pyrus работают десятки тысяч сотрудников из нескольких тысяч организаций по всему миру. Отзывчивость сервиса (скорость обработки запросов) мы считаем важным конкурентным преимуществом, так как она напрямую влияет на впечатление пользователей. Ключевой метрикой для нас является «процент медленных запросов». Изучая ее поведение, мы заметили, что раз в минуту на серверах приложений возникают паузы длиной около 1000 мс. В эти промежутки сервер не отвечает и возникает очередь из нескольких десятков запросов. О поиске причин и устранении узких мест, вызванных сборкой мусора в приложении, пойдет речь в этой статье.
Улучшаем производительность ПО с инструментами Intel для разработчика. Численное моделирование астрофизических объектов
2019-05-16 в 7:51, admin, рубрики: intel developer tools, Блог компании Intel, высокая производительность, Клиентская оптимизация, ПрограммированиеМы начинаем цикл статей, рассказывающих о различных ситуациях, в которых использование инструментов Intel для разработчиков позволило существенно повысить скорость работы программного обеспечения и улучшить его качество.
Наша первая история произошла в Новосибирском Университете, где исследователи разрабатывали программное средство для численного моделирования магнитогидродинамических проблем при ионизации водорода. Данная работа проводилась в рамках глобального проекта моделирования астрофизических объектов AstroPhi; в качестве аппаратной платформы использовались процессоры Intel Xeon Phi. В результате использования Intel Advisor и Intel Trace Analyzer and Collector производительность вычислений увеличилась в 3 раза, а скорость решения одной задачи сократилась с недели до двух дней.
Резервирование в Kubernetes: оно существует
2019-05-16 в 7:39, admin, рубрики: ITSumma, k8s, kubernetes, Блог компании ITSumma, высокая производительность, высоконагруженные проекты, доклад, конференции, конференция, резервирование, резервное копированиеМеня зовут Сергей, я из компании ITSumma, и я хочу вам рассказать, как мы подходим к резервированию в Kubernetes. В последнее время я много занимаюсь консультативной работой по внедрению разнообразных devops-решений для различных команд, и, в частности, плотно работаю по проектам с использованием K8s. На конференции Uptime day 4, которая была посвящена резервированию в сложных архитектурах, я выступал с докладом о резервировании «кубика», и вот его вольный пересказ. Только заранее предупрежу, что он является не непосредственным руководством к действию, а скорее, обобщением размышлений на указанную тему.
В принципе мониторинг и резервирование — это два основных инструмента повышения отказоустойчивости любого проекта. Но ведь в кубере всё балансируется само, скажете вы, всё масштабируется само, и если что-то произойдёт — поднимется само… То есть, при первом поверхностном исследовании темы, на вопрос, кто как подходит к резервированию K8s, интернет ответил мне «а зачем?» Многие думают, что кубер представляет собой такую магическую штуку, которая избавляет от всех инфраструктурных проблем и делает так, что проект никогда не упадет. Но… мир не то, чем кажется.
Эволюция архитектуры торгово-клиринговой системы Московской биржи. Часть 1
2019-05-14 в 7:00, admin, рубрики: Алгоритмы, биржевая торговля, Блог компании Московская Биржа, высокая производительность, резервное копирование, торгово-клиринговая система
Всем привет! Меня зовут Сергей Костанбаев, на Бирже я занимаюсь разработкой ядра торговой системы.
Когда в голливудских фильмах показывают Нью-Йоркскую фондовую биржу, это всегда выглядит так: толпы людей, все что-то орут, машут бумажками, творится полный хаос. У нас на Московской бирже такого никогда не было, потому что торги с самого начала ведутся электронно и базируются на двух основных платформах — Spectra (срочный рынок) и ASTS (валютный, фондовый и денежный рынок). И сегодня хочу рассказать об эволюции архитектуры торгово-клиринговой системы ASTS, о различных решениях и находках. Рассказ будет длинный, так что пришлось разбить его на две части.
Читать полностью »
Принимаем участие в недавнем Telegram Contest, пишем крутое OpenGL ES приложение и выигрываем ничего
2019-05-14 в 4:35, admin, рубрики: telegram contest, высокая производительность, Занимательные задачки, наедалово, негодование, ненормальное программирование, Разработка под android, соревнования по программированию
Забегая вперед, хотелось бы обратить внимание на сумбурную ситуацию с победителем первого этапа конкурса. Победитель забрал 50К американских президентов. НО, был как минимум, еще один разработчик, который написал идентичное приложение и не был никак вознагражден. Он даже последнего места не занял. Этот разработчик публично, через свой сайт — https://tgcontest.braychuk.com/, обратился к команде Telegram с вопросами. Если кто-нибудь, что-нибудь знает об этом, напишите пожалуйста в комментариях.
Итак, приступим. Читать полностью »