Егор Богатов — разработчик в Microsoft из команды Mono, который работает над Mono и объединяет его с .NET Core. Мы пообщались с ним о том, как работать внутри Xamarin и Microsoft, о любви к геймдеву. Обсудили, почему SSD — лучший друг разработчика, а польза докладов на конференциях не всегда соотносится с их сложностью.
Читать полностью »
Рубрика «высокая производительность» - 57
«Нужно лишь аккуратно сгенерировать LLVM IR». Егор Богатов о Mono и .NET Core
2018-11-16 в 11:55, admin, рубрики: .net, dotnext, dotnext2018, dotnext2018moscow, Блог компании JUG.ru Group, высокая производительность, Компиляторы, ПрограммированиеКонференция Velocity London от O’Reilly: обзор и слайды
2018-11-16 в 9:32, admin, рубрики: kubernetes, serverless, Velocity, Блог компании Badoo, высокая производительность, доклады, конференции, лондон, обзор, Презентации, Разработка веб-сайтов
Velocity — это конференция, которая посвящена распределённым системам. Её организует издательство O'Reilly, и она проходит трижды в год: один раз в Калифорнии, один раз в Нью-Йорке и один раз в Европе (причём город меняется каждый год).
В 2018 году конференция была в Лондоне с 30 октября по 2 ноября. Главный офис Badoo находится там же, так что у нас с коллегами было сразу два повода съездить на Velocity.
Её устройство оказалось несколько сложнее, чем то, с каким я сталкивался на российских конференциях. Кроме достаточно привычных двух дней докладов тут было еще два дня тренингов, которые можно брать полностью, частично или не брать совсем. Всё вместе это превращается с серьёзный квест по выбору типа нужного билета.
В этом обзоре я расскажу про те доклады и мастер-классы, которые мне запомнились. К некоторым докладам я прикладываю ссылки на дополнительные материалы. Частично это материалы, на которые ссылались авторы, а частично материалы для дальнейшего изучения, которые я нашёл сам.
HighLoad++: презентации от докладчиков Авито, конспекты, фото и впечатления
2018-11-15 в 15:15, admin, рубрики: Блог компании Конференции Олега Бунина (Онтико), высокая производительность, конференции, Разработка веб-сайтовВ Сколково отгремела двенадцатая по счету HighLoad++. Конференция собрала больше 3000 участников, профессионалов в области работы с высоконагруженными системами. Коллеги обменивались опытом построения и развития архитектуры крупных проектов, говорили о базах данных, системах хранения, системном администрировании, нагрузочном тестировании, эксплуатации крупных проектов.
Мы традиционно принимали активное участие в HighLoad++. В этом посте я хочу поделиться материалами докладчиков от Авито, впечатлениями от конференции. И рассказать, что это за странный синий бак на этом фото.
Оптимальное расположение шардов в петабайтном кластере Elasticsearch: линейное программирование
2018-11-13 в 13:23, admin, рубрики: elasticsearch, jvm, Shardonnay, Алгоритмы, высокая производительность, индексирование по времени, линейная оптимизация, Линейное программирование, линейный солвер, математика, Проектирование и рефакторинг, Серверная оптимизация, стек ELK
В самом сердце информационно-поисковых систем Meltwater и Fairhair.ai работает набор кластеров Elasticsearch с миллиардами статей из СМИ и социальных медиа.
Индексные шарды в кластерах сильно отличаются по структуре доступа, рабочей нагрузке и размеру, что поднимает некоторые очень интересные проблемы.
В этой статье мы расскажем, как применили линейное программирование (линейную оптимизацию) для максимально равномерного распределения рабочей нагрузки поиска и индексирования по всем узлам в кластерах. Это решение уменьшает вероятность, что один узел станет узким местом в системе. В результате мы увеличили скорость поиска и сэкономили на инфраструктуре.
Читать полностью »
В России построят большой суперкомпьютер на процессорах «Эльбрус»
2018-11-13 в 11:46, admin, рубрики: высокая производительность, Компьютерное железо, ОПК, Процессоры, суперкомпьютер, суперкомпьютеры, Эльбрус
Процессоры «Эльбрус» достигли производительности, которая позволяет использовать их при создании суперкомпьютеров, считают разработчики из компании МЦСТ. Раньше отечественные ЦП применялись только в настольных компьютерах и серверах, было построено лишь несколько небольших систем размером со шкаф. Однако новый проект с бюджетом более 1 миллиарда рублей — это полноценный суперкомпьютер, который наверняка войдёт в список Топ-500 самых мощных суперкомпьютеров мира, пишет «Коммерсантъ».
На фото: микросхема центрального процессора 1891ВМ12Я — вычислитель серверного класса с усовершенствованным набором векторных команд. Содержит 8 ядер архитектуры «Эльбрус» 5-го поколения с тактовой частотой до 1500 МГц. Позволяет строить многопроцессорные серверы и рабочие станции, а также бортовые вычислители
Читать полностью »
Конспект доклада «Как стать классным спецом по бд» (HL2018, Data Egret, Илья Космодемьянский)
2018-11-11 в 20:31, admin, рубрики: dba, Администрирование баз данных, базы данных, высокая производительность, карьера, Карьера в IT-индустрии, конспект, конференции, ПрезентацииПервый конспект лекции с HighLoad был встречен позитивно, поэтому продолжаю.
Второй лекцией выбрал интересный материал, который нашел отклик как по конспекту, так и в зале. На мой взгляд, этот доклад может быть интересен всем, особенно начинающим специалистам.
В докладе затронуты вопросы:
- Кем собственно мы хотим стать?
- Надо-ли оно нам?
- Теоретические навыки
- Практические навыки (технические)
- Практические навыки (нетехнические)
96-ядерный суперкомпьютер на одноплатниках NanoPi Fire3
2018-11-11 в 15:36, admin, рубрики: diy или сделай сам, NanoPi Fire3, Raspberry Pi 3, высокая производительность, кластер, Компьютерное железо, Разработка на Raspberry PiСоздание высокопроизводительного кластера с 12 узлами NanoPi-Fire3 менее чем за £100 (£550, включая двенадцать Fire3)
Мой прошлый кластер на Raspberry Pi 3 в прошлом году немало заинтересовал публику, так что я попробовать сделать аналогичные проекты на других отличных одноплатных компьютерах, которые есть на рынке. FriendlyARM из Китая очень щедро отправила мне 12 своих последних 64-битных ARM плат NanoPi-Fire3, на каждой из которых восьмиядерный ARM A53 SoC, работающий на частоте 1,4 ГГц, с гигабитным Ethernet.
Конспект доклада «Что мы знаем о микросервисах» (HL2018, Avito, Вадим Мадисон)
2018-11-11 в 10:56, admin, рубрики: высокая производительность, конспект, конференции, микросервисы, ПрезентацииПривет, %username%!
Совсем недавно закончилась конференция Highload++ (еще раз спасибо всей команде организаторов и olegbunin лично. Было очень круто!).
Накануне конференции Алексей fisher предложил создать инициативную группу «сталкеров» на конференции. Мы, во время докладов, писали небольшие конспекты, которыми обменивались. Некоторые конспекты получились достаточно детальными и подробными.
Сообщество в соц сетях позитивно оценило такой формат, поэтому я (с разрешения) решил опубликовать конспект первого доклада. Если данный формат будет интересен, то я смогу подготовить еще несколько статей.
Как ускорить машинное обучение на GPU — представлена новая open source платформа
2018-11-10 в 12:16, admin, рубрики: Nvidia, rapids, Блог компании ИТ-ГРАД, высокая производительность, ИТ-ГРАД, машинное обучениеNvidia представили open source платформу Rapids, задача которой ускорить работу алгоритмов машинного обучения на GPU. Рассказываем об особенностях инструмента и его аналогах.
SMT-решатель на iPhone
2018-11-09 в 15:10, admin, рубрики: a12, sat, smt, высокая производительность, математика, Процессоры, прувер, решательЗачем покупать дорогой ПК, если ваш iPhone быстрее решает SMT?
Задача выполнимости формул в теориях (satisfiability modulo theories, SMT) — это задача разрешимости для логических формул с учётом лежащих в их основе теорий. — Википедия
Несколько дней назад я написал в твиттере: «Любопытный эксперимент: на новом iPhone прувер Z3 работает быстрее, чем на моём (довольно дорогом) десктопном Intel. Пора перевести все формальные методы исследований на телефон».
Я читал о невероятном прогрессе, которого добились разработчики процессоров Apple, и что скоро маки переведут на собственные ARM-процессоры от Apple. Эти отчёты обычно ссылаются на некоторые кросс-платформенные тесты, такие как Geekbench для демонстрации, что мобильные процессоры Apple не уступают мобильным и настольным процессорам Intel. Но я всегда немного скептически относился к этим кросс-платформенным тестам (как и к другим) — действительно ли они отражают скорость выполнения реальных задач, для которых я использую свои Mac?
Читать полностью »