Рубрика «высокая производительность» - 37

Друзья, мы договорились с компанией Онтико, что будем публиковать лучшие доклады с их конференций на своём Youtube-канале и делиться ими с вами. Так мы хотим не только распространять знания, но и помогать нашим читателям и зрителям профессионально развиваться. Ловите подборку 15 лучших докладов, которые прозвучали на Highload++ 2018.

Репликация в Tarantool: конфигурация и использование

Георгий Кириченко, Mail.ru Group

Репликация в Tarantool применяется для обеспечения высокой доступности за счет резервирования серверов или объединения серверов в кластер для распределения нагрузки, а также может использоваться для проведения операций обновления. В последних версиях Tarantool появилось несколько дополнительных возможностей, облегчающих конфигурирование и использование репликации в кластере.

В докладе рассмотрены основные принципы устройства и особенности асинхронной репликации в Tarantool. Подробно остановимся на внутреннем устройстве вектора состояний — vclock. Обсуждают способы обеспечения согласованности данных и остановимся на новых возможностях. Рассмотрены основные принципы конфигурации, их применимость и наиболее частые ошибки, а также обсуждены способы решения возникающих проблем с настройкой и эксплуатацией.
Читать полностью »

Во вторник, 9 июля, за два дня до конференции Hydra 2019, состоится встреча JUG.ru с Клиффом Кликом (Cliff Click), техническим директором компании Cratus, основателем и сооснователем успешных стартапов (Rocket Realtime School, Neurensic, H2O.ai), известным спикером и консультантом.

Клифф Клик — легенда Java-мира. Он участвовал в изначальной разработки JVM, был одним из создателей знаменитого HotSpot Server Compiler (C2), улучшил значительную часть технологического стека Azul и доказал миру, что JIT-компиляция имеет право на жизнь.

Участие бесплатное, регистрация обязательная. Зарегистрироваться можно тут. Подробная информация о теме встречи и спикере — под катом.

Доклад будет читаться на английском языке.

image

Читать полностью »

Говорим о самом быстром суперкомпьютере в США и других участниках «эксафлопсной гонки».

Эксафлопсный барьер преодолеют в 2021 году - 1
Фото — OLCF at ORNL — СС BY / Мощнейший суперкомпьютер на сегодняшний день — Summit

Проект Aurora

Разработкой эксафлопсного компьютера Aurora занимается Министерство энергетики США (DOE). Его строят в Аргоннской национальной лаборатории недалеко от Чикаго. Aurora будет в пять раз мощнее текущего мирового лидера — вычислительной системы Summit от IBM, установленной в Национальной лаборатории Оук-Ридж, которая также принадлежит Министерству энергетики США.Читать полностью »

Под катом о том, какой подход предлагает Huawei при организации удаленного прямого доступа к памяти с использованием технологии AI Fabric и чем он отличается от InfiniBand и «чистого» RDMA на базе Ethernet.

RDMA внутри ЦОД в реализации от Huawei - 1
Читать полностью »

Если ещё 3-4 года назад решала автоматизация, то сегодня очередь за виртуализацией: доступные мощные рабочие станции уравнивают в потенциале транснациональных гигантов и малый бизнес. Рабочие станции — профессиональные компьютеры с комплексом технических и программных средств, предназначенных для решения определённого круга задач: мультимедиа (обработка изображений, видео, звука), САПР, ГИС, научно-технические расчеты, промышленные приложения и пр. В настоящее время ресурсы рабочей станции можно получать как облачный сервис. Он завоевывает популярность у все большего числа компаний за счёт простоты интеграции в ИТ-инфраструктуру и экономических преимуществ. Так что, пути назад нет, впереди одна только виртуальность? Давайте разберёмся.

Реальная виртуальность: рабочие станции ++ - 1

Читать полностью »

Привет! Мы выложили видеозаписи докладов Joker 2018 и, по традиции, сделали подборку из десяти лучших докладов по мнению посетителей конференции.

Реактивный мир: открытый бесплатный доступ к докладам конференции Joker 2018 + обзор лучшей десятки - 1

Все доклады идут от «младшего» к «старшему» по рейтингу, но различия между местами докладов лучшей десятки минимальны и сильно зависят от методики оценки. Незначительно изменив методику, можно сильно поменять места. Поэтому смотрите всё! Что интересно, у докладов Joker 2018 одни из самых высоких средних оценок за всё время.

Под катом видео разбиты с оглавлением по содержимому поста, презентациями и короткими описаниями. Полный плейлист конференции у нас тоже есть.
Читать полностью »

image Привет, Хаброжители! Эта книга подойдет для любого разработчика, который хочет разобраться в потоковой обработке. Понимание распределенного программирования поможет лучше изучить Kafka и Kafka Streams. Было бы неплохо знать и сам фреймворк Kafka, но это не обязательно: я расскажу вам все, что нужно. Опытные разработчики Kafka, как и новички, благодаря этой книге освоят создание интересных приложений для потоковой обработки с помощью библиотеки Kafka Streams. Java-разработчики среднего и высокого уровня, уже привычные к таким понятиям, как сериализация, научатся применять свои навыки для создания приложений Kafka Streams. Исходный код книги написан на Java 8 и существенно использует синтаксис лямбда-выражений Java 8, так что умение работать с лямбда-функциями (даже на другом языке программирования) вам пригодится.
Читать полностью »

When you run queries in ClickHouse, you might notice that the profiler often shows the LZ_decompress_fast function near the top. What is going on? This question had us wondering how to choose the best compression algorithm.

ClickHouse stores data in compressed form. When running queries, ClickHouse tries to do as little as possible, in order to conserve CPU resources. In many cases, all the potentially time-consuming computations are already well optimized, plus the user wrote a well thought-out query. Then all that's left to do is to perform decompression.

How to speed up LZ4 decompression in ClickHouse? - 1

So why does LZ4 decompression becomes a bottleneck? LZ4 seems like an extremely light algorithm: the data decompression rate is usually from 1 to 3 GB/s per processor core, depending on the data. This is much faster than the typical disk subsystem. Moreover, we use all available CPU cores, and decompression scales linearly across all physical cores.
Читать полностью »

Рассказываем, кто и почему ими занимается.

Нейроморфные системы: компьютеры, вдохновлённые устройством человеческого мозга - 1
/ фото Paweł Czerwiński Unsplash

Что такое нейроморфный чип

Это — процессор, работа которого основана на принципах действия человеческого мозга. Такие устройства моделируют работу нейронов и их отростков — аксонов и дендритов — отвечающих за передачу и восприятие данных. Связи между нейронами образуются за счет синапсов — специальных контактов, по которым транслируются электрические сигналы.

Одна из задач нейроморфных устройств — ускорить обучение сверточных нейронных сетей для распознавания изображений. Системам искусственного интеллекта на базе этой технологии не нужно обращаться к массивному хранилищу с тренировочными данными по сети — вся информация постоянно содержится в искусственных нейронах. Такой подход дает возможность реализовывать алгоритмы машинного обучения локально. Поэтому ожидается, что нейроморфные чипы найдут применение в мобильных устройствах, IoT-гаджетах, а также дата-центрах.Читать полностью »

Привет!

Напоминаем, что у нас уже открыт предзаказ на долгожданную книгу о языке Kotlin из знаменитой серии Big Nerd Ranch Guides. Сегодня мы решили предложить вашему вниманию перевод статьи, рассказывающей о корутинах Kotlin и о правильной работе с потоками в Android. Тема обсуждается очень активно, поэтому для полноты картины также рекомендуем посмотреть эту статью с Хабра и этот подробный пост из блога компании Axmor Software.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js