Рубрика «высокая производительность» - 37

в 23:39, , рубрики: redis, Streams, Анализ и проектирование систем, высокая производительность, микросервисы, очередь сообщений, Программирование, хранение данных

image

Redis Stream — новый абстрактный тип данных, представленный в Redis с выходом версии 5.0
Концептуально Redis Stream — это List, в который вы можете добавлять записи. Каждая запись имеет уникальный идентификатор. По умолчанию идентификатор генерируется автоматически и включает в себя временную метку. Поэтому вы можете запрашивать диапазоны записей по времени или получать новые данные по мере их поступления в поток, как Unix команда «tail -f» читает лог-файл и замирает в ожидании новых данных. Обратите внимание, что поток могут слушать одновременно несколько клиентов, как многие «tail -f» процессы могут одновременно читать файл, не конфликтуя друг с другом.

Чтобы понять все преимущества нового типа данных, давайте бегло вспомним давно существующие структуры Redis, которые частично повторяют функциональность Redis Stream.
Читать полностью »

в 21:24, , рубрики: 1cloud, gpu, Блог компании 1cloud.ru, высокая производительность, графические ускорители, Процессоры

Samsung и AMD начали совместный проект в области архитектур GPU. Разберемся, какие есть предпосылки для этого партнерства и обсудим другие компании, работающие в этой сфере.

Почему два крупнейших производителя электроники объединили силы в новом GPU-проекте - 1Читать полностью »

в 15:17, , рубрики: Анализ и проектирование систем, Блог компании Mail.Ru Group, высокая производительность, доклады, конференции, разработка

Друзья, мы договорились с компанией Онтико, что будем публиковать лучшие доклады с их конференций на своём Youtube-канале и делиться ими с вами. Так мы хотим не только распространять знания, но и помогать нашим читателям и зрителям профессионально развиваться. Ловите подборку 15 лучших докладов, которые прозвучали на Highload++ 2018.

Репликация в Tarantool: конфигурация и использование

Георгий Кириченко, Mail.ru Group

Репликация в Tarantool применяется для обеспечения высокой доступности за счет резервирования серверов или объединения серверов в кластер для распределения нагрузки, а также может использоваться для проведения операций обновления. В последних версиях Tarantool появилось несколько дополнительных возможностей, облегчающих конфигурирование и использование репликации в кластере.

В докладе рассмотрены основные принципы устройства и особенности асинхронной репликации в Tarantool. Подробно остановимся на внутреннем устройстве вектора состояний — vclock. Обсуждают способы обеспечения согласованности данных и остановимся на новых возможностях. Рассмотрены основные принципы конфигурации, их применимость и наиболее частые ошибки, а также обсуждены способы решения возникающих проблем с настройкой и эксплуатацией.
Читать полностью »

в 11:04, , рубрики: cliff click, hydra, java, Блог компании JUG.ru Group, высокая производительность, конференции, Программирование

Во вторник, 9 июля, за два дня до конференции Hydra 2019, состоится встреча JUG.ru с Клиффом Кликом (Cliff Click), техническим директором компании Cratus, основателем и сооснователем успешных стартапов (Rocket Realtime School, Neurensic, H2O.ai), известным спикером и консультантом.

Клифф Клик — легенда Java-мира. Он участвовал в изначальной разработки JVM, был одним из создателей знаменитого HotSpot Server Compiler (C2), улучшил значительную часть технологического стека Azul и доказал миру, что JIT-компиляция имеет право на жизнь.

Участие бесплатное, регистрация обязательная. Зарегистрироваться можно тут. Подробная информация о теме встречи и спикере — под катом.

Доклад будет читаться на английском языке.

image

Читать полностью »

в 15:43, , рубрики: Aurora, ITGLOBAL.COM, Блог компании ITGLOBAL.COM, высокая производительность, суперкомпьютеры, эксафлопс

Говорим о самом быстром суперкомпьютере в США и других участниках «эксафлопсной гонки».

Эксафлопсный барьер преодолеют в 2021 году - 1
Фото — OLCF at ORNL — СС BY / Мощнейший суперкомпьютер на сегодняшний день — Summit

Проект Aurora

Разработкой эксафлопсного компьютера Aurora занимается Министерство энергетики США (DOE). Его строят в Аргоннской национальной лаборатории недалеко от Чикаго. Aurora будет в пять раз мощнее текущего мирового лидера — вычислительной системы Summit от IBM, установленной в Национальной лаборатории Оук-Ридж, которая также принадлежит Министерству энергетики США.Читать полностью »

в 14:01, , рубрики: AI, artificial intelligence, huawei, IP, Беспроводные технологии, Блог компании Huawei, высокая производительность, ИИ, искусственный интеллект, Серверная оптимизация, сеть, цод

Под катом о том, какой подход предлагает Huawei при организации удаленного прямого доступа к памяти с использованием технологии AI Fabric и чем он отличается от InfiniBand и «чистого» RDMA на базе Ethernet.

RDMA внутри ЦОД в реализации от Huawei - 1
Читать полностью »

в 8:33, , рубрики: daas, IBS DataFort, vdi, Блог компании IBS DataFort, виртуализация, высокая производительность, Компьютерное железо, Сетевые технологии

Если ещё 3-4 года назад решала автоматизация, то сегодня очередь за виртуализацией: доступные мощные рабочие станции уравнивают в потенциале транснациональных гигантов и малый бизнес. Рабочие станции — профессиональные компьютеры с комплексом технических и программных средств, предназначенных для решения определённого круга задач: мультимедиа (обработка изображений, видео, звука), САПР, ГИС, научно-технические расчеты, промышленные приложения и пр. В настоящее время ресурсы рабочей станции можно получать как облачный сервис. Он завоевывает популярность у все большего числа компаний за счёт простоты интеграции в ИТ-инфраструктуру и экономических преимуществ. Так что, пути назад нет, впереди одна только виртуальность? Давайте разберёмся.

Реальная виртуальность: рабочие станции ++ - 1

Читать полностью »

в 14:06, , рубрики: java, joker, Блог компании JUG.ru Group, высокая производительность, конференции, Программирование

Привет! Мы выложили видеозаписи докладов Joker 2018 и, по традиции, сделали подборку из десяти лучших докладов по мнению посетителей конференции.

Реактивный мир: открытый бесплатный доступ к докладам конференции Joker 2018 + обзор лучшей десятки - 1

Все доклады идут от «младшего» к «старшему» по рейтингу, но различия между местами докладов лучшей десятки минимальны и сильно зависят от методики оценки. Незначительно изменив методику, можно сильно поменять места. Поэтому смотрите всё! Что интересно, у докладов Joker 2018 одни из самых высоких средних оценок за всё время.

Под катом видео разбиты с оглавлением по содержимому поста, презентациями и короткими описаниями. Полный плейлист конференции у нас тоже есть.
Читать полностью »

в 13:26, , рубрики: Apache, big data, Блог компании Издательский дом «Питер», высокая производительность, книги, Профессиональная литература

image Привет, Хаброжители! Эта книга подойдет для любого разработчика, который хочет разобраться в потоковой обработке. Понимание распределенного программирования поможет лучше изучить Kafka и Kafka Streams. Было бы неплохо знать и сам фреймворк Kafka, но это не обязательно: я расскажу вам все, что нужно. Опытные разработчики Kafka, как и новички, благодаря этой книге освоят создание интересных приложений для потоковой обработки с помощью библиотеки Kafka Streams. Java-разработчики среднего и высокого уровня, уже привычные к таким понятиям, как сериализация, научатся применять свои навыки для создания приложений Kafka Streams. Исходный код книги написан на Java 8 и существенно использует синтаксис лямбда-выражений Java 8, так что умение работать с лямбда-функциями (даже на другом языке программирования) вам пригодится.
Читать полностью »

в 14:42, , рубрики: bayesian optimization, big data, c++, clickhouse, data compression, databases, highload, lz4, lz77, open source, performance, Блог компании Яндекс, высокая производительность

When you run queries in ClickHouse, you might notice that the profiler often shows the LZ_decompress_fast function near the top. What is going on? This question had us wondering how to choose the best compression algorithm.

ClickHouse stores data in compressed form. When running queries, ClickHouse tries to do as little as possible, in order to conserve CPU resources. In many cases, all the potentially time-consuming computations are already well optimized, plus the user wrote a well thought-out query. Then all that's left to do is to perform decompression.

How to speed up LZ4 decompression in ClickHouse? - 1

So why does LZ4 decompression becomes a bottleneck? LZ4 seems like an extremely light algorithm: the data decompression rate is usually from 1 to 3 GB/s per processor core, depending on the data. This is much faster than the typical disk subsystem. Moreover, we use all available CPU cores, and decompression scales linearly across all physical cores.
Читать полностью »

1...1020...363738...4050...170
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js