По долгу работы мне приходится сталкиваться с проектированием и разработкой распределенных приложений. Такие приложения часто используют различные средства межпроцессного взаимодействия для организации взаимодействия компонентов. Особые сложности возникают в процессе реализации алгоритмов, обрабатывающих связанные данные распределенно. Для поддержки таких задач используются специализированные системы распределенной координации. Самым популярным и широко используемым продуктом является Apache Zookeeper.Читать полностью »
Рубрика «высокая производительность» - 88
Обзор возможностей библиотеки Apache Curator для Apache Zookeeper
2017-08-02 в 6:30, admin, рубрики: curator, distributed computing, distributed lock manager, IPC, java, open source, scala, zookeeper, высокая производительность, параллельное программирование, распределённые вычисления, распределенные системыIaaS-дайджест: 30 материалов о работе с ПД, новых технологиях, ИБ и высокой производительности
2017-07-30 в 13:14, admin, рубрики: Блог компании ИТ-ГРАД, высокая производительность, дата-центр, ИТ-ГРАД, Разработка под e-commerce, цодЗдесь мы найдете самые свежие материалы из нашего IaaS-блога. Мы рассказываем о перспективных разработках в сфере высокой производительности, новых технологиях для ЦОД и делимся практическим опытом настройки виртуальной инфраструктуры.
Разбираемся с копированием и клонированием
2017-07-27 в 13:21, admin, рубрики: clone, copy, java, Анализ и проектирование систем, Блог компании Mail.Ru Group, высокая производительность, никто не читает теги, отладка
Я наткнулся на статью Нареша Джоши о копировании и клонировании и был удивлён ситуацией с производительностью. У клонирования есть проблемы с финальными полями. А учитывая тот факт, что интерфейс Cloneable не предоставляет метод clone
, то для вызова clone
вам необходимо будет знать конкретный тип класса.
Быстрое удаление пробелов из строк на процессорах ARM — альтернативный анализ
2017-07-26 в 7:30, admin, рубрики: C, Алгоритмы, высокая производительность, перевод, перевод с английского, ПрограммированиеОригинал статьи: https://github.com/blu/ascii_pruner
Автор: Мартин Кръстев
Один мой друг обратил мое внимание на интересную статью на habrahabr.ru — русский перевод статьи Дэниела Лемира Быстрое удаление пробелов из строк на процессорах ARM. Эта статья заинтриговала меня по двум причинам: во-первых, кто-то на самом деле потратил время и усилия по поиску оптимального решения общей проблемы на не-x86 архитектуре (ура!), а во-вторых, результаты автор дал в конце статьи немного озадачили меня: порядка 6-ти кратное преимущество для Intel? Автор сделал однозначный вывод, что ARM-у ну очень далеко по соотношению «эффективность на такт» до «большого железа» от Интела в этой простой задаче.
Вызов принят!
Быстрое восстановление данных. Схема бабочки для регенерирующих кодов
2017-07-20 в 8:40, admin, рубрики: butterfly, Алгоритмы, Блог компании RAIDIX, высокая производительность, кодирование, математика, регенерирующие коды, системное программирование, системы хранения данных, СХД
Для кодов, описанных в предыдущей статье про восстановление данных, предполагалась постановка задачи, при которой минимизируется количество дисков, необходимых при операции восстановления. В [2] обсуждается применение сетевого кодирования к задачам хранения данных, получившее значительное внимание исследователей в последние годы. Здесь рассматривается не оптимизация количества дисков, необходимых для восстановления данных, а минимизация возникающего при этом сетевого трафика.
Предположим, что система хранения состоит из n узлов. Рассмотрим файл, состоящий из B символов поля GF(q), который кодируется в nα символов над GF(q) и распределяется по узлам, так, что каждый узел хранит α символов. Код построен таким образом, что данные могут быть целиком восстановлены по информации с k узлов. При этом для восстановления данных одного узла достаточно получить β ≤ α информации с d узлов [1,2], см. рис. 1. Величина γ = dβ называется диапазоном восстановления (repair bandwidth).
Читать полностью »
Google планирует представить облачный сервис для квантовых вычислений
2017-07-20 в 8:18, admin, рубрики: Google, Блог компании ИТ-ГРАД, высокая производительность, ИТ-ГРАД, квантовые вычисленияGoogle собирается открыть онлайн-доступ к своим квантовым машинам для ученых и исследователей проблем искусственного интеллекта. Этим ИТ-гигант хочет «подстегнуть» разработку новых инструментов для своей технологии. Со временем компания планирует создать мощный облачный сервис с использованием квантовых компьютеров.
Гибридный куб памяти (HMC): что это такое и как его подключить к FPGA
2017-07-18 в 13:12, admin, рубрики: FLIT, fpga, GTX, HMC, IT-стандарты, micron, SSI, Xilinx Virtex, Анализ и проектирование систем, высокая производительность, память, разработка железа, разработка электроники
На фото: Платформа SKARAB для цифровой обработки данных с телескопа MeerKAT. За счет технологии HMC каждая из 64 антенн телескопа может передать на платформу поток данных со скоростью 40 Гбит/с
В ожидании нового стандарта памяти DDR5 SDRAM, который появится уже в следующем году, мы исследуем альтернативные технологии. В этой статье изучим память HMC (Hybrid Memory Cube), которая обеспечивает 15-кратный рост производительности при 70% экономии на энергопотреблении на бит по сравнению с DDR3 DRAM.
В то время как DDR4 и DDR5 представляют собой эволюцию стандарта, HMC — это революционная технология, которая может изменить рынок не только в сфере специализированных высокопроизводительных вычислений, но также в области потребительской электроники, такой как планшеты и графические карты, где важен форм-фактор, энергоэффективность и пропускная способность.
Читать полностью »
IBM и ВВС США разрабатывают нейроморфный суперкомпьютер нового поколения
2017-07-14 в 23:19, admin, рубрики: Блог компании IBM, высокая производительность, компьютеры, машинное обучение, нейромфорный компьютер, метки: нейромфорный компьютер
Еще в 2014 году компания IBM представила чип нового типа, который предназначен для реализации нейронных сетей. Тогда разработчики рассказывали о том, что чип содержит 1 миллион нейронов и 256 миллионов синапсов, что, с некоторыми оговорками, похоже на архитектуру неокортекса. Такой процессор можно использовать для решения задач, где требуется высокая и сверхвысокая производительность. Например, с его помощью можно классифицировать объекты в видеопотоке (это уже делается) в режиме реального времени.
Несколько позже Ливерморская национальная лаборатория (LLNL) объявила о создании производительного компьютера, принцип работы которого схож с принципом работы мозга человека. Система включает 16 миллионов нейронов и 4 млрд синапсов. В компьютере, который был разработан лабораторией, всего 16 TrueNorth чипов, а сама система получила название IBM Neuromorphic System. Для чего такие системы могут использоваться?
Читать полностью »
Семантика exactly-once в Apache Kafka
2017-07-14 в 10:25, admin, рубрики: apache kafka, Блог компании Badoo, высокая производительность, Программирование, Разработка систем передачи данных, Системы обмена сообщениями
Всем привет! Меня зовут Юрий Лилеков, я работаю в Server Team Badoo. На днях мне попалась довольно интересная статья о новой семантике exactly-once в Apache Kafka, которую я с радостью для вас перевёл.
Нагрузочное тестирование Web-систем. Как к нему подготовиться
2017-07-11 в 11:41, admin, рубрики: web-сайт, высокая производительность, нагрузочное тестирование, Тестирование веб-сервисовЕсли вы все знаете о нагрузочном тестировании и как правильно к нему подготовиться, то вам статья будет не интересна. Статья рассчитана на тех, кто хочет понять как строить “правильные” профили для тестирования и на что необходимо обращать внимание при подготовке сценария. Речь будет идти о Web-системах с Web-интерфейсом.
Читать полностью »