Рубрика «высокая производительность» - 6

Компьютеры быстры, но вы этого не знаете - 1

Люди чертовски плохо разбираются в величинах, особенно в тех, которые не могут воспринимать биологически. Например, мы интуитивно понимаем, насколько тяжелее предмет массой 10 кг предмета массой 1 кг.

Ощущение величин можно улучшить, преобразовав их каким-нибудь образом в сигналы, знакомые мозгу.

Смотрели ли вы эти видео?

  1. Сравнение размера Вселенной в 3D
  2. Измеряем богатство Джеффа Безоса в рисе

Второе нравится мне больше всего. Ежедневно я съедаю по чашке риса, так что измеряю состояние Джеффа не только наглядно, но и своим желудком.

Совсем недавно я внёс несколько оптимизаций в код, что помогло мне интуитивно понять, насколько быстро может работать компьютер. И я решил, что этим нужно поделиться.
Читать полностью »

В этом посте будет проанализировано, как каналы Unix реализуются в Linux. Для этого мы напишем и в несколько итераций оптимизируем тестовую программу, которая записывает и считывает данные через канал1.

Сноска 1

Стилистически эта работа будет напоминать исследование производительности на примере atan2fЧитать полностью »

Как мы сжимаем данные в больших проектах - 1

Привет! Меня зовут Александр Кленов, и я работаю в Tarantool. В апреле вышел Tarantool 2.10 Enterprise Edition – обновленная версия платформы in-memory вычислений. В версии 2.10 появилось несколько новых функций, о которых уже немного рассказывали на Хабре

Читать полностью »

Tachyum продолжает развивать 128-ядерный процессор Prodigy: возможности, перспективы и дата выхода - 1

Два года назад на конференции ISC High Performance 2020 словацкая компания Tachyum анонсировала 128-ядерные процессоры Prodigy, а также ИИ-комплекс на их основе. Тогда сообщалось, что эти чипы планируется использовать в крупных ЦОД, высоконагруженных платформах, ИИ-системах и прочих направлениях, где нужна высокая производительность.

По словам разработчиков, процессор и инфраструктура, разработанная под этот чип, способны предоставить необходимые для таких вычислений ресурсы. Суперкомпьютер, основа которого чипы Prodigy, достаточно мощный — 125 Пфлопс на стойку и 4 экзафлопса на полный комплекс, состоящий из 32 стоек высотой 52U. Все это сообщалось ранее, ну а сейчас появилось много информации о процессоре и ближайшей дате появления чипа в общем доступе.
Читать полностью »

Конкурентность сложно как следует наладить, как минимум, тем из нас, кому не повезло писать на языках, непосредственно открывающих нутро конкурентного аппаратного обеспечения: речь о потоках и разделяемой памяти. Не менее сложно организовать конкурентность так, чтобы она работала и правильно, и быстро. Все, что вы знаете об оптимизации однопоточного кода, зачастую вам не поможет. На микроуровне (отдельные инструкции) просто невозможно применить обычные правила, актуальные для μ-операций, цепочек зависимостей, пределов пропускной способности и т.д. При конкурентности правила другие.

Читать полностью »

Yandex Planner. Как планировать вычислительные мощности - 1

Серверные вычислительные ресурсы распределяются между большинством сервисов Яндекса централизованно. Тем самым все команды — и существующие давно, и собранные вокруг небольших экспериментов — получают мощности, которые им необходимы, чтобы сервис бесперебойно и быстро работал у всех пользователей. Однако этим распределением нужно управлять.

Меня зовут Сергей Фомин, я разработчик Yandex Planner. Мой пост будет посвящён тому, как мы эффективно решаем задачу планирования вычислительных мощностей.

Сначала я расскажу, что такое Yandex Planner и почему мы решили писать своё решение. После этого мы поговорим про то, в чём заключается задача планирования, почему она не такая простая, как может показаться на первый взгляд. И в качестве одного из способов решения задачи мы рассмотрим дефрагментацию ресурсов. Поехали.
Читать полностью »

В середине мая для самых заинтересованных мы приоткрыли завесу тайны и провели первый закрытый предпоказ нашей новой Visiology 3.0. Сегодня пришло время открыто сообщить о том, что мы находимся на финальной стадии разработки BI-платформы нового поколения, которая не только “сильнее, быстрее и выше” предыдущей версии, но также, я уверен, сможет стать реальной заменой для Power BI. Все подробности о том, “как и почему” — под катом. 

Читать полностью »

Fail2ban — утилита чрезвычайно полезная во многих случаях. Думаю, многие используют её для того, чтобы в автоматическом режиме блокировать особенно назойливых «посетителей». К сожалению, если входящий поток становится слишком большим, fail2ban теряет все свои полезные свойства, потому что разбор лога безнадёжно отстаёт от реальности.

Вот, например, лог nginx из 100 тысяч строчек fail2ban при самых простых настройках (failregex='^<ADDR>') разбирает порядка 45 секунд:

$ fail2ban-regex nginx.log '^<ADDR>'

Running tests
=============

Use   failregex line : ^<ADDR>Читать полностью »
Необычные суперкомпьютеры начала лета 2022 года: от системы на самом большом процессоре в мире до космического HPE Space - 1

Суперкомпьютеров становится все больше, о чем свидетельствует рейтинг Top500. Систем больше, а их производительность все растет. Первое место в рейтинге занимает Китай, второе — США, третье — Япония. Потом следуют Франция, Канада, Великобритания, Россия и другие страны. Но здесь речь об «обычных» суперкомпьютерах, если так можно выразиться.

Но есть и нестандартные системы, которые не входят в рейтинг Top500, но показывают весьма неплохие результаты. Чемпионами назвать их нельзя, но их разработчики и не стремятся к лидерству, поскольку задачи, выполняемые этими необычными суперкомпьютерами, весьма специфические.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js