Рубрика «высокая производительность» - 149

С 2006 года капитальные расходы Google составляют более $21 млрд, основная их часть приходится на строительство дата-центров, закупку серверов и сетевого оборудования. Строительство каждого дата-центра требует обычно инвестиций от $200 млн до $600 млн.

Google потратил почти $21 млрд на постройку дата центров
Техник Google работает в орегонском дата-центре

Такие масштабы действительно поражают. Хотя точные размеры инвестиций в дата-центры не известны, но это в любом случае гигантская сумма. В каждого из нас, пользователя бесплатных сервисов Google, компания уже вложила минимум 10-20 долларов капитальных инвестиций.
Читать полностью »

18 сентября американский «центральный банк» — Федеральная резервная система — выступил с заявлением о том, что не будет сворачивать свою программу разбрасывания денег с вертолёта «количественного смягчения», в рамках которой в американскую экономику вкачивается 85 млрд долл. ежемесячно.

Хабр — не экономический сайт, поэтому не будем говорить ни про споры экономистов о «затягивании поясов» в кризис против идеи «накачки» экономики деньгами, ни про современный капитализм в целом. Интересен процесс и его технологическая изнанка.

Для биржевого игрока новость о том, будет ли ЦБ тратить 85 млрд практически бесплатных денег или нет — очень большая. Нет, правда, очень-очень большая. А поскольку современная западная биржевая культура к инсайдерской торговле относится как к тяжкому преступлению, обнародование решения обставлено весьма тщательно.

Журналисты прибывают в офис Федрезерва к 13:45 дня анонса и собираются в помещении для прессы, после чего двери за ними закрываются. В 13:50 сотрудники ФРС раздают им текст решения, чтобы дать прессе возможность ознакомиться со сложным финансовым текстом. В 13:58 тележурналистам разрешают пройти на балкон к своим камерам. «Пишущим» журналистам разрешается набрать телефон своей редакции. Но правила ФРС не разрешают ни тем, ни другим произносить ни единого слова строго до 14:00 — времени, которое сверяют по «национальным атомным часам» в Колорадо. Электронные СМИ, естественно, имеют преимущество — написанная второпях выжимка о сути решения попадает на новостные ленты мгновенно после окончания «эмбарго».

Что изумило всех следивших за процессом в этот раз — это то, что за 7 миллисекунд, за которые свет теоретически может добежать 960 километров от Вашингтона до биржи в Чикаго по оптоволоконному кабелю, высокочастотные трейдеры его оценили и следом провели сделок на сложно вообразимые 600 млн долл., сняв самые отборные сливки с последовавшего затем бурного роста на позитивных новостях.

Читать полностью »

Победа в игре Jeopardy, успешная учеба на врача, кулинарные успехи. Каким станет Watson после крупного обновления?
Читать полностью »

Меня спросили: «Сколько у вас опыта с большими данными и Hadoop?» Я ответил, что часто использую Hadoop, но редко — с объёмами данных больше нескольких ТБ. Я новичок в больших данных — понимаю идеи, писал код, но не в серьёзных масштабах.

Следующий вопрос был: «Можете ли вы сделать простую группировку и сумму в Hadoop?» Разумеется, могу, и я попросил пример формата данных.

Они вручили мне флэш-диск со всеми 600 МБ данных (да, это были именно все данные, а не выборка). Не понимаю, почему, но им не понравилось моё решение, в котором был pandas.read_csv и не было Hadoop.
Читать полностью »

— Мы получаем больше миллиона твитов в день, и наш сервер просто не успевает их обрабатывать. Поэтому мы хотим установить на кластер Hadoop и распределить обработку.

Речь шла о вычислительно тяжёлом сентиментном анализе, поэтому я мог поверить, что у одного сервера действительно не хватает CPU, чтобы справиться с большим потоком твитов.

— А что вы собираетесь делать с уже обработанными данными?
— Скорее всего, мы будем складывать их в MySQL, как делали это раньше, или даже удалять.
— Тогда вам определённо не нужен Hadoop.

Мой бывший коллега был далеко не первым, кто говорил про распределённые вычисления на Hadoop. И каждый раз я видел полное непонимание того, зачем была придумана и разработана эта платформа.

Читать полностью »

Аннотация

В данной статье рассматривается передача данных по шине PCI Express с одновременным участием нескольких ПЛИС. В компьютерной системе, к PCI Express шине которой подключено несколько (в нашем случае 8) оконечных устройств (PCIe endpoints) ПЛИС запускается одновременно несколько транзакций передачи данных двух типов: А) DMA передача между ОЗУ и ПЛИС (чтение/запись) и Б) прямая передача данных между двумя ПЛИС (запись). Используя соединение PCI Express x4 Gen 2.0 при обращении в память была получена скорость записи 1451 МБ/с (90% от максимальной). Скорость записи данных между ПЛИС была равна 1603 МБ/с (99 % от максимальной) при длине пакетов 128 байт и 1740 МБ/с (99% от максимальной) при длине пакета 256 байт. Латентность передачи данных между ПЛИС зависит от количества промежуточных коммутаторов, и была равна 0,7 мкс для одного коммутатора и 1 мкс для трех. Также показано, что при одновременных передачах через общий канал скорость отдельных передач не уменьшается до тех пор, пока суммарная скорость передачи не превышает пропускную способность общего канала; затем канал используется на 100%, а его пропускная способность делится поровну между устройствами.
Читать полностью »

786 432 ядра суперкомпьютера IBM MIRA начали проводить моделирование происходящих во Вселенной процессов

Инженеры из Аргоннской национальной лаборатории при Министерстве энергетики США ввели в эксплуатацию новый суперкомпьютер IBM MIRA. Согласно июньскому рейтингу Top500, в настоящее время MIRA является пятыми по производительности суперкомпьютером в мире.
Читать полностью »

Всем хорошего дня, коллеги!

Хотим проанонсировать следующий вебкаст Dell, который пройдет на следующей неделе, 17 сентября, в 11:00 по Москве, и будет посвящен виртуализации и решениям, которые предлагает Dell в этой области.
Читать полностью »

Новый игровой ПК от Gigabyte помещается на ладони

Я нечасто играю в игры, а если и играю, то на PS Vita, которая не требует особых телодвижений для начала игры. Но периодически встречаю информацию об игровых устройствах, которые хотелось бы иметь в качестве дополнения в своем игровом «хозяйстве». Так вот, на днях встретилась новость о крохотном, если так можно выразиться, игровом ПК от Gigabyte, являющимся частью линейки Brix II. Этот компьютер по размеру очень невелик, и помещается в ладони взрослого человека. При этом разработчики позиционируют свой ПК именно как игровой, а не просто мини-десктоп. Стоит отметить, что длина ребра корпуса этого компьютера — всего 11,5 сантиметра.

Читать полностью »

IBM представляет NeXtScale System – высокопроизводительную вычислительную платформу для ЦОД
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js