Рубрика «высокая производительность» - 144

Настройка маленького кластера Hadoop 2.2.0 с нуля

В данной статье будет по шагам разобран процесс создания небольшого кластера Hadoop для опытов.

Несмотря на то, что в интернете на иностранных ресурсах есть полно материала про настройку/развертывание Hadoop, большинство из них либо описывают настройку ранних версий (0.X.X и 1.X.X), либо описывают только настройку в режиме single mode/pseudo distributed mode и лишь частично fully distributed mode. На русском языке материала практически нет вовсе.

Когда мне самому понадобился Hadoop, то я далеко не с первого раза смог все настроить. Материал был неактуален, часто попадались конфиги, которые используют deprecated параметры, поэтому использовать их нежелательно. А даже когда все настроил, то задавался многими вопросами, на которые искал ответы. Также встречались похожие вопросы у других людей.

Всем кому интересно, прошу пожаловать по кат.
Читать полностью »

Знакомимся с RabbitMQ

Переводы на хабре:
RabbitMQ tutorial 1 — Hello World
RabbitMQ tutorial 2 — Очередь задач
RabbitMQ tutorial 3 — Публикация/Подписка

Сразу дополню некоторые недочеты. И кратко повторю основные термины.

Принцип работы архитектуры использующей rabbitMq

image

Читать полностью »

Системы IBM Blue Gene помогали определить структуру генома человека, копировали силу мозга, запускали самолеты, определяли опухоли, предсказывали климатические изменения, определяли месторождения горючих полезных ископаемых и др.

Сейчас мы можем добавить в этот список моделирование 15 000 пузырьков. Звучит несерьезно? Но на самом деле это исследование получило премию Гордона Белла, вручаемую за достижения в области высокопроизводительных вычислений.

Моделирование кавитационных пузырьков получило премию Гордона Белла
Читать полностью »

IBM PureData для Hadoop: чем эта система может мне помочь?Сегодня в компаниях информация выстраивается и хранится, как правило, несколькими способами и на нескольких платформах. Данные существуют в неструктурированном, неоптимизированном виде, что не позволяет извлекать из них информацию, необходимую для принятия стратегически важных решений. Роль Больших данных в этом сценарии заключается в возможности собирать такую информацию из различных входных данных, структурировать ее и выдавать данные для использования при анализе, при принятии решений и при работе со средствами предиктивной аналитики. Новейшая из систем IBM PureSystems объединяет в себе концепцию «Больших данных» и решение Apache Hadoop, исходя именно из таких задач.
Читать полностью »

В 2011 году IBM показала технологический прорыв, когда суперкомпьютер Watson выиграл у чемпионов игрового шоу «Jeopardy». И сейчас компания хочет сделать перезагрузку своих высокопроизводительных серверов Power, впервые задействовав графический процессор.

IBM и Nvidia разрабатывают суперкомпьютеры нового поколения
Читать полностью »

Отечественная онлайновая версия знаменитой американской «чёрной пятницы» (открытия рождественского сезона распродаж) сайт blackfriday2013.ru/, который должен был запуститься сегодня ровно в ноль часов, упал сразу после запуска. Очевидно, что маркетинговая подготовка проекта оказалась сильнее технической — проще говоря, профакапили все полимеры. Большую часть времени вместо сайта висела заглушка CDN www.cloudflare.com

Сайт распродаж blackfriday2013 не вынес потока желающих получить халяву
Иллюстрация к истории о том, как русская любовь к халяве напоролась на русский же авось
Читать полностью »

Друзья, 7-го декабря в Саратове состоится очередная встреча разработчиков по поводу открытых технологий, которая организуется и проводится по инициативе и участии ряда саратовских IT-компаний.
Мероприятие будет проходить в формате своеобразного «джем-сейшена» для разработчиков — ожидается несколько легковесных техтолков, которые можно будет слушать попивая чай и закусывая пиццей. В данный момент уже заявлено три доклада.
Читать полностью »

Tsubame KFC: суперкомпьютер с погружной системой охлаждения из Японии

В Японии порой придумывают и создают весьма странные устройства, однако, здесь же обычно создают и уникальные IT проекты, которые быстро становятся известными. К примеру, Tsubame-KFC — это суперкомпьютер, который использует погружную систему охлаждения. О такой системе охлаждения, где работающая техника погружается в охлаждающую жидкость (как правильно, минеральное масло), на Хабре писали не раз. Но вот о Tsubame-KFC постов практически нет. А ведь это суперкомпьютер, который занимает первую строчку в рейтинге суперкомпьютеров Green 500. Сам рейтинг создан для оценки наиболее энергоэффективных суперкомпьютеров мира.

Читать полностью »

Если помните, недавно мы рассказывали вам о том, как применяются компьютерные технологии в медицине, рассматривали работу госпитальных автоматизированных систем (ГАИС), облегчающих лечение пациентов в больнице. Сегодня мы решили познакомить вас с закулисьем совсем другого направления человеческой деятельности и рассмотреть подноготную настолько непростой системы, серверы которой проходят испытания тысячами транзакций в секунду, а цена программного или аппаратного сбоя может привезти к самым неприятным последствиям. Итак, сегодня мы в гостях у одного из крупнейших российских интернет-магазинов одежды Wildberries.Читать полностью »

Суперкомпьютеры IBM заняли первые места в последнем (ноябрьском) рейтинге Graph500, который был презентован в рамках Supercomputing Conference (SC’13) в Денвере.

Graph500 (рейтинг суперкомпьютеров 2013)
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js