151,3 TФлопс на 8064 ядрах с 90,2 процентной эффективностью.
Windows Azure предлагает своим клиентам облачную платформу, которая экономически эффективно и надежно удовлетворяет требованиям масштабных вычислений (Big Compute). При разработке Windows Azure были использованы инфраструктура большой мощности и масштабируемости, новые конфигурации экземпляра, а также новый HPC Pack 2012, которые позволили Windows Azure стать лучшей платформой для приложений использующих масштабные вычисления. В действительности, Windows Azure была протестирована с помощью LINPACK бенчмарка, который подтвердил мощность Windows Azure в масштабных вычислениях. Сетевая производительность очень впечатляет, и составила 151,3 ТФлопс на 8064 ядрах с 90,2 процентной эффективностью – эти результаты были отправлены в Топ-500 и исследователями был получен сертификат, подтверждающий включение в топ 500-от мощных суперкомпьютеров в мире.
Оборудование для масштабных вычислений
В виду заинтересованности Microsoft в масштабных вычислениях, было представлено оборудование, разработанное для удовлетворения потребности клиентов в высокопроизводительных вычислениях. Были представлены две высокопроизводительные конфигурации. Первая с 8-ю процессорами и 60-ю Гбайтами оперативной памяти, вторая с 16-ю процессорами и 120-ю ГБайтами памяти. Обе конфигурации также, поддерживают InfiniBand сеть с RDMA (remote direct memory access) для MPI (message passing interface) приложений.
• Двойной процессор Intel Sandybridge на частоте 2,6 ГГц;
• Память DDR3 на скорости 1600 МГц;
• 10 Гбитная сеть для хранилища и доступа в интернет;
• InfiniBand (IB) сеть с пропускной способностью 40 Гбит/c с RDMA.
Представленная Microsoft сеть InfiniBand поддерживает связь, которая обеспечивает возможность использования удаленного прямого доступа к памяти RDMA между вычислительными узлами. Для приложений использующих MPI (интерфейс обмена надыми по API) библиотеки, RDMA дает возможность объединить память на множестве компьютерах в один пул. Использование RDMA обеспечивает производительность, сравнимую с пиковой теоритической производительностью компьютера в облаке, что особенно важно для приложений, использующих масштабные вычисления.
Новая высокопроизводительная конфигурация с поддержкой RDMA идеально подходит для HPC и других ресурсоемких приложений, таких как инженерное моделирование и прогнозирование погоды, которые требуют масштабирование на несколько компьютеров. Быстрые процессоры и слабая задержка сети означает то, что могут быть запущены модели больших размерностей и моделирование завершится быстрее.
LINPACK Бенчмарк
Для демонстрации производительных возможностей масштабных вычислений оборудования, Microsoft был проведен LinPack бэнчмарк, результаты которого были получены, а по итогам сертифицированы, как один из 500-сот топ суперкомпьютеров всего мира. LinPack бэнчмарк показывает вычислительную мощность операций с плавающей запятой с помощью измерения того, насколько быстро вычисляется плотная матрица n*n системы линейных уравнений Ax=b, что является общей задачей инженерии. Это дает приближенную оценку производительности при решении реальных проблем.
В Microsoft был достигнут результат – 151,3 TФлопс на 8064 ядрах с 90,2 процентной эффективностью. Эффективное число показывает насколько близкое к максимальной теоритической производительности, может приблизиться система. Это число вычисляется как частота машины в Гц умноженное на число операций, которое может быть выполнено за один такт. Один из факторов который влияет на производительность и эффективность в кластерных вычислениях это возможность использования внутренних сетевых соединений. Именно поэтому в Windows Azure используется InfiniBand с RDMA для масштабных вычислений.
Ниже представлены результаты теста LinPack бэнчмарка, который показывает производительность 151,3 ТФлопс.
Впечатляет то, что результат был достигнут при использовании Windows Server 2012 запущенной на виртуальной машине размещённой в Windows Azure с Hyper-V. Благодаря эффективной реализации, Вы можете получить такую же производительность для Вашего высокопроизводительного приложения, запущенного в Windows Azure, как на Вашем собственном выделенном HPC кластере.
Windows Azure — это первый публичный поставщик облачных технологий, который предлагает возможность виртуализации InfiniBand RDMA сетей для MPI приложений. Если Ваш код чувствителен к задержкам, то наш кластер может отправить 4-х битный пакет между машинами в 2.1 микросекунды. InfiniBand также обеспечивает высокую пропускную способность. Это означает, что приложение лучше масштабируется, с более быстрым результатом по времени и низкой стоимостью.
Производительность приложения
Нижепредставленные графики показывают, как программа NAMD молекулярного динамического моделирования масштабируется на различном числе ядер, работающих в системе Windows Azure с использованием недавно анонсированной конфигурации. Был использован экземпляры 16-ядерной машины для запуска приложения, так для запуска на 32-ух и более ядерной машине требуется передача данных по сети. В сети RDMA программа NAMD работала безупречно, и время затрачиваемое на решение значительно сокращалось при добавлении дополнительных ядер.
Как хорошо, что масштабы моделирования зависят как от приложения и конкретной модели, так и от решаемой задачи.
Сейчас проходят тестирования высокопроизводительного оборудования с определенной группой партнеров, и Microsoft сделает их доступным для широкой аудитории в 2013 году.
Windows Azure поддерживает масштабные вычисления с помощью Microsoft HPC Pack 2012
Сервис масштабных вычислений в Windows Azure Microsoft начал поддерживать еще 2 года назад. Ресурсоемкие приложения требуют большое количество вычислительной мощности, что обычно упирается в множество часов и дней ожидания расчетов. Примеры масштабных вычислений включают в себя: моделирование сложных инженерных задач, понимание финансового риска, исследование болезни, прогнозирование погоды, транскодирование медиа данных, или анализ большого набора данных. Клиенты, выполняющие масштабные вычисления, все чаще обращаются к облачным технологиям для поддержки и роста необходимой вычислительной мощности, которая обеспечивает лучшую гибкость и экономию, что дает возможность выполнить всю работу локально на месте («on-premise»).
В декабре 2010 года, Microsoft HPC Pack впервые обеспечил возможность для «прорыва», который заключается в отказе от использования локальных вычислительных кластеров в пользу облачных вычислений (т.е.: для удовлетворения спроса могли мгновенно потребляет дополнительные ресурсы из облака, а именно в крайних ситуациях, в момент пикового использования). Это позволило потребителям легко использовать Windows Azure для обработки пиковых требований. HPC Pack отвечает за резервирование и планирование работ, и множество клиентов видели непосредственную отдачу от своих инвестиций за счет использования облачных вычислительных ресурсов в Windows Azure.
Сегодня, Microsoft рада анонсировать четвертый выпуск кластерного вычислительного решения с 2006 года. HPC Pack 2012 используется для управления вычислительными кластерами, выделенными серверами, неполными серверами, десктопными компьютерами и гибридными системами в Windows Azure. Кластеры могут быть полностью использованы как локально («on-permise»), так и в облаке по расписанию или по требованию и активны только в случае необходимости.
Новый выпуск обеспечивает поддержку для Windows Server 2012 и включает в себя Windows Azure VPN интеграцию для обеспечения доступа к локальным («on-premises») ресурсам, таким как лицензионные сервера, новые элементы для выполнения работы и её зависимостей, новая рабочая планируемая политика для памяти и ядер, новые средства мониторинга и утилиты, которые помогут управлять поставкой данных.
Microsoft HPC Pack 2012 будет доступен уже в декабре 2012 года.
Масштабные вычисления в Windows Ажур сегодня
С самого начала Windows Azure была разработана для поддержки крупномасштабных вычислений. С помощью Microsoft HPC Pack 2012 или с их собственными приложениями, клиенты и партнеры могу быстро поднять среду масштабных вычислений с десятками тысяч ядер. Как показывают примеры иллюстрирующие крупномасштабные вычисления клиенты уже добавили эти возможности Windows Azure для тестирования.
Рисковый отчет по Solvency II регуляторам
Milliman является одним из крупнейших в мире поставщиков актуарных и родственных продуктов и услуг. Их приложение MG-ALFA широко используется страховыми и финансовыми компаниями для моделирования риска, они интегрированы с Microsoft HPC Pack для распространения расчетов в HPC кластере или для «прорыва» работы в Windows Azure.
Для того чтобы помочь страховым компаниям собрать отчеты по рискам для Solvency II регуляторов, Milliman также предлагает MG-ALFA как служба, используемая в Windows Azure. Это позволяет их клиентам производить комплексные рисковые вычисления без капитальных вложений или управления локальным («on-premises») кластером. Это решения от Milliman находится в производстве более года, при этом на этом кластере клиенты использовали до 8000 Windows Azure вычислительных ядер.
MG-ALFA может надежно масштабироваться до десятков тысяч ядер Windows Azure. Для тестирования новых моделей, Milliman использовал 45500 вычислительных ядер Windows Azure для вычисления 5800 задач с 100 процентным успехом всего за 24 часа. Так как вы можете запускать приложения с достаточно большой масштабируемостью, вы получаете быстрый результат и имеете больше уверенности в результатах, не используя приближения или прокси-методы моделирования. Для большинства компаний, сложные и трудоемкие прогнозы должны быть выполнены каждый квартал. Без существенных вычислительных мощностей они должны будут либо найти компромисс в том, как долго им придется ждать результатов либо сократить размер моделей которые они запускают. Windows Azure меняет уравнение.
Стоимость мировой страховки
Towers Watson – это глобальная профессиональная сервисная компания. Их программы MoSes финансового моделирования широко используются международными страховыми компаниями для разработки новых предложений и управления их финансовыми рисками. MoSes интегрирована с Microsoft HPC Pack для распределения проекта по всему кластеру, что также способствует переходу в Windows Azure. В прошлом месяце, Towers Watson анонсировали, что они заимствуют Windows Azure в качестве предпочитаемой платформы облака.
Одним из первых проектов Towers Watson’s для своих партеров было тестирование масштабируемости вычислительной среды Windows Azure путём моделирования стоимости страховки жизни по всему миру. Команда использовала программы MoSes для выполнения индивидуальных методических расчётов стоимости выдачи пожизненных страховых полисов для всех семи миллиардов жителей Земли. Расчеты были повторены 1000 раз с учетом сценариев естественного экономического риска. Для того, чтобы закончить вычисления в короткий срок, MoSes использует HPC Pack для доставки этих вычислений в 50000 параллельных ядер внутри Windows Azure.
Towers Watson был впечатлен их возможность завершить 100000 часовую вычислительную работу в несколько часов реального времени. Страховые компании все чаще сталкиваются с растущими требованиями к частоте и сложности финансового моделирования. Этот пример демонстрирует какие экстраординарные возможности Windows Azure дает страховикам. C Windows Azure, страховые компании могут запускать свои финансовые модели с большей точностью, скоростью и правильностью эффективного управления рисками и капиталом.
Ускорение анализа генома человека
Облачные вычисления расширяют горизонты науки и помогают нам лучше понять геном человека и болезнь. Одним из примеров является ассоциации исследования генома (GWAS), в которой определяются генетические маркеры, которые отвечают за болезнь человека.
David Heckerman и eScience research group в Microsoft Research разработали новый алгоритм, названный FaST-LMM, который может найти новые генетические связи с болезнями путем анализа наборов данных, которые на несколько порядков больше, чем это было возможно ранее, это также позволит обнаружить и более тонкие сигналы в данных, чем раньше.
Цель команды исследования Windows Azure — это помощь им в успешном тестировании приложения. Они используют Microsoft HPC Pack с FaST-LMM на 27000 вычислительных ядрах Windows Azure для анализа данных из исследования населения Великобритании, проведенного в рамках организации «Wellcome Trust». Они проанализировали 63,524,915,020 пар генетических маркеров, ища взаимосвязь между этими маркерами и ишемической болезнью сердца, гипертонией, воспалительными заболеваниями кишечника (болезнью Crohn’a), ревматоидного артрита, и первой и второй стадии диабета.
Более 1000000 задач было запланировано на системе HPC Pack в течение 72 часов, что эквивалентно 1,9 млн. часам вычислений. Подобные вычисления заняли бы 25 лет вычислений на одиночном 8-ми ядерном сервере. В результате: возможность открыть для себя новые связи между геном и этими заболеваниями может помочь сделать потенциальный прорыв в профилактике и лечении.
Исследователи в этой области будут иметь свободный доступ к результатом для самостоятельной проверки в своих лабораториях. Эти исследователи могут вычислить результаты от индивидуальных пар, и алгоритм FaST-LMM будет свободно доступен по требованию в Windows Azure Data Marketplace.
Масштабные вычисления
С большой мощной и масштабируемой инфраструктурой, с новыми конфигурациями экземпляра и с Microsoft HPC Pack 2012, Windows Azure разработана, чтобы быть лучший платформой для приложений использующих масштабные вычисления. Если Вы заинтересованы в масштабных компьютерных вычислениях, то свяжитесь с Microsoft по адресу bigcompute@microsoft.com.
— Bill Hilf, главный менеджер, Windows Azure Product Marketing
— Перевод Владимир Хлызов, аспирант МГУПИ vlkhlyzov@gmail.com.
Автор: Vladimir_corp
