Рубрика «высокая производительность» - 153

в 15:43, , рубрики: highload, tizen, Анализ и проектирование систем, архитектура, Блог компании DevConf, высокая производительность, конференция, метки: , , ,

Напоминаем, что в эту пятницу 14 июня пройдет DevConf 2013, а в субботу - 6 эксклюзивных мастер-классов:
devconf.ru/mk

image
— Разработка крупного масштабируемого web 2.0 проекта с нуля (соц.сеть на 100 млн пользователей)
— Основы построения масштабируемых высоконагруженных веб-проектов
— Performance Schema для отладки MySQL приложений
— Оптимизация запросов при помощи EXPLAIN
— Sphinx Search — для профи
— Захват лидерства в команде — продвинутые навыки коммуникации
— Ваш первый проект на AngularJS

Программа готова — 60 интересных докладов
devconf.ru/programm/
Читать полностью »

в 22:59, , рубрики: .net, big data, dryad, Hadoop, microsoft research, высокая производительность, метки: , , ,

На прошлой неделе на Хабре появилось 2 поста о фреймворке распределенных вычислений от Microsoft Research – Dryad. В частности, подробно были описаны концепции и архитектура ключевых компонентов Dryad – среды исполнения Dryad и языка запросов DryadLINQ.

Логическим завершением цикла статей о Dryad видится сравнение фреймворка Dryad с другими, знакомыми разработчикам MPP-приложений, инструментами: реляционными СУБД (в т.ч. параллельными), GPU-вычислениями и платформой Hadoop.

RDBMS vs Hadoop vs Dryad

Читать полностью »

в 6:33, , рубрики: big data, computer science, высокая производительность, высокопроизводительные вычисления, параллельное программирование, параллельные вычисления, метки: , , ,

Представьте себе фреймворк общего назначения для распределенного исполнения приложений со следующими статистическими показателями*:

Dryad. Фреймворк распределенных вычислений
* Статистические данные за 2011 год.

А теперь представьте, что это не Hadoop.

О том, что это за фреймворк, о идеях и концепциях, заложенных в его основу и о том, почему этот фреймворк даже более инновационный (субъективно), чем Hadoop, речь пойдет ниже.
Читать полностью »

в 15:18, , рубрики: 10g, diy или сделай сам, NAS, высокая производительность, ит-инфраструктура, фотография, метки: , ,

Задача стояла следующая — выполнить upgrade системы хранения для фотографа. Вернее, фотографов.
Имелся сетевое хранилище на основе Windows Server 2008 (так сложилось исторически), RAID контроллера Adaptec 3405 и 4х подключенных к нему дисков по 1.5Тб. Для связи с внешним миром использовалась 2х портовая гигабитная серверная сетевая карта HP NC360T.

Проблемы имеющейся системы:
— скорость доступа к сетевым ресурсам «упиралась» в производительность гигабитных Ethernet интерфейсов,
— место на RAID массиве кончалось.

Пожелания:
— быстрый доступ по сети к расположенным на дисковом массиве файлам фото и видео материалов,
— увеличение доступного объема дискового массива в 2-3 раза.
Читать полностью »

в 11:46, , рубрики: CUDA, gpgpu, maple, Matlab, visual basic, visual c++, высокая производительность, вычисления, оптимизация, Песочница, метки: , , , , , , ,

Современному программисту, математику или аналитику часто приходится проектировать, а то и создавать программно-аппаратные комплексы для работы с большими массивами числовых данных. Построение имитационных моделей, прогнозирование, расчёт статистики, управление оперативными процессами, финансовый анализ, обработка экспериментальных данных — везде требуется получить максимальную скорость вычислений на единицу затрат.

При этом большинство ну хотя бы минимально сложных и функциональных систем (во всяком случае, из тех, что встречались лично мне за 8 лет работы в банковской сфере), как правило, гетерогенны — состоят из множества функциональных блоков, как пёстро сшитое лоскутное одеяло, где каждый лоскуток выполняется разным приложением, зачастую даже на различных аппаратных платформах. Почему? Да просто это рационально и удобно. Каждый продукт хорош в своей области. Например, экономисты любят использовать Ms Excel для анализа и визуализации данных. Но мало кому в голову придёт использовать эту программу для обучения серьёзных искусственных нейросетей или решения дифференциальных уравнений в реальном времени — для этого зачастую приобретаются (или уже приобретены компанией) мощные универсальные пакеты, предлагающие гибкий API, или под заказ пишутся отдельные модули. Вот и получается, что результат считать выгоднее в том же Matlab, хранить в таблицах СУБД Oracle (запущенной на кластере Linux), а отчёт показывать пользователям в приложении Excel, работающем как OLE server на Windows. Причём связаны все эти компоненты одним из универсальных языков программирования.

Как выбрать оптимальную среду реализации для конкретной задачи?Читать полностью »

в 20:46, , рубрики: diy или сделай сам, аквариум, бесшумный компьютер, высокая производительность, компьютер в масле, Корпуса и блоки питания, майнинг, масляное охлаждение, метки: , , , ,

Корпус с масляным охлаждением компонентов
Давно мечтал собрать нечто подобное, но не было повода.
Недавно начал экспериментировать с майнингом на разных видеокартах в разных корпусах. Пришел к выводу, что меньше всего карты высокого уровня греются без корпуса. Но при установке нескольких карт уровня 7950/7970 приходится городить сверху вентиляторы — конструкция хлипкая, шумная и занимает много места.
Пробовал серверные корпуса — 1U и 4U. Шумят так, что глохнешь, а охлаждают не очень эффективно — пара карт уровня FirePro V9800 и S10000 перегревались на штатных частотах уже через 10 минут. При достижении 100 градусов станция зависала. Да и работать на таких температурах не безопасно. Для достижения стабильности в таких условиях приходилось снижать нагрузку на четверть, что шума и жара не убавляло, а эффективности — напротив. О шуме я не думал — оборудование стояло в серверной, а вот терморежим проседал, несмотря на работающие кондиционеры и кулера на полную мощность.
Читать полностью »

в 19:16, , рубрики: высокая производительность, вычисления, Железо, смартфоны, Смартфоны и коммуникаторы, суперкомпьютеры, чипы, метки: , , , ,

image
Испанский центр BRC (Barcelona Supercomputing Center) провел исследование, согласно которому в будущем ARM-чипы, подобные тем, что используются в современных смартфонах, смогут заменить в суперкомпьютерах и серверах более дорогие и энергоемкие процессоры x86-архитектуры. Результаты исследования были изложены в статье «Are mobile processors ready for HPC?», представленной публике на выставке EDAworkshop13, прошедшей в этом месяце в Дрездене.

В своей работе исследователи прогнозируют повторение истории конца 20 века, когда RISC-чипы вытеснили более дорогие векторные процессоры, использовавшиеся в подавляющем количестве суперкомпьютеров. RISC в свою очередь были заменены со временем x86-процессорами типа Intel Xeon или AMD Opteron, которые до сих пор служат основой более 400 из 500 самых мощных суперкомпьютеров мира. Специалисты BRC утверждают, что при прогнозировании развития технологий, применяемых в высокопроизводительных системах, следует уделять внимание не только мощности, но и цене чипа, а также его размерам. «Мобильные процессоры не быстрее… но они значительно дешевле», пишут исследователи.
Читать полностью »

в 19:20, , рубрики: distributed computing, open source, web-разработка, высокая производительность, масштабирование, переводы, метки: , ,

Кейт Мэтсудейра: Масштабируемая Веб архитектура и распределенные системыЧетыре месяца назад ребром встал вопрос о тексте для моего дипломного перевода. Результатом помощи коллективного разума стало решение переводить главу Scalable Web Architecture and Distributed Systems за авторством Kate Matsudaira. Нужно отметить, что это мой первый перевод такого объема и сложности. Текст, был мною относительно успешно переведен, хотя по качеству перевода я поставил бы себе 6-7 из 10. Дабы мои усилия не пропали втуне, публикую результат своих трудов.

Читать полностью »

в 10:33, , рубрики: Apache, java, jboss, высокая производительность, метки: , ,

Доброго времени суток, уважаемыее!
Прочитав этот топик, решил написать свой, так как по моему мнению автор не до конца раскрыл потенциал построение HA систем на Jboss(Tomcat), к тому же в статье есть много ошибок (не грамматических).
В этом топике я не буду приводить step-by-step по конфигурации узлов, лишь выборочно, где есть нюансы.
Читать полностью »

в 11:19, , рубрики: big data, Flash-платформа, LSI, Nytro MegaRAID, seagate, ssd, высокая производительность, контроллер, производительность, метки: , , , , , ,

Даже самые заядлые скептики уже признают, что технологии SSD обладают рядом неоспоримых преимуществ по сравнению с обычными жесткими дисками и позволяют получить значительно большую производительность операций ввода/вывода (а в некоторых случаях скорости I/O — много не бывает). Вместе с тем, SSD еще не готовы к повсеместному внедрению вместо традиционных жестких дисков по целому ряду причин: начиная с цены и заканчивая надежностью. Что же делать? На выручку приходят гибридные решения, которые сочетают традиционные диски с SSD, позволяя получить (пусть и с определенными оговорками) преимущества обоих решений.

Если не углубляться в детали, то сам принцип работы гибридных систем достаточно прост (а если углубиться — то можно настолько погрузиться, что и не вернешься за год) и одинаков для всех систем, начиная с дисков Seagate Momentus XT и Apple Fusion Drive, заканчивая дорогими и сложными решениями для больших систем хранения данных и дата-центров, о которых сегодня и пойдет речь.

Для основного хранения данных используются традиционные жесткие диски, по необходимости объединенные в RAID, а SSD используется для кэширования самых часто используемых данных, к которым надо обращаться чаще всего. Управление кэшированием системы берут на себя, и чаще всего кэш-раздел в системе вообще недоступен в виде отдельного диска.

В больших и «серьезных» системах вопросы оптимизации ввода/вывода стоят еще острее, чем для настольных компьютеров. То, что для пользователя является секундной задержкой в запуске тяжелой программы, в случае нагруженного сервера может вылиться во многие тысячи долларов убытков, если дисковая подсистема станет «бутылочным горлышком», замедляющим всю работу.

Говоря о больших системах хранения данных, нельзя не вспомнить про компанию LSI, которая, являясь одним из крупнейших поставщиков для систем хранения данных, не могла остаться в стороне. В портфеле продуктов LSI есть набор решений для ускорения работы дисковых систем, объединенных в семейство Nytro.
Читать полностью »

1...1020...152153154...160170...170
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js