Данная публикация является переводом второй части статьи Characterization and Optimization Methodology Applied to Stencil Computations инженеров компании Intel. В предыдущей части была описана методология для оценки максимальной производительности, которая может быть получена при использовании какого-либо алгоритма на конкретной платформе на примере довольно распространенного вычислительного ядра, используемого при решении 3D акустического изотропного волнового уравнения. Эта часть описывает серию шагов по оптимизации исходного кода для получения производительности, близкой к ожидаемой отметке.
Читать полностью »
Рубрика «высокая производительность» - 121
Оценка и оптимизация производительности вычислений на многоядерных системах. Часть 2
2016-03-23 в 5:59, admin, рубрики: c++, HPC, roofline, software optimization, xeon, xeon phi, Блог компании Intel, высокая производительность, ПрограммированиеJetBrains C++ night: впечатления и записи докладов
2016-03-22 в 15:48, admin, рубрики: C, c++, CLion, google test, high performance computing, optimization, resharper c++, Блог компании JetBrains, высокая производительность, ПрограммированиеПривет!
Буквально на днях мы выпустили очередной релиз CLion 2016.1, нашей кросс-платформенной IDE для разработки на C и C++. Передохнув от релизной суматохи, хотим поделиться впечатлениями о проведенном недавно нами мероприятии, посвященному разработке на C++.
24 февраля этого года в офисе компании JetBrains собралось более 50 человек на мероприятие JetBrains C++ night. Основную часть аудитории составляли C++ разработчики из питерских и не только IT-компаний.
Хотя большую часть времени заняли доклады наших разработчиков, видеозаписи которых опубликованы на нашем канале (см. ссылки ниже), нашей основной целью было неформальное общение с C++ сообществом, которое есть в Питере или приехало поучаствовать в конференции C++ Russia.
В целом, нам кажется, что первый блин вышел не комом, хотя нам есть над чем работать. Главное, нам удалось пообщаться, узнать много интересного, услышать множество пожеланий и вопросов к нашим продуктам, да и просто понять, какой же разработкой занимаются в C++ мире в Питере и в России вообще. Так, например, мы неожиданно для себя получили запрос на поддержку Android проектов на CMake (Android Studio, в которую включена поддержка C++ на базе CLion, CMake не поддерживает; а CLion в свою очередь не имеет сейчас Android поддержки).
Читать полностью »
Роман Елизаров: «Половина научных работ по Concurrency — полная чушь!»
2016-03-21 в 17:40, admin, рубрики: concurrency, devexperts, java, performance, без слайдов, Блог компании JUG.ru Group, высокая производительность, елизаров, многопоточное программирование, многопоточность, параллельное программирование, Спортивное программирование, финансовая инженерияДобрый день, это «Без слайдов». В гостях у меня побывал Роман Елизаров, Java Champion, эксперт по Java и многопоточности (а с недавнего времени — еще и по финансовой математике), спикер многочисленных конференций, председатель жюри Северо-Восточного Европейского региона ACM-ICPC, престижнейшей в мире олимпиады по программированию, лектор в ИТМО и, наконец, VP по технологиям в компании Devexperts. В общем, «человек и пароход».
В разговоре мы затронули следующие темы:
- что такое финансовая математика и как ее учить;
- как устроен софт для финансовой индустрии;
- как в компании Devexperts появилась исследовательская лаборатория по многопоточности;
- куда развивается Concurrency, и что будет в моде в ближайшее время;
- как всемирная олимпиада по программированию пришла в Россию.
Текстовая версия — под катом.
Читать полностью »
Минимализм, текстовый парсинг и классификатор на оперативных шаблонах
2016-03-18 в 20:49, admin, рубрики: C, c; c++; обработка текстов;, c++, высокая производительность, поисковые технологии, Семантика, метки: c; c++; обработка текстов; Как часто нам приходится сталкиваться с обработкой текстовых потоков в реальном времени? Как минимум при каждой загрузке файлов инициализации или конфигурации и тому подобных параметрических данных. Хорошо, когда его содержимое сводится к формату «param = value» и можно воспользоваться стандартными инструментами нарезки. Но что если по ходу разработки программы возникла необходимость усложнить тексты до работы со ссылками? Или обрабатывать условия на этапе чтения? Более того реализовать ветвления? В такой ситуации обычно на скорую руку пишется парсер, занимающий первоначально некоторое количество строчек кода. Который однако со временем разрастается, начинает ветвиться и в конечном итоге приводит к самоповторению, либо заходит в самоисключающий тупик. Именно в этот момент и появляется в голове мысль, что вся суть смысловой разбивки текста сводится к определенному количеству шаблонных операций, зависимых от контекста. И все что требуется для обработки текстов любой сложности — это абстрактный обработчик шаблонов, а не сложносочиненный парсер с детальным описанием всех возникающих условий.
Читать полностью »
Парсеров всем! Анализируем и тестируем существующие HTML парсеры
2016-03-16 в 9:32, admin, рубрики: benchmarks, html, html parser, open source, высокая производительность, метки: benchmarks, high-performance, html parser 
Всем привет!
После публикации предыдущей статьи на почту прилетело не мало писем с просьбой показать и доказать, чем же одно решение лучше другого.
Я, воодушевленно принялся сравнивать, но всё, как обычно, немного сложнее, чем кажется с первого взгляда.
Да, в этой статье я предлагаю выложить все парсеры на стол и измерить!
NetApp Converged Infrastructure Storage. Предсказания 2016
2016-03-15 в 11:35, admin, рубрики: NetApp, Predictions, SAN, высокая производительность, ит-инфраструктура, системное администрирование, хранение данных По опросам 2015 года, 40% IT профессионалов из 451 опрошенного, планируют увеличить траты на конвергентные инфраструктуры. Это прямой знак того, что в 2016 году этот тренд преобретёт более широкое распространение.
Как и со многими технологиями, путь конвергентных инфраструктур обусловлен необходимостью простоты, скорости и уменьшения цены решения.
Читать полностью »
Продолжаем ускорять блог на WordPress — PHP7, ESI в Varnish, XtraDB, эффективное сжатие и отключение лишнего
2016-03-09 в 17:37, admin, рубрики: aria, Debian, esi, fpm, gzip, highload, mariadb, myisam, nginx, opcache, php7, php7-fpm, SSL, Varnish, wordpress, xtradb, Веб-разработка, высокая производительность, Серверная оптимизация, Серверное администрированиеВ своей предыдущей статье по оптимизации сайта на WordPress я рассказал об очень эффективном подходе к оптимизации за счёт кэширования страниц. В результате чего для незалогиненных пользователей время ожидания страницы клиентом (исключая время на установление TLS-сессии) сократилось с 820 мс до 30 мс (этот и все последующие замеры проводились с сервера, расположенного в том же городе, что и мой VDS), что, согласитесь, является отличным показателем. Однако, для залогиненных пользователей генерация страницы происходила по-прежнему долго — в среднем 770 мс на сервере. В этой части я расскажу о том, как я сократил это время до 65 мс, при этом полностью сохранив работоспособность пользовательского функционала.
Целью этой и предыдущей статей является моё желание показать возможность оптимизации сайтов не только на WordPress, а вообще любого веб-приложения. Поэтому я использую такое количество инструментов, и так детально разбираю их конфигурацию. Если же Вам просто нужно ускорить WordPress — установите плагин WP Super Cache. Если Вас, как и меня, интересуют технологии, позволяющие оптимизировать любой сайт, а также Вам интересно, что стоит учитывать при разработке веб-приложений, рассчитанных на высокие нагрузки — прошу под кат, но только после прочтения первой части — дорабатывать я буду ту же систему.
Читать полностью »
Работа с приватными репозиториями и другие обновления платформы FlyElephant
2016-03-07 в 23:04, admin, рубрики: big data, blender, c++, FlyElephant, gcc, gromacs, HPC, java, Julia, Microsoft Azure, octave, OpenFOAM, openmp, python, R, SciLab, Блог компании FlyElephant, высокая производительность, научные расчёты, Облачные вычисления, параллельное программирование, стартапы
Команда платформы FlyElephant подготовила ряд обновлений, которые позволяют работать с приватными репозиториями, повышают безопасность системы и улучшают работу с задачами.
FlyElephant — это платформа для ученых, которая предоставляет готовую вычислительную инфраструктуру для проведения расчетов, помогает находить партнеров и совместно работать над проектами, а также управлять всеми данными из одного места. FlyElephant автоматизирует рутинные задачи и позволяет сосредоточиться на основных вопросах исследований.
В качестве вычислительного ресурса используется облако Azure. Пользователи могут запускать вычислительные задачи, написанные с помощью С++ (с поддержкой OpenMP), R, Python, Octave, Scilab, Java, Julia, OpenFOAM, GROMACS, Blender на серверах с количеством ядер от 1 до 32 и оперативной памятью до 448 ГБ.
Среди нововведений можно отметить следующие:
Читать полностью »
Квантовый скачок
2016-02-29 в 14:06, admin, рубрики: dssd d5, Блог компании EMC², высокая производительность, ит-инфраструктура, квантовый переход, квантовый скачок, Серверное администрирование, хранение данных, метки: dssd d5, квантовый переход, квантовый скачок 
Термином «квантовый скачок», он же «квантовый переход», описывается скачкообразное изменение состояния квантовой системы. И именно этот физический термин ассоциируется со сложившейся сегодня ситуацией, при которой удешевление flash-памяти позволило создавать сверхпроизводительные СХД, не уступающие по ёмкости системам на жёстких дисках и соперничающие с ними по совокупной стоимости одного терабайта. В этом году совокупная стоимость одного терабайта впервые сделает flash-системы более выгодными.
Источник: http://wikibon.org/wiki/v/Evolution_of_All-Flash_Array_Architectures
Важность этого момента трудно переоценить, его можно сравнить с быстрой сменой исторической формации. Эра владычества HDD стремительно уходит в прошлое. И одним из вестников этого процесса стала DSSD D5 — высокопроизводительное хранилище стоечного класса на flash-накопителях (RSF, Rack-Scale Flash).
Читать полностью »
Очень шустрый блог на WordPress при помощи связки nginx + PHP-FPM + MariaDB + Varnish
2016-02-29 в 9:30, admin, рубрики: Debian, fpm, highload, HSTS, HTTPS, mariadb, myisam, nginx, opcache, PageSpeed, php, php-fpm, SSL, Varnish, wordpress, высокая производительность, системное администрированиеВ данной статье я расскажу о том, как я заставил свой блог на WordPress летать за счёт грамотного кэширования, сжатия и другой оптимизации серверной и клиентской сторон. На момент написания статьи характеристики VDS следующие:
CPU: 1 x 2GHz
HDD: 10Gb
RAM: 512Mb
OS: Debian 8 x64
Схема работы системы выглядит следующим образом:
