Недавно в нашем блоге появилась статья о NUMA-системах, и я хотел бы продолжить тему, поделившись своим опытом работы в Linux. Сегодня я расскажу о том, что бывает, если неправильно использовать память в NUMA и как диагностировать такую проблему с помощью счётчиков производительности.
Читать полностью »
Метка «высокая производительность» - 2
О правильном использовании памяти в NUMA-системах под управлением ОС Linux
2013-03-11 в 9:08, admin, рубрики: performance analysis, scalability, VTune Amplifier XE, Блог компании Intel, высокая производительность, параллельное программирование, Серверная оптимизация, метки: performance analysis, scalability, VTune Amplifier XE, высокая производительность, серверная оптимизацияБыстрая конкатенация и скорость контейнеров map
2013-02-22 в 5:19, admin, рубрики: c++, высокая производительность, Проектирование и рефакторинг, рефакторинг, метки: c++, высокая производительность, рефакторингО чем это я?
Доброго времени суток, читатели!
По долгу службы возникла необходимость сделать быстрый кэш в памяти с сохранением его в БД. Во время разработки, соответственно, встает вопрос о выборе стандартных и не очень контейнеров. Можно конечно руководствоваться выбором исходя из сложности применяемых алгоритмов, но я решил проверить все на практике, для чего были написаны парочка тестов. Задача проверки эффективности использования памяти не ставилась. Для проверки всего этого дела использовались STLPort 5.2.1 и собранный с ним boost 1.52.0, компилировалось все на gcc 4.6 под ОС Ubuntu 12.04.2. Задача проверки эффективности использования памяти не ставилась, только скорость.
Читать полностью »
VDS, VDI, кого хочешь выбирай: виртуализация десктопов глазами Dell
2013-02-21 в 12:18, admin, рубрики: dell, vdi, vds, Блог компании Dell, виртуализация, высокая производительность, метки: dell, vdi, vds, высокая производительностьС приходом облачных технологий утопичная идея «иметь доступ к чему угодно, откуда угодно, с чего угодно» стала постепенно воплощаться в реальность. Всего за несколько лет понятия «частное облако», VDS, VDI и т.п. стали массово употребимыми – не без участия маркетологов практически всех крупных международных вендоров. Тем не менее, до сих пор существует определенная путаница терминов и понятий на рынке, а также ряд «неустаревающих» вопросов. Например, что такое виртуализация десктопов? Это технология или подход? В чем отличие виртуализации десктопов от инфраструктуры виртуальных рабочих столов? Наконец, при чем здесь Dell? За ответами на эти и другие вопросы просим под кат.Читать полностью »
Тестирование производительности: подводные камни
2013-02-07 в 14:18, admin, рубрики: Блог компании «ETNA Software», высокая производительность, тестирование, метки: высокая производительность, тестированиеЯ занимаюсь созданием высоконагруженных приложений для биржевой торговли. Нагруженных как по объёму данных, так и по количеству пользователей и запросов. Естественно, что для таких приложений первостепенное значение имеет производительность, и, как следствие, тестирование оной.
Наблюдая со стороны это тестирование, я накопил некоторый объём информации, который, как я думаю, будет небезынтересен.
Камень 1-й. Коэффициент пересчёта
Тестирование таких приложений требует развёртывания целой сети тестовых машин. В итоге это приводит к образованию тестового кластера. Попытка развёртывания такого кластера на базе машин, физически стоящих в центре разработки, ведёт к созданию собственного датацентра со всеми издержками такого решения. Хорошей альтернативой стало использование решений типа Amazon Web Services.
Естественное желание сэкономить на аренде хостов или на покупке оборудования приводит к выбору таковых с заниженными относительно production инсталляции характеристиками. Заниженными в разы. И тут вступает в действие коэффициент пересчёта между синтетическими индексами производительности. Т.е. процессор в production будет в 2 раза быстрее, количество ядер будет в 4 раза больше, объём оперативной памяти будет в 6 раз больше, производительность дисковой подсистемы будет в 3,5 раза лучше, скорость сети будет в 100 раз больше. Сложим, поделим на количество показателей, умножим на некий поправочный коэффициент и получим коэффициент пересчёта, на который будем умножать результаты тестирования производительности. Можно придумать и более сложную формулу, например, назначить каждому показателю некий вес.
При ближайшем же рассмотрении такой подход оказывается пригодным лишь для подготовки тестовой сюиты для будущего тестирования на инсталляции, близкой к production, и на обнаружение самых очевидных проблем производительности. (Что уже достаточно много и важно.) Почему? Да потому хотя бы, что при таком подходе совершенно не учитывается эффект bottlenecks.Читать полностью »
Влияние загрузки шины данных на масштабируемость приложений
2013-02-07 в 6:20, admin, рубрики: performance analysis, scalability, VTune Amplifier XE, Блог компании Intel, высокая производительность, параллельное программирование, Программирование, Серверная оптимизация, метки: performance analysis, scalability, VTune Amplifier XE, высокая производительность, серверная оптимизация В этой статье я расскажу о том, как загруженность шины данных влияет на масштабируемость (scalability) приложений. Под масштабируемостью мы будем понимать не только способность многопоточного приложения сокращать свое время выполнения по мере увеличения числа потоков. Мы также добавим сюда и способность однопоточного приложения, запущенного одновременно в несколько копий (instances), выполняться за тот же самый промежуток времени, что и одна копия. Хотя последний пример было бы правильнее охарактеризовать таким свойством как пропускная способность (throughput), так как он относится к «серверному» режиму запуска приложений. Т.е. это такой режим, при котором на сервере запускается однопоточное приложение, каждый раз когда к нему подключается новый клиент. Главная задача при разработке таких приложений — это снижение их зависимости от общих ресурсов, одним из которых может являться шина данных.
Читать полностью »
Баллада о «Мультиклете»
2012-12-19 в 19:43, admin, рубрики: MCP, высокая производительность, мультиклет, Процессоры, системное программирование, языки программирования, метки: MCP, высокая производительность, мультиклет, процессоры, языки программированияНет, я не раскрою вам загадку, скрывающуюся в названии MCp0411100101, но постараюсь развёрнуто ответить на комментарий nerudo, записанный в топике Процессоры «Мультиклет» стали доступнее:
Читая описание архитектурных новшевств этого мультиклета, мне хочется воспользоваться фразой из соседнего топика: «Я не понимаю».
Если кратко, то MCp — это потоковый (от dataflow) процессор с оригинальной EPIC-архитектурой. EPIC — это Explicitly Parallel Instruction Computing, вычисления с явным параллелизмом инструкций. Я применяю этот термин здесь именно в этом смысле, как аббревиатуру, а не как ссылку на архитектуру Itanium-ов. Явный параллелизм в MCp совсем другого рода.
За кулисами Формулы 1
2012-10-19 в 8:19, admin, рубрики: dell, Блог компании Dell, высокая производительность, высокие нагрузки, Железо, мобильность, стойка, метки: dell, высокая производительность, высокие нагрузки, мобильность, стойка, формула-1Роль компьютеров в «королевских гонках» вряд ли сложно недооценить. Шутка ли: без лэптопа сегодня вы даже не сможете завести болид. Да, это уже совершенно другой спорт, совсем не такой, каким его представляли в 50-х. IT-технологии проникли в каждый уголок этого невероятного спорта, создав машины, похожие на истребители, и сделав из водителей настоящих пилотов. Только представьте себе: внушительные суперкомпьютеры размером с несколько холодильников, позволяющие инженерам перебрать десятки вариантов конструкций любого узла за считанные часы и выбрать лучший, который и отправится на «распечатку». Мобильные сервера, развёрнутые в «походных» ЦОДах, пуленепробиваемые ноутбуки, гигабайты данных, курсирующие через полмира уже спустя несколько миллисекунд после того, как были собраны с сотен датчиков болида. Всё это — реальный мир Формулы 1. А знаете, что ещё очень важно в этом виде спорта? Команда. И сегодня мы хотим рассказать о том, как команды Dell и Intel помогли команде Catherham достойно войти в удивительный мир гонок F1.Читать полностью »
тезисы к докладу на Highload++ «Опыт создания собственных key/value хранилищ для небольших высоконагруженных проектов»
2012-10-04 в 22:14, admin, рубрики: highload, key-value storage, nosql, архитектура, высокая производительность, демоны, метки: highload, key-value storage, nosql, архитектура, высокая производительность, демоны Под катом тезисы, хочется знать, что из этого вызовет интерес, а что сократить
Читать полностью »
NoSQL базы данных: понимаем суть
2012-09-27 в 8:16, admin, рубрики: nosql, базы данных, высокая производительность, метки: nosql, базы данных, высокая производительность В последнее время термин “NoSQL” стал очень модным и популярным, активно развиваются и продвигаются всевозможные программные решения под этой вывеской. Синонимом NoSQL стали огромные объемы данных, линейная масштабируемость, кластеры, отказоустойчивость, нереляционность. Однако, мало у кого есть четкое понимание, что же такое NoSQL хранилища, как появился этот термин и какими общими характеристиками они обладают. Попробуем устранить этот пробел.
15 миллионов страниц в сутки. Результаты нагрузочного тестирования .NET Forge CMS в облаке Windows Azure и на Windows Server
2012-09-27 в 7:31, admin, рубрики: cms, windows azure, Windows Server, Блог компании Microsoft, высокая производительность, Облачные вычисления, облачные сервисы, метки: cms, windows azure, Windows Server, высокая производительность, облачные сервисы 
Интересные результаты получены при нагрузочном тестировании системы управления контентом .NET Forge CMS в облачном окружении Windows Azure и на серверах Windows Server. Подготовку методики тестирования, проведение нагрузочных тестов и анализ данных проводила компания «ГАЛС Софт» на оборудовании хостинг-провайдера Infobox. Тестирование проходило при участии российского отделения Microsoft.
В тестировании исследовались возможности следующих редакций .NET Forge CMS:
- Community-редакция: бесплатная редакция с широкими возможностями для создания сайтов сообществ, блогов, персональных сайтов и других типов решений;
- Бизнес-редакция для создания интернет-магазинов, сайтов с высокой нагрузкой, для которых критически важны вопросы масштабирования, отказоустойчивости и безопасности;
- Веб-кластер создания интернет-магазинов, сайтов с высокой нагрузкой, включающая поддержку платформы Windows Azure и Web Farm.