Рубрика «высокая производительность» - 146

AMD анонсировала новую версию видеокарты FirePro S10000, которая используется в серверах и суперкомпьютерах. Прежних 6 ГБ встроенной памяти GDDR5 многим не хватало, поэтому в новой версии объём памяти увеличен до 12 ГБ.

AMD анонсировала видеокарту с 12 ГБ RAM

AMD называет FirePro S10000 самой мощной серверной видеокартой в мире. Производительность пары GPU в вычислениях с плавающей запятой составляет 5,91 терафлопс с числами одинарной точности и 1,48 терафлопс с числами двойной точности. Обмен данными с памятью осуществляется на скорости 480 ГБ/с (240 ГБ/с на каждый GPU). Потребляемая мощность — 375 ватт.
Читать полностью »

Квантовый компьютер стал немножко ближе к реальности после эксперимента физиков из университета Саймона Фрейзера (Канада). Они смогли сохранить состояние кубита в комнатной температуре на протяжении 39 минут. Это значительное достижение, если учесть, что предыдущий мировой рекорд равнялся 25 секундам.

Кубит продержался 39 минут при комнатной температуре

Для этого эксперимента кубиты получили из атомов фосфора, внедрённых в очень чистый кристалл кремния (на фото), путём бомбардировки их магнитными импульсами, чтобы вызвать квантовую суперпозицию.
Читать полностью »

За последние три года человечество произвело информации больше, чем за всю историю своего существования до 2010 года. Накопление данных продолжается экспоненциально и уже никого не удивляют требования заказчиков хранить петабайты данных. Использование традиционных массивов в таких случаях часто нерационально, а иногда и невозможно. Конечно, системы хранения старшего уровня при использовании низкопроизводительных SATA дисков смогут обеспечить заказчику объем данных более петабайта, но такое решение будет дорогим и медленным. Для ускорения обработки соответсвующих объемов информации наиболее оптимально использовать параллельную обработку. По этому пути уже давно идут проектировщики вычислительных систем. Если взять список самых производительных систем — это будет кластер из сотен и тысяч небольших серверов. То же самое происходит и в системах хранения — обеспечение приемлимого ввода-вывода при объемах более петабайта возможно обеспечить только с помощью кластера систем хранения. Поэтому неудивительно, что практически все производители оборудования имеют в своей линейке продуктов масштабируемые системы хранения NAS (scale-out NAS).

В статье произведен независимый обзор существующих масштабируемых NAS.
Читать полностью »

Терпеливо ждать пока загрузится медленный, но очень нужный сайт в эпоху широкополосного доступа получается с трудом, и если раньше 5-6 секунд ожидания не особо смущали, то теперь такой промежуток времени — вполне себе повод для раздражения. Тенденция для нас любопытная, в связи с чем мы и решили проверить какие результаты демонстрируют сегодня компании.Читать полностью »

Как я перетащил пакет Tastypie на Pony ORM и что из этого получилось.

Данная статья продолжает историю моей борьбы за производительность приложений на python и django.

Читать полностью »

Badoo — это проект с гигантским git-репозиторием, в котором есть тысячи веток и тегов. Мы используем сильно модифицированный GitPHP (http://gitphp.org) версии 0.2.4, над которой сделали множество надстроек (включая интеграцию с нашим workflow в JIRA, организацию процесса ревью и т.д.). В целом нас этот продукт устраивал, пока мы не стали замечать, что наш основной репозиторий открывается более 20 секунд. И сегодня мы расскажем о том, как мы исследовали производительность GitPHP и каких результатов добились, решая эту проблему.

Расстановка таймеров

При разработке badoo.com в девелоперском окружении мы используем весьма простую debug-панель для расстановки таймеров и отладки SQL-запросов. Поэтому первым делом мы переделали ее в GitPHP и стали измерять время выполнения участков кода, не учитывая вложенные таймеры. Вот так выглядит наша debug-панель:

GitPHP в Badoo

В первой колонке находится имя вызываемого метода (или действия), во второй — дополнительная информация: аргументы для запуска, начало вывода команды и trace. В последнем столбце находится потраченное на вызов время (в секундах).
Читать полностью »

В современном мире, все является сервисом. Вы можете создавать документы, заливать фотографии, разворачивать компьютеры, но что происходит с мусором? Именно поэтому мы запускаем /dev/null в облаке.

IAAS, SAAS, PAAS?
Мы называем свое детище DAAS.

Вам больше не придется избавляться от лишних данных самому. Используйте наш распределенный сервис, расположенный в более, чем 380 локациях! Не имеет значения, будете ли вы использовать его в личных целях, либо для бизнеса. Доступны тарифы даже для целых корпораций.Читать полностью »

image

Попытайтесь повторить это сами

Как правило, настроенный должным образом сервер Nginx на Linux, может обрабатывать 500,000 — 600,000 запросов в секунду. Мне удалось довести этот показатель до 904,000 запросов в секунду. Хотел бы обратить внимание на тот факт, что настройки описанные ниже, применялись в тестовой среде и, возможно, для ваших боевых серверов они не подойдут.

Минутка банальности.

yum -y install nginx

На всякий пожарный, создадим бэкап исходного конфига.

cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.orig
vim /etc/nginx/nginx.conf

А теперь можно и похимичить!
Читать полностью »

image
Хочу поделиться проделанной работой по исследованию производительности различных библиотек для работы с memcached в Node.JS. Для исследования были отобраны 4 кандидата.

Краткие описания взяты прямо из источников и приведены в оригинале. Вот получившийся список с версиями и ссылками.

  • mc v1.0.6 — The Memcache Client for Node.js (mc)
  • node-memcache v0.3.0 — A pure-JavaScript memcached library for node. (node-memcache)
  • node-memcached v0.2.6 — Fully featured Memcached client for Node.js (node-memcached)
  • memjs v0.8.0 — MemJS is a pure Node.js client library for using memcache. (memjs)

Читать полностью »

Мы уже писали о том, как организована работа поиска писем в Яндекс.Почте. С тех много всего изменилось и улучшилось, поэтому мы решили поделиться опытом и рассказать вам об этих изменениях.

В день в Почту приходит порядка 100M писем, 10M из которых — с аттачами. Несмотря на то, что лишь 10% писем содержат вложение, среди писем с вложениями существенная доля тех, в которых файлов больше одного. В среднем получается, что общее количество писем равно суммарному количеству аттачей к ним.

image

Средний размер письма с аттачем составляет 400 кб, а письма без аттача 4 кб. Суммарный размер аттачей в одном письме может достигать 30 мб. ТОП 10 типов аттачей: .jpg, .pdf, .xls, .rar, .doc, .zip, .eml, .mp3, .tif, .docx. Практически все файловые форматы кроме текстового, содержат существенное количество избыточно служебной информации. Так например: .docx формат, содержит всреднем всего 10 % текстовой информации, а из jpg мы получаем всего 0,25% метаинформации для индексации в поиск.

Это дает суммарный объем входящего трафика порядка 25 Тб в сутки, который увеличивается в разы, чтобы обеспечить функционирование большого и сложного продукта Почта. Для обслуживания такой нагрузки в Яндекс.Почте создана большая сетевая, серверная и сервисная инфраструктура, в которую входит несколько кластеров, распределенных по разным датацентрам.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js