В ходе одного из моих питоновских проектов, с большой примесью ООП и обработкой большого числа данных — у меня возник вопрос, а насколько эффективно обрабатывать списки в классе с использованием вызовов его методов, или может использовать вызов внешней функции? Для этого были написаны 24 теста которые показали очень интересные результаты, Кому интересна данная тема, прошу в подробности.
Читать полностью »
Даже самые заядлые скептики уже признают, что технологии SSD обладают рядом неоспоримых преимуществ по сравнению с обычными жесткими дисками и позволяют получить значительно большую производительность операций ввода/вывода (а в некоторых случаях скорости I/O — много не бывает). Вместе с тем, SSD еще не готовы к повсеместному внедрению вместо традиционных жестких дисков по целому ряду причин: начиная с цены и заканчивая надежностью. Что же делать? На выручку приходят гибридные решения, которые сочетают традиционные диски с SSD, позволяя получить (пусть и с определенными оговорками) преимущества обоих решений.
Если не углубляться в детали, то сам принцип работы гибридных систем достаточно прост (а если углубиться — то можно настолько погрузиться, что и не вернешься за год) и одинаков для всех систем, начиная с дисков Seagate Momentus XT и Apple Fusion Drive, заканчивая дорогими и сложными решениями для больших систем хранения данных и дата-центров, о которых сегодня и пойдет речь.
Для основного хранения данных используются традиционные жесткие диски, по необходимости объединенные в RAID, а SSD используется для кэширования самых часто используемых данных, к которым надо обращаться чаще всего. Управление кэшированием системы берут на себя, и чаще всего кэш-раздел в системе вообще недоступен в виде отдельного диска.
В больших и «серьезных» системах вопросы оптимизации ввода/вывода стоят еще острее, чем для настольных компьютеров. То, что для пользователя является секундной задержкой в запуске тяжелой программы, в случае нагруженного сервера может вылиться во многие тысячи долларов убытков, если дисковая подсистема станет «бутылочным горлышком», замедляющим всю работу.
Говоря о больших системах хранения данных, нельзя не вспомнить про компанию LSI, которая, являясь одним из крупнейших поставщиков для систем хранения данных, не могла остаться в стороне. В портфеле продуктов LSI есть набор решений для ускорения работы дисковых систем, объединенных в семейство Nytro.
Читать полностью »
Текущие индикаторы состояния сети Bitcoin показывают, что скорость вычисления хэшей в P2P-сети превысила 1000 петафлопс, на данную минуту составляет 1030,61 petaFLOPS, т.е. 1,03*1018 операций с плавающей запятой в секунду. Производительность приведена из расчёта 12,7 тыс. операций на один хэш, эту цифру рассчитали до появления специализированных ASIC-установок для майнинга, которые сейчас доминируют в сети.
Для сравнения, пиковая производительность самого быстрого суперкомпьютера из мирового рейтинга Топ-500 в бенчмарке Linpack равна 17,6 петафлопса.
Читать полностью »
Один из программистов компании Microsoft анонимно выступил на форуме Hacker News и выдал интересные подробности о процессе разработки ядра NT. Своим сообщением он хотел подтвердить тезис о том, что ядро неэффективно и во многом уступает по производительности другим ОС: см. оригинальное сообщение (автор удалил его, испугавшись резких формулировок) и копию.
Причина проблем, по словам сотрудника Microsoft, социальная. Дело в том, что разработчики не вносят в ядро таких оптимизаций, которые мы видим в мире Linux. В компании Microsoft никто не будет хвалить программиста, если он оптимизировал какой-то процесс на 5%, если это не входит в сферу его основных обязанностей. Такая оптимизация никому не интересна. Только в случае какого-то очень существенного прогресса работу программиста могут заметить в соседних командах разработки, что положительно отразиться на его карьере. Но это скорее исключение, чем правило. Нет никакого стимула принимать изменения из-за пределов своей команды разработки.
Читать полностью »
Каждый знает, что бывают «десятикратные» программисты, которые в 10 раз более производительны, чем программист обыкновенный. Мы не можем измерить производительность, поэтому и не знаем, правда ли это. Но на самом деле людей необыкновенно производительных существует немало, достаточно, чтобы доказать существование «десятикратного программиста».
Как же они этого добиваются?
Часто считают, что десятикратная производительность вытекает из десятикратных способностей или десятикратных знаний. Я так не думаю. Не хочу сказать, что способности или знания бесполезны. Но за много лет я заметил, что самое главное тут — десятикратная разборчивость. Фокус в том, чтобы постоянно уклоняться от паршивой работенки.
Два дня назад Яндекс выпустил новую версию своего Навигатора. Официального анонса на хабре не было, но shifttstas сделал обзор новых возможностей. Отдельным тредом комментариев, как я и ожидал, стало обсуждение прожорливости программы. Например, у меня на Samsung Galaxy Note Навигатор расходовал батарею даже при подключенной (штатной!) авто-зарядке. В лучшем случае, заряд держался на одном уровне или подрастал на 1-2% за поездку, но периодически разряжался «в ноль». Согласен, это проблема конкретных аппаратов (аналогичные случаи отмечены на SGS II), но съедать все ресурсы процессора, пусть даже одного ядра – это для навигационной программы слишком.
Читать полностью »
Привет!
Не так давно у нас вышел официальный релиз Acumatica 4.0 – новая версия наших облачных ERP продуктов и платформы разработки приложений. Под катом – пара слов о том, почему это большой шаг вперёд для нас и за счёт чего нам существенно удалось улучшить скорость работы нашей ERP-системы.
Читать полностью »
Недавно я опубликовал статью о распределенном рендеринге на GPU — поступили некоторые вопросы и предложения. Поэтому считаю нужным рассказать о теме более развернуто (и с картинками, а то без картинок статьи практически не читают), тем самым привлечь к этой теме больше читателей.
Думаю, этим вопросом заинтересуются обладатели мощных вычислительных систем: майнеры, геймеры, админы других мощных вычислительных систем.
Многие обладатели мощного железа задумывались над тем, а нельзя ли подзаработать на мощности своей железки, пока она стоит бестолку?
Красота моя бестоковая!
Читать полностью »
Проекты в IT, как правило, делаются месяцами. Иногда это немного обескураживает, и хочется, чтобы все было немного по-друому. Я решил провести небольшой эксперимент и попробовать сделать абсолютно новый проект абсолютно с нуля ровно за 7 дней. Выбрал интересную актуальную для меня проблему, взял недельный отпуск и полностью погрузился в разработку.
Читать полностью »
Не секрет, что разработчикам программных систем часто приходится решать проблемы производительности, высокой нагрузки, обработки больших объемов данных и отказоустойчивости. В идеале, все эти вопросы учитываются при проектировании системы. Но на практике их часто пытаются решить запоздалыми «оптимизациями» после запуска.
Почему так происходит? Обеспечение высокой производительности и надежности ошибочно почитается многими за «черную магию». И неспроста — чуть ли не в каждой книге или статье на эту тему вы первым делом наткнетесь на утверждение типа «нельзя просто так взять и повысить производительность».
