Рубрика «высокая производительность» - 38

в 14:42, , рубрики: bayesian optimization, big data, c++, clickhouse, data compression, databases, highload, lz4, lz77, open source, performance, Блог компании Яндекс, высокая производительность

When you run queries in ClickHouse, you might notice that the profiler often shows the LZ_decompress_fast function near the top. What is going on? This question had us wondering how to choose the best compression algorithm.

ClickHouse stores data in compressed form. When running queries, ClickHouse tries to do as little as possible, in order to conserve CPU resources. In many cases, all the potentially time-consuming computations are already well optimized, plus the user wrote a well thought-out query. Then all that's left to do is to perform decompression.

How to speed up LZ4 decompression in ClickHouse? - 1

So why does LZ4 decompression becomes a bottleneck? LZ4 seems like an extremely light algorithm: the data decompression rate is usually from 1 to 3 GB/s per processor core, depending on the data. This is much faster than the typical disk subsystem. Moreover, we use all available CPU cores, and decompression scales linearly across all physical cores.
Читать полностью »

в 13:20, , рубрики: Анализ и проектирование систем, Блог компании ИТ-ГРАД, высокая производительность, ИТ-ГРАД, нейроморфные системы
Рассказываем, кто и почему ими занимается.

Нейроморфные системы: компьютеры, вдохновлённые устройством человеческого мозга - 1
/ фото Paweł Czerwiński Unsplash

Что такое нейроморфный чип

Это — процессор, работа которого основана на принципах действия человеческого мозга. Такие устройства моделируют работу нейронов и их отростков — аксонов и дендритов — отвечающих за передачу и восприятие данных. Связи между нейронами образуются за счет синапсов — специальных контактов, по которым транслируются электрические сигналы.

Одна из задач нейроморфных устройств — ускорить обучение сверточных нейронных сетей для распознавания изображений. Системам искусственного интеллекта на базе этой технологии не нужно обращаться к массивному хранилищу с тренировочными данными по сети — вся информация постоянно содержится в искусственных нейронах. Такой подход дает возможность реализовывать алгоритмы машинного обучения локально. Поэтому ожидается, что нейроморфные чипы найдут применение в мобильных устройствах, IoT-гаджетах, а также дата-центрах.Читать полностью »

в 5:35, , рубрики: android, java, kotlin, Retrofit. акторы, Блог компании Издательский дом «Питер», высокая производительность, многопоточность, Программирование

Привет!

Напоминаем, что у нас уже открыт предзаказ на долгожданную книгу о языке Kotlin из знаменитой серии Big Nerd Ranch Guides. Сегодня мы решили предложить вашему вниманию перевод статьи, рассказывающей о корутинах Kotlin и о правильной работе с потоками в Android. Тема обсуждается очень активно, поэтому для полноты картины также рекомендуем посмотреть эту статью с Хабра и этот подробный пост из блога компании Axmor Software.
Читать полностью »

в 9:34, , рубрики: Блог компании ИТ-ГРАД, высокая производительность, вычисления в облаках, ДНК-вычисления, ИТ-ГРАД, нейроморфные процессоры

Рассказываем, что нового может появиться в дата-центрах и не только в них.

Какими могут быть вычислительные системы будущего - 1
/ фото jesse orrico Unsplash

Считается, что кремниевые транзисторы приближаются к своему технологическому пределу. В прошлый раз мы рассказывали о материалах, которые могут заменить кремний и обсуждали альтернативные подходы к разработке транзисторов. Сегодня говорим о концепциях, способных трансформировать принципы работы традиционных вычислительных систем: квантовых машинах, нейроморфных чипах и компьютерах на основе ДНК.
Читать полностью »

в 16:15, , рубрики: ITGLOBAL.COM, Блог компании ITGLOBAL.COM, высокая производительность, энергоэффективность

В MIT разработали архитектуру нового фотонного процессора. Он повысит эффективность работы оптических нейросетей в тысячу раз, по сравнению с аналогичными устройствами.

Чип сократит объемы электричества, потребляемые ЦОД. Рассказываем, как он устроен.

Сократить энергопотребление в ЦОД — поможет новый фотонный чип - 1Читать полностью »

в 9:43, , рубрики: summit, top500, высокая производительность, Компьютерное железо, Ломоносов

Суперкомпьютер «Ломоносов» выпал из мирового рейтинга Top500 (свежая версия за июнь 2019 года). Это вполне естественное событие, потому что первую версию «Ломоносова» ввели в строй в далёком 2011 году, а мощности суперкомпьютеров постоянно растут. Поэтому вычислительный кластер, который когда-то входил в топ-15, постепенно опускался в рейтинге и в итоге выпал из него.

Проблема на самом деле в другом — что ничего более мощного российские инженеры за этот период не ввели в строй. Поэтому российское представительство в рейтинге сократилось всего до двух штук: это «Ломоносов-2» из МГУ и СуперЭВМ главного вычислительного центра Росгидромета. В новом рейтинге они занимают 93 и 365 места.

Два суперкомпьютера — это много или мало? Для сравнений, Китай представлен в рейтинге 219 суперкомпьютерами, США — 116 (уступая по количеству, США обгоняют Китай по средней мощности), далее следуют Япония (29), Франция (19), Великобритания (18), Германия (14), Ирландия (13 одинаковых кластеров Lenovo C1040).
Читать полностью »

в 9:35, , рубрики: cluster, h.323, IPmatika, linux, mcu, sip, skype, skype for business, stss, yealink, Yealink Meeting Server, YMS, АйПиМатика, аппаратный терминал, Блог компании STSS, вебинар, видеоконференция, видеоконференцсвязь, вкс, высокая производительность, интеграция, кластер, клиентское устройство, кодек, мероприятие, программный сервер, Работа с видео, совещание, телефония, Тестирование IT-систем

Кластер системы видеоконференцсвязи на базе Yealink Meeting Server - 1Эта статья является продолжением цикла публикаций, посвященного комплексному решению ВКС Yealink Meeting Server (YMS).

В прошлой статье Yealink Meeting Server 2.0 — новые возможности видеоконференцсвязи мы описали существенный прорыв в функционале решения:

  • добавился собственный сервис записи конференций, интегрированный в YMS
  • появился новый тип лицензии — Broadcast, который позволяет оптимизировать стоимость асимметричных конференций
  • обеспечена интеграция с решением Skype for Business и Teams

В этой статье мы рассмотрим возможность каскадирования YMS — установку и настройку системы в режиме «кластер».
Читать полностью »

в 5:06, , рубрики: высокая производительность, дизайн, развитие дизайнера

Привет! Я — Ваня Соловьёв, дизайн-директор DocDoc (входит в группу Сбербанк). Сегодня рубрика Дрим-тим, в которой рассказываем, как создаём команду мечты.

Для развития нашей команды дизайна, мы остановились на двух инструментах. И они дополняют друг друга.

Первый инструмент: уровни в дизайне

Мы внедрили прозрачную систему роста, которая решает долгосрочные проблемы:

  • дизайнера — «непонятно как получить прибавку к зарплате и куда дальше развиваться, на какие курсы ходить?»;
  • компании — «как систематизировать развитие дизайнеров в нужном направлении?».

Второй инструмент: оценка навыков

Помогает точечно развивать хард и софт-скиллы каждого дизайнера.

Для лучшего понимания работы этих двух инструментов, представьте, что:

  • уровни в дизайне — этот инструмент похож на путеводитель, который показывает весь спектр направлений и точек роста для дизайнера;
  • оценка навыков похожа на приборную панель, по которой можно смотреть показатели и понимать — сможет дизайнер расти в нужном направлении или нет.

image
Читать полностью »

в 13:17, , рубрики: autonomous system, machine learning, mysql, postgresql, Алгоритмы, Анализ и проектирование систем, базы данных, Блог компании Конференции Олега Бунина (Онтико), высокая производительность

Как вы думаете, кто лучше настроит PostgreSQL — DBA или ML алгоритм? И если второй, то пора ли нам задуматься, чем заняться, когда нас заменят машины. Или до этого не дойдет, и важные решения все-таки должен принимать человек. Наверное, уровень изоляции и требования к устойчивости транзакций должны оставаться в ведении администратора. Но индексы уже скоро можно будет доверить машине определять самостоятельно.

Make Your Database Dream of Electric Sheep: Designing for Autonomous Operation - 1

Энди Павло на HighLoad++ рассказал про СУБД будущего, которые можно «потрогать» уже сейчас. Если пропустили это выступление или предпочитаете получать информацию на русском языке — под катом перевод выступления.

Речь пойдет о проекте университета Карнеги-Меллона, посвященном созданию автономных СУБД. Под термином «автономный» подразумевается система, которая может автоматически развертывать, настраивать, конфигурировать себя без какого-либо вмешательства человека. Возможно, потребуется около десяти лет, чтобы разработать что-то подобное, но именно этим заняты Энди и его студенты. Конечно, для создания автономной СУБД необходимы алгоритмы машинного обучения, однако, в этой статье сосредоточимся только на инженерной стороне темы. Рассмотрим, как проектировать программное обеспечение, чтобы сделать его автономным.
Читать полностью »

в 12:09, , рубрики: awk, big data, R, spark, Блог компании Mail.Ru Group, высокая производительность, никто не читает теги, Облачные вычисления, обработка данных
Парсим 25Tb с помощью AWK и R - 1

Как читать эту статью: прошу прощения за то, что текст получился таким длинным и хаотичным. Чтобы сэкономить ваше время, я каждую главу начинаю со вступления «Чему я научился», в котором одним-двумя предложениями излагаю суть главы.

«Просто покажи решение!» Если вы хотите всего лишь увидеть, к чему я пришёл, то переходите к главе «Становлюсь изобретательнее», но я считаю, что интереснее и полезнее почитать про неудачи.

Недавно мне поручили настроить процесс обработки большого объёма исходных последовательностей ДНК (технически это SNP-чип). Нужно было быстро получать данные о заданном генетическом местоположении (которое называется SNP) для последующего моделирования и прочих задач. С помощью R и AWK мне удалось очистить и организовать данные естественным образом, сильно ускорив обработку запросов. Далось мне это нелегко и потребовало многочисленных итераций. Эта статья поможет вам избежать некоторых моих ошибок и продемонстрирует, что же у меня в конце концов получилось.
Читать полностью »

1...1020...373839...5060...170
Рейтинг@Mail.ru
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js