Рубрика «высокая производительность» - 81

в 7:00, , рубрики: Администрирование баз данных, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, высоконагруженные проекты, высокопроизводительные вычисления, высокопроизводительные системы, Программирование, Разработка веб-сайтов

image

Отличная новость — как и в прошлом году мы будем транслировать главный зал HighLoad++ с самыми интересными докладами совершенно бесплатно!

Трансляция HighLoad++

Не забудьте нажать на "Напомнить", а также подписаться на наш канал. Мы постоянно выкладываем в нём видеозаписи наших докладов.

Транслироваться в открытом доступе будет только главный зал, если вы хотите посмотреть остальные 9 залов, то можете приобрести и закрытый доступ.

Полное расписание доступно на сайте (PDF, HTML), а подкатом мы расскажем о самых интересных докладах.
Читать полностью »

в 12:37, , рубрики: mail.ru, tarantool, tarantool-queue, Алгоритмы, Анализ и проектирование систем, Блог компании Mail.Ru Group, высокая производительность, Разработка веб-сайтов, событийное программирование

Tarantool: когда на сервис оповещения миллиона пользователей нужно 500 строк кода - 1

Tarantool — это не просто база данных. Tarantool — это app-сервер с базой данных на борту, поэтому для реализации кое-каких вещей, на которые люди тратят большое количество времени, с Tarantool нужно очень немного ресурсов.

На написание данной статьи меня натолкнула эта статья.

Очень много людей в IT-мире занимается одним и тем же. Расскажу о своем опыте решения этих же проблем.

Читать полностью »

в 4:47, , рубрики: Microsoft SQL Server, MS Sql Server, postgresql, Анализ и проектирование систем, Блог компании 2ГИС, высокая производительность, Геоинформационные сервисы, картография, карты, разработка, тайлы

Как мы делаем карту для тех, кто делает карту - 1

Продуктами 2ГИС пользуются 30 млн горожан. Чтобы огромный набор данных попал к конечному пользователю, мы используем множество внутренних продуктов, о которых очень редко рассказываем.

Однажды на Хабре уже была статья о нашем внутреннем продукте — векторном редакторе геометрий. Чудеса нейминга привели нас к трём точкам — Fiji. До них проект назывался так: «Новая карта» → «Новая новая карта» → «Новая новая новая карта». Три года назад мы приступили к реализации Fiji и рассказали о прототипировании UI, сегодня — погрузимся в технические детали и расскажем о том, как создать быстрый и надежный ГИС-редактор.
Читать полностью »

в 8:36, , рубрики: elasticsearch, Facebook, highload, highload fwdays'17, machine learning, Блог компании DataArt, высокая производительность, высоконагруженные проекты, конференции, конференция, машинное обучение

Обзор конференции Highload fwdays’17 - 1

14 октября в Киеве прошла конференция Highload fwdays, посвященная высоконагруженным проектам, работе с базами данных и архитектурой, в частности, микросервисами, машинному обучению и Big Data. DataArt был спонсором конференции. А наши коллеги Игорь Мастерной (лидер Java-сообщества DataArt Киев) и Анна Колот (.NET, SharePoint Developer) рассказали о докладах, на которых они побывали.

Детально с программой конференции можете ознакомиться тут.

Начнем обзор с доклада Дмитрия Охонько из Facebook про Log Device. “Yet another log storage”, — подумаете вы. Вы бы были правы, но этот Log Storage на общем фоне выделяется своими создателями. Заявленная пропускная способность у Facebook — 1TB/s. И узнать, как они справляются с обработкой такого объема данных, было интересно.Читать полностью »

в 8:10, , рубрики: anaconda, google cloud, Google Cloud Platform, jupyter notebook, виртуализация, высокая производительность, машинное обучение, Облачные вычисления

Решение тяжёлых задач машинного обучения на стационарных компьютерах дело неблагодарное и малоприятное. Представьте, что вы на домашнем ноутбуке делаете ансамбль из N нейронных сетей для изучения лесов Амазонки на ноутбуке. Сомнительное удовольствие, тем более, что сейчас есть прекрасный выбор облачных сервисов для этих целей — Amazon Web Services, Google Cloud Platform, Microsoft Azure и прочие. Некоторые даже относительно бесплатны и предоставляют видеокарты.

image

Мы будем настраивать VM на Google Cloud Platform с нуля. Бонусом — стартовые 300$ на год на один gmail аккаунт. Поехали.

  1. Создание и настройка Virtual Machine Instances
  2. Настройка сетевых параметров
  3. Установка Anaconda и дополнительных пакетов
  4. Настройка Jupyter Notebook
  5. Настройка File TransferЧитать полностью »

в 7:26, , рубрики: java, joker, joker2017, jokerconf, Блог компании JUG.ru Group, высокая производительность, конференция, параллельное программирование, трансляция

Бесплатная YouTube-трансляция Joker 2017: Java 9, Concurrency, GC, Spring и, конечно, паззлеры - 1

Круг замкнулся. Ровно год назад мы провели открытую трансляцию Joker 2016 для всех тех, у кого не было возможности зарегистрироваться. С тех пор мы провели более десятка трансляций с конференций по .NET, JavaScript, DevOps, мобильным технологиям, тестированию и Java, само собой.

Что стало лучше за год? Мы отработали технологию, пофиксили пару уязвимостей, начали транслировать через YouTube (а не через кастомный интерфейс), научились задавать вопросы от участников трансляции, забанили добрую сотню троллей, научились проводить интервью в перерывах без задержек и проволочек, начали делать трансляцию в 1440р… наверное, есть что-то еще.

Собственно, уже совсем скоро вы сможете увидеть, что у нас получилось — 3 ноября в 9:30 утра мы начнем двухдневную бесплатную трансляцию главного трека Joker 2017. Трансляция будет идти с одним перерывом «на сон». А еще она будет в разрешении 1440р, так что в кои-то веки вам понадобятся ваши крутые мониторы.

В программу вошли доклады Cay Horstmann, Алексея Шипилёва, Баруха jbaruch Садогурского, Тагира lany Валеева, Николая xpinjection Алименкова, Евгения EvgenyBorisov Борисова, Сергея Milfgard Абдульманова и еще кое-кого.

Интересно? Давайте под кат.
Читать полностью »

в 10:12, , рубрики: AMQP, erlang, Erlang/OTP, RabbitMQ, stomp, tensor, Блог компании Тензор, высокая производительность, СБИС, Серверная оптимизация, Системы обмена сообщениями, тензор

Почти в самом начале создания платформы (некоего фундамента, фреймворка на котором базируются все прикладные решения) нашего облачного веб-приложения СБИС мы поняли, что без инструмента, позволяющего сообщить пользователю о каком-либо событии с сервера, жить будет довольно-таки трудно. Все мы хотим мгновенно видеть новое сообщение от коллеги (которому лень пройти 10 метров), поднимающую корпоративный дух новость от руководства, очень важную задачу от отдела тестирования или получение поощрения (особенно денежного). Но путь становления был тернист, поэтому расскажем немного про трудности, которые мы встретили при взрослении от 5.0e3 до 1.0e6 одновременных подключений от пользователей.

Сервис оповещения миллиона пользователей с помощью RabbitMQ - 1Читать полностью »

в 14:12, , рубрики: 2k, 4k, post-production, xsan, Блог компании RAIDIX, высокая производительность, Серверное администрирование, СХД, файловая система, хранение данных

Совместный доступ с RAIDIX и Apple Xsan. Яблочный спас для видеомонтажеров - 1

Эффективное хранение файлов большого размера в различных отраслях становится непростой задачей. Так, в медиаиндустрии используются колоссальные объемы контента. Учитывая, что цифровое видео формата 2K или 4K требует в 4 раза больше свободной емкости, чем файлы стандартного высокого разрешения, художественный фильм средней продолжительности может занимать от 2 (в формате Full HD) до 15 (в 8К) терабайт данных.

Специалисты студии оперируют файлами терабайтных размеров и осуществляют видеомонтаж, цветокоррекцию и окончательную обработку материала с помощью ресурсоемких профессиональных приложений.
Читать полностью »

в 12:07, , рубрики: Анализ и проектирование систем, артем денисов, архитектура, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, масштабируемость, Серверная оптимизация, системы хранения данных, хранилища данных

Архитектура хранения и отдачи фотографий в Badoo - 1

Артем Денисов ( bo0rsh201, Badoo)

Badoo — это крупнейший в мире сайт знакомств. На данный момент у нас зарегистрировано порядка 330 миллионов пользователей по всему миру. Но, что гораздо более важно в контексте нашего сегодняшнего разговора, — это то, что мы храним около 3 петабайт пользовательских фотографий. Каждый день наши пользователи заливают порядка 3,5 миллионов новых фотографий, и нагрузка на чтение составляет порядка 80 тысяч запросов в секунду. Это достаточно много для нашего бэкенда, и с этим иногда бывают трудности.

image

Я расскажу про дизайн этой системы, которая хранит и отдает фотки в целом, и приведу на нее взгляд с точки зрения разработчика. О том, как она развивалась, будет краткая ретроспектива, где я основные вехи обозначу, но уже более подробно буду говорить только о тех решениях, которые мы сейчас используем.
Читать полностью »

в 8:57, , рубрики: algorithmic trading, fpga, HFT-трейдинг, high performance, pre-trade, risk checks, Анализ и проектирование систем, высокая производительность, Программирование, стартапы; команда; опыт

Мы уже 2 года плотно общаемся с HFT трейдерами и разработчиками решений для HFT торговли. И испытываем некоторую неловкость от того, что никто в этой среде открыто не рассказывает о своих технологических успехах. Так как мы делаем устройства на основе FPGA CEPappliance, применимые в том числе для HFT торговли, мы неустанно интересуемся кто и как использует FPGA в этой сфере. Складывается навязчивое впечатление, что FPGA в HFT торговле, как секс у подростков — все о них говорят, но мало кто ими занимается, да еще и успешно.
Читать полностью »

1...1020...808182...90100...170
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js