Привет! Наборы данных для Big Data и машинного обучения экспоненциально растут и надо успевать их обрабатывать. Наш пост о еще одной инновационной технологии в области высокопроизводительных вычислений (HPC, High Performance Computing), показанной на стенде Kingston на Supercomputing-2019. Это применение Hi-End систем хранения данных (СХД) в серверах с графическими процессорами (GPU) и технологией шины GPUDirect Storage. Благодаря прямому обмену данными между СХД и GPU, минуя CPU, на порядок ускоряется загрузка данных в GPU-ускорители, поэтому приложения Big Data выполняются на максимуме производительности, которую обеспечивают GPU. В свою очередь, разработчиков HPC-систем интересуют достижения в области СХД с высочайшей скоростью ввода/вывода — таких, какие выпускает Kingston.
Рубрика «анализ больших данных»
5.8 млн IOPS: зачем так много?
2019-12-30 в 12:13, admin, рубрики: DC1000, ssd, SSD Kingston, SSD для сервера, анализ больших данных, Архитектура хранения, Блог компании Kingston Technology, высокая производительность, Накопители, накопитель, Облачные вычисления, облачные провайдеры, система хранения, условия вычислений, хранение данных
[Supercomputing 2019]. Мультиоблачное хранилище как сфера применения новых накопителей Kingston DC1000M
2019-12-06 в 14:04, admin, рубрики: DC1000, ssd, SSD Kingston, SSD для сервера, анализ больших данных, Архитектура хранения, Блог компании Kingston Technology, высокая производительность, Накопители, накопитель, Облачные вычисления, облачные провайдеры, система хранения, условия вычислений, хранение данныхПредставьте, что вы запускаете инновационный медицинский бизнес — индивидуальный подбор лекарств на основе анализа генома человека. У каждого пациента 3 миллиарда пар генов, и обычному серверу на процессорах х86 потребуется несколько дней на расчеты. Вы знаете, что ускорить процесс можно на сервере с процессором FPGA, который распараллеливает вычисления на тысячи потоков. Он выполнит расчет генома примерно за час. Такие серверы можно взять в аренду в Amazon Web Services (AWS). Но вот незадача — заказчик в лице госпиталя категорически против помещения генетических данных в облако провайдера. Как быть? Kingston и облачный стартап показали на выставке Supercomputing-2019 архитектуру Private MultiCloud Storage (PMCS), которая решает такую задачу.
![[Supercomputing 2019]. Мультиоблачное хранилище как сфера применения новых накопителей Kingston DC1000M - 1](https://www.pvsm.ru/images/2019/12/06/Supercomputing-2019-multioblachnoe-hranilishe-kak-sfera-primeneniya-novyh-nakopitelei-Kingston-DC1000M.jpg "[Supercomputing 2019]. Мультиоблачное хранилище как сфера применения новых накопителей Kingston DC1000M - 1")
Технологии «Яндекса» для анализа больших данных сэкономят Магнитогорскому металлургическому комбинату $3–9 млн в год
2015-08-19 в 11:44, admin, рубрики: big data, анализ больших данных, бизнес-модели, машинное обучение, Монетизация IT-систем, рынок больших данных, яндексКомпания «Яндекс» заключила контракт с Магнитогорским металлургическим комбинатом (ММК) по созданию проекта «Снайпер», оптимизирующего процессы плавки стали. Оптимизацией займется подразделение Yandex Data Factory занимающееся внедрением технологий анализа больших данных (big data).
Эти технологии используют, чтобы определить оптимальное количество ферросплавов и добавок при производстве стали, исходя из данных по исходному составу и массе и заданных характеристик конечного продукта. Впоследствии решения о составе добавок будут приниматься на основе рекомендаций созданной системы анализа.Читать полностью »
EBay выпустила инструмент с открытым программным кодом Pulsar для укрощения больших данных
2015-03-03 в 19:27, admin, рубрики: ebay, анализ больших данных, аналитика, Аналитика мобильных приложений, Большие данные, инструменты анализа, контекстная реклама, контент-маркетинг, опенсорс, Повышение конверсии, Управление e-commerce, электронная коммерция, метки: большие данныеОгромное количество неструктурированной информации — это проблема для eBay, грамотное решение которой позволит персонализировать контент, найти мошенников и повысить прибыль. Поэтому инженеры компании создали новый инструмент для обработки больших данных Pulsar.
Инструмент доступен для всех по опенсорсной лицензии, прямо сейчас он есть на GitHub.
