Рубрика «высокая производительность» - 125

в 12:33, , рубрики: AI, big data, BigData, data mining, FlyElephant, high performance computing, HPC, R, анализ данных, Блог компании FlyElephant, Большие данные, видео, высокая производительность, дайджест, искусственный интеллект, Мероприятия, Новости, подкасты, статьи

AI, BigData & HPC Digest #3 - 1

Привет!

Наша команда FlyElephant хочет поздравить всех с наступающим Новым Годом, пожелать всего самого лучшего и успешной реализации всех задуманных проектов в предстоящем году, а чтобы на выходных было что почитать, публикуем свежий номер дайджеста. Сегодня в выпуске традиционная подборка интересных ссылок на новости и материалы по направлениям: искусственный интеллект, большие данные и высокопроизводительные вычисления.

14-го января мы проведем вебинар на тему "Введение в машинное обучение", на котором поговорим об истории и основных понятиях машинного обучения. Рассмотрим популярные задачи/алгоритмы машинного обучения, а также запустим их примеры при помощи платформы FlyElephant и узнаем как возможно использовать данную платформу для решения задач искусственного интеллекта. Зарегистрироваться на вебинар можно здесь.
Читать полностью »

в 7:25, , рубрики: SaaS, search, wrike, Блог компании Wrike, Веб-разработка, высокая производительность, поиск, поисковые системы, поисковые технологии, разработка

Повышаем производительность поиска с помощью партиционирования индекса в Apache Solr - 1

Полнотекстовый поиск используется в Wrike почти повсеместно. Поиск в шапке страницы дает возможность быстрого доступа к последним задачам с сортировкой по дате обновления, с совпадением по названию. Такой вариант поиска представлен в разделах «Моя работа» и «Панель задач».
Поиск в списке задач работает по всем полям: название, описание, имена файлов вложений, авторы, комментарии, дата изменения. Максимальный приоритет у задач, активность по которым связана с текущим пользователем, с фразовым совпадением в названии, описании или в комментариях.
Упрощенный вариант поиска по названиям используется:

  • при расстановке зависимостей для диаграммы Ганта (предшествующая и последующая задачи),
  • при добавлении ссылок на задачи по названиям (меншенинг),
  • при добавлении подзадач.

В этих разделах используется instant search с неявным wildcard: пользователь последовательно вводит u, up, upd, update, а поисковые запросы принимают вид: u*, up*, upd*, update*.
Кроме того, wildcards можно использовать во всех вариантах поиска.
Таким образом, часто приходят “тяжелые” поисковые запросы, вызывающие многократное чтение индекса, повышенную нагрузку по CPU/IO на серверах и, как следствие, общие задержки в обработке запросов в “часы-пик”.
В данной статье мы поделимся своим способом решения проблемы производительности.
Речь пойдет об ускорении поиска при работе с поисковым сервером Apache Solr через партиционирование коллекций. Описанный способ был нами опробован на версиях 4.9.0 и 4.10.2.

Читать полностью »

в 9:30, , рубрики: DNS, html, TTI, Веб-разработка, высокая производительность, ищу работу, Клиентская оптимизация, кэширование запросов, оптимизация сайта, с новым годом, Серверная оптимизация, скорость загрузки, скорость загрузки сайта, Совершенный код

Здравствуйте, меня зовут Александр Зеленин и я веб-разработчик. Я расскажу, как сделать так, чтобы ваш сайт открывался быстро. Очень быстро.

Я хочу, чтобы сайты открывались мгновенно - 1
Читать полностью »

в 4:20, , рубрики: c++, fpga, fpga/asic, hardware, hardware acceleration, systemc, Verilog, аппаратная реализация, аппаратное ускорение, высокая производительность, системное программирование, схемотехника

Разработка цифровой аппаратуры на C++-SystemC глазами SystemVerilog программиста - 1

SystemC это библиотека для C++ позволяющая моделировать всевозможные аппаратные системы на различном уровне абстракции. Поддерживается как традиционное дискретно-событийное моделирование, привычное программистам на Verilog и VHDL, так и аналоговое моделирование в духе SPICE/Verilog AMS. В комплект также входит библиотека и методология для виртуального прототипирования, библиотеки для написания тестовых окружений и верификации с использованием рандомизированных тестов.

В этой я расскажу о синтезируемом подмножестве SystemC, сравнивая его с синтезируемым SystemVerilog. Сам я пользуюсь SystemC уже где-то 3 года, а до этого несколько лет писал на Verilog/SystemVerilog. Попытаюсь охватить предмет с разных сторон: начиная с философских рассуждений о причинах возникновения SystemC, краткого обзора экосистемы и инструментария и заканчивая практическими примерами синтаксиса и семантики.

Подразумевается, что читатели знакомы с Verilog и C++.Читать полностью »

в 7:44, , рубрики: all-flash, NetApp, SAN, SolidFier, ssd, высокая производительность, ит-инфраструктура, хранение данных

NetApp, inc заключила договор о покупке SolidFire, inc за 870 млн дол. США наличными.

Основанная в 2010, SolidFire является производителем All Flash хранилищ для ЦОД нового поколения, где простое масштабирование и управление в виде «настроил и забыл» обеспечивает производительность и совместную среду Multy-Tenancy.

Компания NetApp объявила о покупке SolidFire - 1

С SolidFire NetApp даст новое предложение которое будет покрывать каждую из трех частей рынка All Flash хранилищ:

  • Для традиционных инфраструктур Enterprise заказчиков, NetApp All Flas FAS (AFF), продуктовая линейка которая предоставляет функции и возможности Enterprise уровня.
  • Для владельцев приложений, NetApp EF серию продуктов показывающих невероятно высокие значения производительности вместе с тем низкую скорость отклика (Latency) согласно открытому тестированию SPC-1, а также высокую доступность «шесть девяток».
  • Для заказчиков с инфраструктурами нового поколения, продукты от SolidFire, распределённые, самовосстанавливающиеся и расширяющуюся архитектуру, доступную цену и простое управление.

SolidFire активен в облачном сообществе и предоставляет интегрировать уравление хранением при помощи VMware vCenter plug-in, VAAI, SRM, OpenStack driver, CloudStack plug-in, Microsoft VSS provider, PowerShell, VMware SRM/SRA и других облачных решений.

Через время продукты SolidFire будут интегрированы в парадигму NetApp DataFabric предоставляя бесшовное управление облачными ресурсами, а также ресурсами flash- и дисковых масивов.
Читать полностью »

в 12:26, , рубрики: mail.ru, meetup, nosql, tarantool, Администрирование баз данных, Блог компании Mail.Ru Group, высокая производительность, Серверная оптимизация

Приглашаем на Tarantool meetup 28 января - 1

28 января 2016 года в московском офисе Mail.Ru Group пройдёт вторая встреча Tarantool meetup. Если кто-то ещё не знает: Tarantool — это NoSQL In-Memory СУБД с открытым исходным кодом, создающаяся для обеспечения максимально возможной производительности. На втором митапе мы рассмотрим главные преимущества и особенности Tarantool, расскажем о своём опыте использования этого продукта и планах на будущее. В первую очередь эта встреча будет интересна разработчикам, Unix-сисадминам и прочим специалистам, так или иначе работающим с базами данных. Программу встречи смотрите под катом.
Читать полностью »

в 12:18, , рубрики: CUDA, gpgpu, opencl, Блог компании AMD, Видеокарты, высокая производительность, Железо, общие вычисления на видеокартах, параллельные вычисления, суперкомпьютеры

Недавно мы рассказывали про HSA и в ходе обсуждения преимуществ нового подхода к построению ПК затронули такую интересную тему, как GPGPU — вычисления общего назначения на графическом ускорителе. Сегодня видеоускорители AMD предоставляют доступ к своим ресурсам с помощью OpenCL — фреймворка, обеспечивающего сравнительно простое и понятное программированое высокопараллельной системы.

OpenCL в повседневных задачах - 1


Сегодня технологии OpenCL поддерживаются всеми основными игроками на рынке: возможность предоставить программам доступ к «продвинутому» ускорению (к тому же бесплатная, т.к. OpenCL не подразумевает каких-либо отчислений и роялти) явно того стоит, а от универсальности таких API выигрывают все, кто реализует поддержку OpenCL в своих продуктах.

Подробнее о том, где сегодня можно встретить OpenCL в повседневной жизни, как он ускоряет обычный офисный софт и какие возможности открывает разработчикам сегодня и поговорим.
Читать полностью »

в 13:08, , рубрики: ibm watson, Блог компании IBM, высокая производительность, здоровье, когнитивные системы, Облачные вычисления

IBM Watson поможет лечить детей с редкими заболеваниями - 1

Корпорация IBM предоставила Бостонской детской больнице доступ к когнитивной платформе IBM Watson. Сделано это для того, чтобы помочь медикам локализовать редкие виды заболеваний у детей и определить возможные методы их лечения. На первом этапе Watson будет заниматься различными заболеваниями почек. Для этого система уже сейчас анализирует огромные базы научной литературы и базы данных медицинских заболеваний, которые находятся в облачной системе Watson Health Cloud.

Изначальная цель — сравнение генетических мутаций с заболеваниями, что, возможно, облегчит задачу установления диагноза и поиска необходимого метода лечения для врачей. Несмотря на то, что заболевания, о которых идет речь, довольно редкие, более 350 миллионов человек по всему миру страдают ими. И 50% пациентов — это дети. Некоторые из них, к сожалению, умирают еще до постановки точного диагноза. Причин несколько, и основная — лишь малая толика врачей обладает необходимым для постановки правильного диагноза опытом и знаниями.
Читать полностью »

в 12:18, , рубрики: AI, big data, BigData, FlyElephant, high performance computing, HPC, Hub IT School, Алгоритмы, анализ данных, Блог компании FlyElephant, Большие данные, высокая производительность, искусственный интеллект, машинное обучение, Мероприятия

Hub AI&BigData meetup #1 - 1

26 декабря наша команда FlyElephant примет участие во встречи Hub AI&BigData meetup, посвященной большим данным и искусственному интеллекту. Мероприятие будет проходить в Одессе и начнется в 11.00. Для всех, кто не сможет прийти, будет организована онлайн-трансляция.
Читать полностью »

в 12:53, , рубрики: mail.ru, nosql, tarantool, Администрирование баз данных, Блог компании Mail.Ru Group, высокая производительность, Серверная оптимизация

Как сэкономить миллион долларов с помощью Tarantool - 1

Для чего используются базы данных, ведь есть старые добрые файлы? Чем они хуже базы данных или чем база данных лучше файлов? БД — более структурированное хранилище. Она позволяет делать транзакции, запросы и так далее. Самый простой случай: есть сервер с базой данных и несколько приложений, которые делают запросы к серверу. База данных отвечает, меняет что-то внутри себя, и всё хорошо ровно до того момента, пока нагрузка на неё не вырастает настолько, что база данных перестаёт справляться.

Если допустить, что это только нагрузка на чтение, то проблема решается репликацией. Вы можете ставить к базе данных столько реплик, сколько нужно, и все чтения пускать на реплику, а все записи — на мастер. Если же на базу данных идёт нагрузка на запись, то репликация эту проблему не решает, ведь запись должна осуществляться на все реплики. Таким образом, сколько бы вы их ни ставили, вы не уменьшите нагрузку на запись из расчёта на одну машину. Тут на помощь приходит шардинг.

Если база не держит нагрузку на запись, то шарды можно добавлять до бесконечности. Шард устроен сложнее, чем реплика, потому что нужно как-то распределить данные по таблицам или внутри таблицы, по хэшу, по range — есть множество разных вариантов. Таким образом, добавляя реплики и шарды, вы можете делить любую нагрузку на базу данных. Казалось бы, больше желать нечего, о чём дальше говорить?
Читать полностью »

1...1020...124125126...130140...170
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js