Согласно данным аналитического агентства IDC, всего через 3 года объем рынка специализированного ПО, работающего с Big Data, может составить 203 миллиарда долларов. Сейчас он оценивается в 130 миллиардов, но спрос со стороны банковского сектора, страховых и телекоммуникационных компаний только растет.
Сегодня мы расскажем о том, какие аналитические задачи на стыке сфер страхования и «больших данных» решают проекты Университета ИТМО.
В мае вышла новая мажорная версия Apache Ignite — распределенной платформы, оптимизированной для работы с оперативной памятью, которая объединяет в себе хранилище вида ключ-значение с SQL99-совместимой базой данных, предлагая полную ACID-совместимость, высокую доступность, а также близкое к линейному масштабирование с нескольких узлов до тысяч, которые могут размещаться на собственном оборудовании либо в облаке. Ядро Apache Ignite написано на Java, но платформа, помимо экосистемы Java, поддерживает нативную интеграцию с приложениями на .NET и C++.
Apache Ignite эластично масштабируется в рамках одного или нескольких геораспределенных кластеров, предоставляя гибко настраиваемое шардирование и автоматическую ребалансировку при динамическом добавлении или удалении узлов, обеспечивая прозрачный и быстрый доступ к данным и вычислениям путем использования собственного API либо классического SQL.
В версии 2.0 были значительно переработаны многие вещи «под капотом», следствием стала возможность реализации ряда значительных функциональных изменений, часть из которых заметна уже сейчас, а часть появится в ближайших версиях.
Забегая вперед, мы будем проводить 2 мероприятия, которые связаны с Apache Ignite, подробнее о них можно прочитать в конце статьи.
Пара пассажиров Яндекс.Такси рассказала через Facebook, что у них различается цена на одинаковую поездку. Пассажиры наткнулись на метод, по которому, при сохранении времени поездки и расстояния, они смогут сделать своё путешествие дороже на 100 рублей. В комментариях к наблюдениям потенциальных пассажиров, Читать полностью »
О том, что за BigData помноженной на искусственный интеллект стоит невероятное будущее написано уже чуть ли не больше, чем собрание сочинений братьев Стругацких и Жуля Верна вместе взятых. Все они, и не совсем без основательно, утверждают, что собранные огромные массивы данных, обработанные с помощью, например, Deep Learning смогут уже сегодня выявить всех мошенников, предотвратить сомнительные сделки и предсказать самые высокодоходные рынки. Сама же по себе финансовая отрасль станет полностью автоматизированной под управлением мудрого искусственного интеллекта.
Наверное, так и будет до некоторой степени. Уже сегодня степень автоматизации достигла такого уровня, который еще 10 лет назад казался фантастикой. Все так… Но, как известно, «мелочи» могут привнести множество сюрпризов. Одной из таких мелочей является тот факт, что львиная доля всех данных, которые можно и нужно было бы использовать в задачах борьбы с мошенничеством, прогнозированием рынков представляют собой текстовые данные. Количество ежедневно порождаемых письменных, видео и других данных составляет миллиарды строк, анализ которых с помощью операторов практически бесполезен. Кто-то может, поспорить, что все не так и большинство данных представляют собой обычные таблицы, которые хорошо обрабатываются статистическими методами. И, казалось бы, он будет прав. Банки из TOP-30 рапортуют о широком использовании BigData. Читать полностью »
Термином «визуализация данных» сейчас никого не удивишь. Классных примеров визуализации в сети становится всё больше, и я уверена, что многиее с удовольствием исследуют их и делятся интересными находками с друзьями в соцсетях. А кто из вас задумывался, какую пользу визуализация данных может принести в вашей повседневной работе или для вашего бизнеса?
17, 18 и 19 июня в Москве пройдёт учебный курс по визуализации данных. Этот курс не для всех, мы адресуем его аналитикам, дизайнерам интерфейсов, разработчикам и руководителям проектов, которые имеют дело со сложными данными. Но мне кажется, что далеко не все, кому курс будет полезен, задумываются о таком обучении.
Я расскажу, зачем специалисту или менеджеру идти на наш курс, какие знания и навыки он получит. Буду рада, если эти причины зацепят кого-то из читателей, подтолкнут к самостоятельным исследованиям или приведут в нашу уютную учебную группу.
31 мая в офисе Mail.Ru Group состоится традиционная встреча сообщества Moscow Data Science. Вы сможете обменяться профессиональным опытом решения практических задач анализа данных и пообщаться в неформальной обстановке. В программе встречи три доклада, подробности читайте под катом.
Читать полностью »
Говорят, что в будущем ИИ станут настолько умнее, что лишат нас работы, потом ресурсов, и люди вымрут. Так ли это? Под катом интересное мнение Кевина Келли. Если у вас все хорошо с английским, то оригинал публикации вы сможете найти тут. Читать полностью »
В апреле 2017 года во Франции запущена национальная система данных о здоровье, объединяющая данные о здоровье пациентов из различных источников (« Système national des données de santé » — SNDS).
Система является уникальной в Европе. Она объединяет в себе уже существующие базы данных страховых компаний, больниц, информацию о смертельных случаях и информацию об инвалидности. Эти объединенные данные предполагается использовать для проведения медицинских исследований на основе больших данных и в отношении длящихся заболеваний.
Содержание системы. В систему включены данные о Читать полностью »
В последнее время имена GridGain и Apache Ignite нередко мелькают в интернетах. Однако, судя по комментариям (например, здесь), мало кто понимает, что же это за продукт и с чем его едят.
В этой статье я попытаюсь доступным языком объяснить, и на примерах кода показать, что умеет Apache Ignite.
В этой статье я продолжу рассказ о своем опыте работы с Microsoft Analysis Services. В дополнение к предыдущей статье, я хочу написать про нестандартные решения, которые были сделаны в последнем проекте. Эти решения более тесно сблизили меня с Microsoft Analysis Services, я стал больше его уважать и делать с его помощью то, что ранее мне казалось невероятным.
Читать полностью »
