Рубрика «обработка данных» - 4

Никита Иванов (GridGain): «Мы делаем космические корабли» - 1

Компания GridGain Systems, разработчик программных решений на базе Apache Ignite, предоставила клиентам доступ к решениям GridGain In-Memory Data Fabric на облачной платформе Microsoft Azure. Это позволит компаниям-поставщикам финансовых услуг использовать возможности интегрированных облачных служб Microsoft для быстрого развертывания продуктов GridGain и перенести вычисления в оперативную память компьютера.

По оценке аналитиков из IDC, к 2019 году рынок данных вырастет на 50% до $187 миллиардов. Отдельную ценность имеют вычисления в режиме реального времени.

GridGain — один из лидеров в этом сегменте. Будучи небольшим стартапом, компании удалось обойти крупных конкурентов и заключить контракты по всему миру. Причина успеха компании — технологическое ноу-хау? Или, может быть, просто везение?

О нелегкой судьбе наукоемкого ИТ-стартапа, о конкуренции на рынке данных и его перспективах мы поговорили с основателем и генеральным директором компании Никитой Ивановым.Читать полностью »

Как мы искали компромисс между точностью и полнотой в конкретной задаче ML - 1

Я расскажу о практическом примере того, как мы формулировали требования к задаче машинного обучения и выбирали точку на кривой точность/полнота. Разрабатывая систему автоматической модерации контента, мы столкнулись с проблемой выбора компромисса между точностью и полнотой, и решили ее с помощью несложного, но крайне полезного эксперимента по сбору асессорских оценок и вычисления их согласованности.
Читать полностью »

Компания Gartner — исследовательская и консалтинговая компания, специализирующаяся на рынках информационных технологий — опубликовала свой очередной «магический квадрант» по рынку сетевых технологий ЦОД. Расскажем вам о важных моментах из отчета, а также об оценке одного из лидеров — Arista Networks.

Магический квадрант Gartner по рынку сетевых технологий ЦОД: Arista Networks в лидерах - 1

Читать полностью »

В новом выпуске «Черной археологии датамайнинга» мы немного поиграемся в шпионов. Увидим, что может узнать обычный Data Specialist на основе открытых в сети данных.

Всё началось со статьи на хабре, о том, что некий анинимный хакер делился слитыми в сеть данными агентов ФБР. Я получил эти данные, и стал смотреть, что с ними можно сделать? В данных есть только фамилия, имя, и служебные мейлы и телефон – немного информации.

Fbi Detected: Как я обнаружил агентов ФБР - 1

Получив эти данные, я увидел, что они заканчиваются буквой J. То есть, датасет не полон. Интресено, каков его полный размер? Чтобы узнать его, надо построить статистику частоты встречаемости фамилий.

Для этого я начал искать наборы американских фамилий, и тут меня ждало открытие – в Америке можно найти открытые данные по, скажем, избирателям штата – как я понял, совершенно легально. Например, я за полчаса без проблем получаю данные всех избирателей штата Юта.

Читать полностью »

Мы уже начинали говорить о персональных данных, их сборе и обработке. Но, об этом можно говорить бесконечно и мы продолжим. В прошлый раз мы говорили об изменениях в законе, но не учли самого главного — САМ ЗАКОН ВЫ НЕ ЧИТАЛИ!.. И, судя по обратной связи, информация требует более детальной проработки.
Поэтому мы несколько раз перечитали все законы и дополнения к ним. Сделали из него эдакую выжимку. Четко по пунктам расписав основные его нормы и требования.
Основы обработки персональных данных - 1Читать полностью »

Все погодные аномалии 2015 года за 8 минут - 1

Привет читатели и почитатели !

На днях Европейская организация по эксплуатации метеорологических спутников (EUMETSAT) совместно с коллегами из метеорологических агентств Японии и США опубликовала видео, которое вобрало все данные наблюдений за погодой в течение ушедшего 2015 год.

Два полушария, 12 месяцев и 8 минут отличной визуализации данных ждут Вас под катом!
Читать полностью »

«Ростелеком» открыл технологический центр в области обработки больших данных для прогнозирования оттока клиентов, расширения тарифной линейки и оптимизации услуг компании. Оператор в 2015 году планировал инвестировать в направление Big Data до 800 миллионов рублей, пишет «Коммерсант».
Читать полностью »

В сентябре 2015 года Федеральный закон о персональных данных претерпел серьезные изменения. Мы с вами сейчас внимательно их рассмотрим, чтобы понимать, как это все будет работать в реалиях Рунета. Юристы наши много раз говорили о ПДн и до вступления изменений в силу. И вот час настал, и все, что раньше только размусоливалось в теории, теперь введено в работу. Увы, мы пока не прорвались с докладом на главные каналы страны и все, что нам остается, писать сюда. Итак, приступим.
Закон «О персональных данных» все что вы хотели знать, но боялись спросить - 1Читать полностью »

Закон о персональных данных будет действовать избирательно — некоторые отрасли, которые попадают под действие международных соглашений или профильного законодательства, могут не переносить данные российских пользователей в РФ. Об этом сообщил министр связи Николай Никифоров, пишут «Ведомости». К сожалению, никаких конкретных примеров министр не привел.

Вадим Ампелонский, представитель Роскомнадзора, подтверждает слова министра. По словам Ампелонского, закон допускает некоторые исключения, именно по этой причине с 1 сентября этого года процесс выдачи виз не осложнится.
Читать полностью »

Есть темы, по которым очень мало статей по специальности data science, но которые представляют интерес для специалистов по безопасности. Это статистические исследования логинов и паролей пользователей – данные, добытые «черными археологами» дата майнинга.

image

Мне было интересно посмотреть некоторые закономерности и для этой цели я взял базу данных паролей, утёкших в 2014 году – от Яндекса, Гугла и Мейлру, объемом 6 миллионов записей.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js