Компания Gartner — исследовательская и консалтинговая компания, специализирующаяся на рынках информационных технологий — опубликовала свой очередной «магический квадрант» по рынку сетевых технологий ЦОД. Расскажем вам о важных моментах из отчета, а также об оценке одного из лидеров — Arista Networks.
В новом выпуске «Черной археологии датамайнинга» мы немного поиграемся в шпионов. Увидим, что может узнать обычный Data Specialist на основе открытых в сети данных.
Всё началось со статьи на хабре, о том, что некий анинимный хакер делился слитыми в сеть данными агентов ФБР. Я получил эти данные, и стал смотреть, что с ними можно сделать? В данных есть только фамилия, имя, и служебные мейлы и телефон – немного информации.
Получив эти данные, я увидел, что они заканчиваются буквой J. То есть, датасет не полон. Интресено, каков его полный размер? Чтобы узнать его, надо построить статистику частоты встречаемости фамилий.
Для этого я начал искать наборы американских фамилий, и тут меня ждало открытие – в Америке можно найти открытые данные по, скажем, избирателям штата – как я понял, совершенно легально. Например, я за полчаса без проблем получаю данные всех избирателей штата Юта.
Мы уже начинали говорить о персональных данных, их сборе и обработке. Но, об этом можно говорить бесконечно и мы продолжим. В прошлый раз мы говорили об изменениях в законе, но не учли самого главного — САМ ЗАКОН ВЫ НЕ ЧИТАЛИ!.. И, судя по обратной связи, информация требует более детальной проработки.
Поэтому мы несколько раз перечитали все законы и дополнения к ним. Сделали из него эдакую выжимку. Четко по пунктам расписав основные его нормы и требования.
Читать полностью »
Привет читатели и почитатели !
На днях Европейская организация по эксплуатации метеорологических спутников (EUMETSAT) совместно с коллегами из метеорологических агентств Японии и США опубликовала видео, которое вобрало все данные наблюдений за погодой в течение ушедшего 2015 год.
Два полушария, 12 месяцев и 8 минут отличной визуализации данных ждут Вас под катом!
Читать полностью »
«Ростелеком» открыл технологический центр в области обработки больших данных для прогнозирования оттока клиентов, расширения тарифной линейки и оптимизации услуг компании. Оператор в 2015 году планировал инвестировать в направление Big Data до 800 миллионов рублей, пишет «Коммерсант».
Читать полностью »
В сентябре 2015 года Федеральный закон о персональных данных претерпел серьезные изменения. Мы с вами сейчас внимательно их рассмотрим, чтобы понимать, как это все будет работать в реалиях Рунета. Юристы наши много раз говорили о ПДн и до вступления изменений в силу. И вот час настал, и все, что раньше только размусоливалось в теории, теперь введено в работу. Увы, мы пока не прорвались с докладом на главные каналы страны и все, что нам остается, писать сюда. Итак, приступим.
Читать полностью »
Закон о персональных данных будет действовать избирательно — некоторые отрасли, которые попадают под действие международных соглашений или профильного законодательства, могут не переносить данные российских пользователей в РФ. Об этом сообщил министр связи Николай Никифоров, пишут «Ведомости». К сожалению, никаких конкретных примеров министр не привел.
Вадим Ампелонский, представитель Роскомнадзора, подтверждает слова министра. По словам Ампелонского, закон допускает некоторые исключения, именно по этой причине с 1 сентября этого года процесс выдачи виз не осложнится.
Читать полностью »
Есть темы, по которым очень мало статей по специальности data science, но которые представляют интерес для специалистов по безопасности. Это статистические исследования логинов и паролей пользователей – данные, добытые «черными археологами» дата майнинга.
Мне было интересно посмотреть некоторые закономерности и для этой цели я взял базу данных паролей, утёкших в 2014 году – от Яндекса, Гугла и Мейлру, объемом 6 миллионов записей.
Читать полностью »
Пока маркетологи обмазываются BigData и бегают в таком виде на пресс-конференциях, я предлагаю просто скачать бесплатный инструмент с тестовыми наборами данных, шаблонами процессов и начать работать.
Закачка, установка и получение первых результатов — минут 20 максимум.
Я говорю про RapidMiner — опенсорсную среду, которая при всей своей бесплатности некисло «уделывает» коммерческих конкурентов. Правда, сразу скажу, что разработчики всё равно её продают, а в опенсорс отдают только предпоследние версии. Дома можно попробовать потому, что есть вообще бесплатные сборки со всей-всей логикой с всего лишь двумя ограничениями — максимальный объем используемой памяти 1 Гб и работа только с обычными файлами (csv, xls и т.п.) в качестве источника данных. Естественно, в малом бизнесе это тоже не проблема.Читать полностью »
Потрясающее видео на днях опубликовало NOAA Climate — или по-русски Национальное управление океанических и атмосферных исследований климата, на котором были совмещены данные об арктических льда, собранные на протяжении последних 27 лет — между 1987 и 2014 годом. Красочная визуализация позволяет оценить, как сезонно и из года в год меняется снежный и ледовый покров нашей северной «шапки», а также проследить влияние глобального потепления на возраст ледовых покровов.
