Сначала я хотел не углубляться в тензоры и описать их мимоходом, касаясь только используемого мной функционала. Однако я изменил свое мнение и решил рассказать больше. Добро пожаловать в многомерный мир.
Читать полностью »
Рубрика «обработка данных» - 4
Никита Иванов (GridGain): «Мы делаем космические корабли»
2016-09-22 в 15:10, admin, рубрики: Apache, gridgain, in-memory computing, oracle, бизнес-модели, венчурные инвестиции, обработка данных, прогресс, Развитие стартапа, Сбербанк, управление разработкой, метки: in-memory computing
Компания GridGain Systems, разработчик программных решений на базе Apache Ignite, предоставила клиентам доступ к решениям GridGain In-Memory Data Fabric на облачной платформе Microsoft Azure. Это позволит компаниям-поставщикам финансовых услуг использовать возможности интегрированных облачных служб Microsoft для быстрого развертывания продуктов GridGain и перенести вычисления в оперативную память компьютера.
По оценке аналитиков из IDC, к 2019 году рынок данных вырастет на 50% до $187 миллиардов. Отдельную ценность имеют вычисления в режиме реального времени.
GridGain — один из лидеров в этом сегменте. Будучи небольшим стартапом, компании удалось обойти крупных конкурентов и заключить контракты по всему миру. Причина успеха компании — технологическое ноу-хау? Или, может быть, просто везение?
О нелегкой судьбе наукоемкого ИТ-стартапа, о конкуренции на рынке данных и его перспективах мы поговорили с основателем и генеральным директором компании Никитой Ивановым.Читать полностью »
Как мы искали компромисс между точностью и полнотой в конкретной задаче ML
2016-09-13 в 6:48, admin, рубрики: big data, data mining, false positive, Блог компании HeadHunter, машинное обучение, обработка данных, управление требованиями
Я расскажу о практическом примере того, как мы формулировали требования к задаче машинного обучения и выбирали точку на кривой точность/полнота. Разрабатывая систему автоматической модерации контента, мы столкнулись с проблемой выбора компромисса между точностью и полнотой, и решили ее с помощью несложного, но крайне полезного эксперимента по сбору асессорских оценок и вычисления их согласованности.
Читать полностью »
Магический квадрант Gartner по рынку сетевых технологий ЦОД: Arista Networks в лидерах
2016-07-06 в 5:51, admin, рубрики: Arista Networks, gartner, Блог компании МУК, магический квадрант, обработка данных, Сетевые технологии, хранение данных, цодКомпания Gartner — исследовательская и консалтинговая компания, специализирующаяся на рынках информационных технологий — опубликовала свой очередной «магический квадрант» по рынку сетевых технологий ЦОД. Расскажем вам о важных моментах из отчета, а также об оценке одного из лидеров — Arista Networks.
Fbi Detected: Как я обнаружил агентов ФБР
2016-03-24 в 9:01, admin, рубрики: big data, data mining, data science, python, информационная безопасность, обработка данных, слив данных, сноуден, ФБР, черная археологияВ новом выпуске «Черной археологии датамайнинга» мы немного поиграемся в шпионов. Увидим, что может узнать обычный Data Specialist на основе открытых в сети данных.
Всё началось со статьи на хабре, о том, что некий анинимный хакер делился слитыми в сеть данными агентов ФБР. Я получил эти данные, и стал смотреть, что с ними можно сделать? В данных есть только фамилия, имя, и служебные мейлы и телефон – немного информации.
Получив эти данные, я увидел, что они заканчиваются буквой J. То есть, датасет не полон. Интресено, каков его полный размер? Чтобы узнать его, надо построить статистику частоты встречаемости фамилий.
Для этого я начал искать наборы американских фамилий, и тут меня ждало открытие – в Америке можно найти открытые данные по, скажем, избирателям штата – как я понял, совершенно легально. Например, я за полчаса без проблем получаю данные всех избирателей штата Юта.
Основы обработки персональных данных
2016-02-24 в 14:35, admin, рубрики: Блог компании Зарцын и партнеры, Законодательство и IT-бизнес, Медиа, обработка данных, патентование, персональные данные, трансграничная передача ПДн, юристы для IT Мы уже начинали говорить о персональных данных, их сборе и обработке. Но, об этом можно говорить бесконечно и мы продолжим. В прошлый раз мы говорили об изменениях в законе, но не учли самого главного — САМ ЗАКОН ВЫ НЕ ЧИТАЛИ!.. И, судя по обратной связи, информация требует более детальной проработки.
Поэтому мы несколько раз перечитали все законы и дополнения к ним. Сделали из него эдакую выжимку. Четко по пунктам расписав основные его нормы и требования.
Читать полностью »
Все погодные аномалии 2015 года за 8 минут
2016-02-02 в 20:52, admin, рубрики: big data, видео, визуализация, визуализация данных, данные, обработка данных, обработка изображений, погода 
Привет читатели и почитатели !
На днях Европейская организация по эксплуатации метеорологических спутников (EUMETSAT) совместно с коллегами из метеорологических агентств Японии и США опубликовала видео, которое вобрало все данные наблюдений за погодой в течение ушедшего 2015 год.
Два полушария, 12 месяцев и 8 минут отличной визуализации данных ждут Вас под катом!
Читать полностью »
«Ростелеком» и поисковик «Спутник» внедряют Big Data в платном ТВ
2015-11-30 в 19:58, admin, рубрики: big data, анализ данных, бизнес-модели, Большие данные, Медиа, Монетизация IT-систем, обработка данных, платные видеосервисы, прогноз оттока клиентов, Ростелеком, спутник «Ростелеком» открыл технологический центр в области обработки больших данных для прогнозирования оттока клиентов, расширения тарифной линейки и оптимизации услуг компании. Оператор в 2015 году планировал инвестировать в направление Big Data до 800 миллионов рублей, пишет «Коммерсант».
Читать полностью »
Закон «О персональных данных» все что вы хотели знать, но боялись спросить
2015-11-09 в 9:51, admin, рубрики: Блог компании Зарцын и партнеры, блокировка сайтов, Законодательство и IT-бизнес, Медиа, Минкомсвязи, обработка данных, ПДн, персональные данные, Развитие стартапа, Роскомнадзор, сбор персональных данных, хранение персональных данных, юристы, юристы для IT В сентябре 2015 года Федеральный закон о персональных данных претерпел серьезные изменения. Мы с вами сейчас внимательно их рассмотрим, чтобы понимать, как это все будет работать в реалиях Рунета. Юристы наши много раз говорили о ПДн и до вступления изменений в силу. И вот час настал, и все, что раньше только размусоливалось в теории, теперь введено в работу. Увы, мы пока не прорвались с докладом на главные каналы страны и все, что нам остается, писать сюда. Итак, приступим.
Читать полностью »
Некоторые сервисы не обязаны переносить данные российских пользователей в РФ
2015-06-25 в 10:31, admin, рубрики: законодательство, Законодательство и IT-бизнес, обработка данных, персональные данныеЗакон о персональных данных будет действовать избирательно — некоторые отрасли, которые попадают под действие международных соглашений или профильного законодательства, могут не переносить данные российских пользователей в РФ. Об этом сообщил министр связи Николай Никифоров, пишут «Ведомости». К сожалению, никаких конкретных примеров министр не привел.
Вадим Ампелонский, представитель Роскомнадзора, подтверждает слова министра. По словам Ампелонского, закон допускает некоторые исключения, именно по этой причине с 1 сентября этого года процесс выдачи виз не осложнится.
Читать полностью »