Команда FlyElephant подготовила для Вас новый дайджест, включающий в себя подборку ссылок на интересные материалы по направлениям: искусственный интеллект, большие данные и высокопроизводительные вычисления.
Читать полностью »
Рубрика «big data» - 103
AI, BigData & HPC Digest #4
2016-02-06 в 13:24, admin, рубрики: AI, big data, BigData, data mining, FlyElephant, high performance computing, HPC, R, анализ данных, Блог компании FlyElephant, Большие данные, видео, высокая производительность, дайджест, искусственный интеллект, Мероприятия, Новости, подкасты, статьиЗнакомство с Apache Spark
2016-02-05 в 13:49, admin, рубрики: Apache, big data, machine learning, scalability, spark, Блог компании Издательский дом «Питер», книги, ПрограммированиеЗдравствуйте, уважаемые читатели!
Мы наконец-то приступаем к переводу серьезной книги о фреймворке Spark:
Сегодня мы предлагаем вашему вниманию перевод обзорной статьи о возможностях Spark, которую, полагаем, можно с полным правом назвать слегка потрясающей.
Рекомендации на потоке
2016-02-05 в 12:43, admin, рубрики: Aerospike, apache kafka, apache spark streaming, big data, python, recommender system, stream processing, Алгоритмы, Блог компании E-ContentaВсем привет!
Сегодня мы расскажем о том, как с помощью потоковой обработки данных можно увеличить качество рекомендаций и снизить время отклика всей рекомендательной системы в 5 раз. Речь пойдет об одном из наших клиентов – сервисе потокового видео Rutube.
Как уменьшить количество измерений и извлечь из этого пользу
2016-02-05 в 1:02, admin, рубрики: autoencoder, big data, data analysis, data mining, data science, deep learning, h2o, ICA, neural networks, NMF, PCA, R, SVD, главные компоненты, машинное обучение, Программирование, разложение 
Сначала я хотел честно и подробно написать о методах снижения размерности данных — PCA, ICA, NMF, вывалить кучу формул и сказать, какую же важную роль играет SVD во всем этом зоопарке. Потом понял, что получится текст, похожий на вырезки из опусов от Mathgen, поэтому количество формул свел к минимуму, но самое любимое — код и картинки — оставил в полном объеме.
Читать полностью »
Автоматизированный доступ к SharePoint. Как облегчить работу администратора и установить контроль за раздачей прав
2016-02-04 в 9:48, admin, рубрики: big data, sharepoint, Varonis, Блог компании Varonis Systems, доступ к данным, информационная безопасность Сегодня все чаще встречается широкое использование порталов SharePoint в масштабах организации. SharePoint используют не только как средство для совместной работы и редактирования документов, но и как средство хранения данных, что зачастую подменяет собой функцию файлового сервера.
Читать полностью »
12 невероятных историй успеха Big Data, которые случатся в 2016 году
2016-02-03 в 19:06, admin, рубрики: big data, Блог компании PalitrumLab, Исследования и прогнозы в IT, прогнозы, Читальный зал, юморНа обиженных воду возят. Любая состоявшаяся индустрия умеет смеяться над собой. Вот социологи — не умеют. И SMM'щики обижаются постоянно. А уж журналистов и их потомков — PR'щиков — 2000 лет бросает в маковый цвет при любом косом взгляде.
Кстати, именно журналисты и PR'щики раздули из маленького слоненка (Hadoop) большую свинью, которую подложили технарям под видом красивого названия Big Data. Теперь каждая уважающая себя школа имеет свой портал в интернете, с 10 BigData базами на Pentium, а уж если у компании данных на 2 сервера, то она обязана открыть «Центр обработки Big Data» и пригласить 25 ученых для поиска смысла жизни.
Приглашаем оценить английский технологический BigData-юмор и посчитать, сколько из 12 success story применимы к вашей компании.
Хабра-граф, -сообщества и куда же делась вся карма
2016-02-03 в 10:04, admin, рубрики: big data, data mining, data science, python, визуализация данных, вот это вот всё с данными да, кластеризация, математика, никто не читает теги, Хабрахабр APIВступление
Cегодня мы вместе с анализом графов, data mining, subgroup discovery и всеми веселыми штуками взглянем на Хабр. Весь код и данные прилагаются — каждый может взглянуть на них самостоятельно, легко повторить рассчеты из статьи и найти что-то интересное самостоятельно.
(это не просто картинка для привлечения внимания, а — граф связей ~45000 пользователей Хабра по тому, кто на кого подписан; размер вершины пропорционален числу подписчиков; все картинки кликабельны; подробности далее)
Обсуждаемые проблемы возникли, конечно же, далеко не вчера, но некоторые их аспекты кажутся мне достаточно новыми и поэтому достойными дискуссии, основанной на непредвзятых и репрезентативных данных. Например в комментариях этой статьи, увидел интересное утверждение:
Тут проблема в том, что на всем хабре за сегодня не насчитать больше 50-80 человек, которые вообще могут голосовать. У 90% пользователей карма просто ниже 5. Как итог оценивают комментарии и статьи только избранные. Это как жюри выходит такое.
И решил, что стоить его сформулировать в виде гипотезы и проверить:
Q1: Правда ли, что Хабр превратился в жюри-based сообщество, где два с половиной человека голосуют за статьи?
Вот в этой статье к нам вернулись "железные" Хабы и стало интересно, а как вообще представлены разные сообщества внутри Хабра? Формулируем в виде гипотезы:
Q2: Как сегментировано сообщество, или проще говоря сколько у нас здесь групп по интересам и соотвествуют ли они имеющимся хабам?
Последнее, но не менее интересное наблюдение, что активность на Хабре упала (по данным Хабра-пульса и моим субъективным наблюдениям), что даже решили ввести аккаунты "read & comment". Поэтому решил оценить активность сообщества и продумать, как информация о структуре сообщества может нам помочь:
Q3: Насколько активно сообщество и как нам может помочь структура внутренних групп?
За подробностями добро пожаловать под кат.
Структура статьи
Дозиметр в интернете вещей: составляем карту радиоактивных зон для себя и всего мира
2016-02-03 в 7:50, admin, рубрики: big data, gps, Большие данные, Геоинформационные сервисы, дозиметр, дозиметр для смартфона, Интернет вещей, мобильные устройства, Разработка для интернета вещей, Разработка под android, разработка электроники, теплокарты 
На днях в Минске состоится выставка новых устройств, созданных в рамках белорусских железячных стартапов — Party Hard! 2016. Мы решили рассказать об одном из самых интересных экспонатов этой выставки — умном дозиметре ZIVE, который синхронизируется со смартфоном и собирает данные для глобальной карты радиационного загрязнения.
Читать полностью »
Все погодные аномалии 2015 года за 8 минут
2016-02-02 в 20:52, admin, рубрики: big data, видео, визуализация, визуализация данных, данные, обработка данных, обработка изображений, погода 
Привет читатели и почитатели !
На днях Европейская организация по эксплуатации метеорологических спутников (EUMETSAT) совместно с коллегами из метеорологических агентств Японии и США опубликовала видео, которое вобрало все данные наблюдений за погодой в течение ушедшего 2015 год.
Два полушария, 12 месяцев и 8 минут отличной визуализации данных ждут Вас под катом!
Читать полностью »
Дептранс Москвы обратится в суд с требованием о запрете в столице мобильного приложения такси-сервиса Uber
2016-02-02 в 17:31, admin, рубрики: big data, gett, uber, блокировка, Геолокационные сервисы, Госвеб, Департамент транспорта Москвы, мобильные приложения, Москва, такси, Текучка, метки: big data, gett, uber, блокировка, Геолокационные сервисы, Госвеб, Департамент транспорта Москвы, мобильные приложения, Москва, такси, Текучка, яндекс таксиГлава столичного дептранса, вице-мэр Максим Ликсутов рассказал «Газете.Ru» о встречах с представителями Uber. Сервис вызова такси, с одной строны и сервис рассылки заказов по водителям, с другой — пока не подписал никаких соглашений с Московской властью.
«У нас была встреча с представителями Uber, Читать полностью »