H2O – библиотека машинного обучения, предназначенная как для локальных вычислений, так и с использованием кластеров, создаваемых непосредственно средствами H2O или же работая на кластере Spark. Интеграция H2O в кластеры Spark, создаваемые в Azure HDInsight, была добавлена недавно и в этой публикации (являющейся дополнением моей прошлой статьи: R и Spark) рассмотрим построение моделей машинного обучения используя H2O на таком кластере и сравним (время, метрика) его с моделями предоставляемых sparklyr, действительно ли H2O киллер-приложение для Spark?
Рубрика «hdinsight»
R c H2O на Spark в HDInsight
2017-08-07 в 6:50, admin, рубрики: "вода, azure, big data, h2o, hdinsight, Microsoft Azure, ml, R, spark, вода, высокая производительность, кругом вода", машинное обучениеМосковский Big Data-хакатон 15-16 ноября
2014-10-28 в 8:57, admin, рубрики: big data, Hadoop, hdinsight, Microsoft Azure, Parallel Data Warehouse, PowerBI, sql server, Блог компании Microsoft, хакатон 
Big Data продвигается как тренд нового века. Были СУБД для хранения данных, инструменты обработки; со временем же стало понятно, что «не справляемся», и сейчас мы имеем в руках целый веер средств для обработки и анализа данных. И мы решили сделать хакатон. Hadoop? Мы вам рады. Другое? Не проблема. Хотите узнать, что у нас есть интересного? Регистрируйтесь и приходите 15-16 ноября в Коворкинг 2.0 «Свободное плавание» (Москва), только не забудьте принести нужное.
Читать полностью »
Опции хранения и обработки данных в облаке Microsoft Azure
2014-10-13 в 10:14, admin, рубрики: azure, cache, Hadoop, hdinsight, Microsoft Azure, nosql, redis, search, sql database, sql server, storage, Блог компании Microsoft, Облачные вычисленияМне очень приятно сегодня рассказать вам о возможностях хранения данных в облаке Azure. Мы знаем, что данные — это самое главное, что есть у нас, данные — это то, для чего создается инфраструктура и вообще существует ИТ. Поэтому, вопрос хранения данных — наиболее важный.
Microsoft Azure. Как мы храним свои и ваши данные
Для начала давайте посмотрим, как Microsoft хранит данные для собственных сервисов и данные своих пользователей и какие опции компания использует сама и предлагает клиентам.
Нам очень важно обеспечить все потребности наших клиентов и поэтому мы постоянно расширяем свои ЦОДы, увеличиваем их мощности и создаем новые. Сегодня мы предлагаем 16 самых современных и очень больших ЦОД по всему миру, обеспечивая работу сотен своих сервисов и сервисов тысяч наших клиентов, которыми пользуются сотни миллионов людей по всему миру. Благодаря этому сервисы Azure доступны на 89 рынках с круглосуточной и ежедневной поддержкой.
Читать полностью »
Microsoft представляет SQL Server 2014 в России!
2014-04-14 в 12:35, admin, рубрики: azure, big data, cloud, Hadoop, hdinsight, Hekaton, Блог компании Microsoft, информационная безопасность, ит-инфраструктура, метки: big data, cloud, Hadoop, hdinsight, Hekaton 
Привет!
24 апреля 2014 года состоится ключевое события года в мире серверных и облачный решений – конференция Data Platform Day.
In-Memory OLTP (Hekaton), BIG DATA, Power BI, Microsoft Azure HDInsight и другие новейшие технологии работы с данными в трех треках за один день от ведущих экспертов Microsoft, компаний-партнеров и крупнейших российских заказчиков. Всё это будет идти под флагом глобальной стратегии развития Microsoft Cloud OS и универсальной Платформы SQL Server 2014.
Кластеры Hadoop по запросу из облака: внутреннее устройство, первые шаги, задачи, Hive
2013-11-06 в 5:13, admin, рубрики: Apache, big data, Hadoop, hdinsight, map reduce, open source, windows azure, Облачные вычисления, облачные сервисы 
Некоторое время назад, в рамках конференции Strata + Hadoop World был анонсирован выход в коммерческой эксплуатацию Windows Azure HDInsight — облачного сервиса 100% совместимого с Apache Hadoop. Подробности о истории появления сервиса и его возможностях можно найти в этой статье на Хабре. Об анонсах конференции Strata + Hadoop World можно прочитать в другой свежей статье.
В этой статье речь пойдет о внутреннем устройстве кластеров HDInsight, старте работы с ними и первых задачах и запросах к Hive. В конце статьи приводятся реальные примеры использования Windows Azure HDInsight крупными международными организациями.
Windows Azure HDInsight предлагает следующие преимущества для своих пользователей:
- Работа с большими данными с помощью знакомых инструментов: благодаря глубокой интеграции с инструментами бизнес-аналитики от Microsoft, такими как PowerPivot, Power View и Excel, сервис HDInsight позволяет вам легко анализировать ваши данные с помощью возможностей Hadoop. Прозрачно объединяйте данные из различных источников данных, включая HDInsight с помощью Power Query. Легко анализируйте и визуализируйте географические данные с помощью Power Map – новый картографический 3D-инструмент в Excel 2013;
- Гибкость – HDInsight предлагает гибкость соответствующую изменениям потребностей вашей организации. С богатый набором скриптов PowerShell вы можете размещать и администрировать кластер Hadoop за считанные минуты вместо привычных часов или даже дней. Если вам нужен кластер большего размера, просто удалите существующий и создайте новый нужного размера в течении нескольких минут без потери каких либо данных;
- Hadoop корпоративного уровня: HDInsight предлагает безопасность и управляемость корпоративного уровня. Благодаря выделенному узлу Secure Node, сервис HDInsight помогает обезопасить ваш кластер Hadoop. В дополнение, мы упростили управление вашим кластером Hadoop с помощью внушительного набора скриптов PowerShell;
- Богатые возможности для разработчиков: сервис HDInsight предлагает мощные возможности для разработки приложений с богатым выбором языков, включая .NET, Java и другие. Разработчики на платформе .NET могут воспользоваться мощью запросов LINQ to Hive.
Дайджест новостей платформы Windows Azure, октябрь 2013
2013-11-05 в 4:25, admin, рубрики: active directory, Hadoop, hdinsight, hyper-v, Service Bus, sql server, Visual Studio, windows azure, Облачные вычисления, разработка, метки: active directory, Hadoop, hdinsight, hyper-v, service bus, sql server, Visual Studio, windows azure 
В рамках этого дайджеста новостей облачной платформы Windows Azure собраны основные анонсы для разработчиков, ИТ-профессионалов и для всех специалистов интересующихся облачными технологиями и платформой Windows Azure.
В этом выпуске:
- Коммерческая доступность сервиса резервного копирования в облако Windows Azure Backup
- Коммерческая доступность cервиса Windows Azure HDInsight (кластеры Hadoop как сервис)
- Публичное превью нового сервиса Hyper-V Recovery Manager
- Новые возможности работы с виртуальными машинами:
- Удаление дисков;
- Новые уведомления групп доступности;
- Конфигурирование SQL Server AlwaysOn;
- Новые функции Active Directory:
- Интеграция и управление сотнями сторонних SaaS-приложений;
- Управление Windows Azure;
- Поддержка Windows Azure в SQL Server 2014 CTP2;
- Поддержка Windows Server 2012
- Windows Azure SDK 2.2
- Поддержка Visual Studio 2013;
- Удаленная отладка облачных сервисов;
- Секционирование сущностей Windows Azure Service Bus;
- Новые библиотеки управления Windows Azure Management Libraries for .NET;
- Новые скрипты PowerShell и новый портал ScriptCenter;
- Снижение цен на ВМ с большим объемом памяти
- Опубликована предварительная программа конференции Cloud OS Summit
Windows Azure и Hadoop: «дружба», готовая к Enterprise
2013-11-04 в 16:32, admin, рубрики: big data, Hadoop, hdinsight, windows azure, YARN, Облачные вычисления, метки: big data, Hadoop, hdinsight, windows azure, YARNЗа последние пол месяца произошло 3 ИТ-события, лежащие в плоскости Big Data, Cloud Computing и на их симбиозе. По странному стечению обстоятельств эти события остались без должного внимания как со стороны хабросообщества, так и со стороны немногочисленных профессиональными сообществ в LinkedIn и Facebook.
Эти событий — конференция Strata + Hadoop World, релиз стабильной версии Hadoop 2.2.0 и облачного сервиса Windows Azure HDInsight. О косвенной и прямой связи этих событий речь и пойдет ниже.
Также ниже я приведу ссылки на ресурсы, которые будут более полезными, чем любой вольных пересказ содержимого этих ресурсов.
Обновление Windows Azure: Hadoop, Dropbox, Mercurial, PhoneGap
2013-03-25 в 10:12, admin, рубрики: big data, DropBox, Hadoop, hdinsight, html5, Mercurial, phonegap, windows azure, метки: DropBox, Hadoop, hdinsight, html5, mercurial, phonegap, windows azure 
18 марта Скотт Гатри в своем блоге анонсировал очередные нововведения в облачную платформу Windows Azure. Представленный новый функционал включает в себя:
- HTML5-клиенты (CORS) для Windows Azure Mobile Services, включая доступ из поппулярной библиотеки PhoneGap;
- улучшенная поддержка Windows Phone 7.5, новые библиотеки и пакет Nuget;
- поддержка размещения веб-сайтов из Mercurial (Bitbucket, Codeplex) и Dropbox;
- новые шаблоны в Web Sites;
- публичный доступ к сервису HDInsight – облачной платформе Hadoop как сервис.
Ниже о этих нововведениях чуть подробнее.
Поддержка HTML5/JS-клиентов и PhoneGap в Mobile Services
Windows Azure Mobile Services предлагает облачную инфраструктуру для всех популярных мобильных платформ: Windows 8, Windows Phone, iOS и Android. В текущем обновлении к поддержке мобильных платформ добавилась поддержка веб-клиентов на HTML5/JS, в частности популярной библиотеки PhoneGap. Теперь вы можете получить доступ ко всем данным сохраненным из мобильных клиентов через код написанный на HTML5/JS.
Читать полностью »