На сегодняшний день ЦЕРН является одним из крупнейших пользователей Kubernetes в мире. Согласно недавней статистике, в этой европейской организации, стоящей за Большим адронным коллайдером (БАК) и рядом других известных научно-исследовательских проектов, запущено 210 кластеров K8s, обслуживающих одновременное выполнение сотен тысяч задач. Эта история успеха — о них.Читать полностью »
Продолжается прием заявок на участие в IBM WatsonBuild – международном конкурсе для бизнес-партнеров по созданию приложений и сервисов на базе IBM Watson.
К участию приглашаются партнеры-разработчики когнитивных решений с применением API-интерфейсов Watson (требуется использование как минимум одного сервиса IBM Watson). Все разработки ведутся в среде IBM Cloud.
Mail.Ru Cloud Solutions и российское сообщество OpenStack приглашают вас принять участие в конференции, посвященной восьмилетию проекта OpenStack: https://bit.ly/2IUjosD Мероприятие пройдет в следующую пятницу, 13 июля. В этом году OpenStack-сообщество соберётся в офисе Mail.Ru Group, чтобы отпраздновать очередную годовщину проекта обсуждением открытых инфраструктурных решений. Под катом — подробная программа, тезисы нескольких докладов и ссылка на регистрацию.
Читать полностью »
Какое-то время назад один мой коллега рассказал, что место в ДЦ кончается, сервера ставить больше некуда, а нагрузка растет и непонятно, что делать, и наверно придется все имеющиеся сервера поменять на более мощные.
Я в это время занимался задачей составления оптимальных расписаний, и подумал — а что, если применить оптимизационные алгоритмы для повышения утилизации серверов в ДЦ? Отсюда и родился проект, про который я хочу написать.
Для продвинутых сразу скажу, что в этой статье речь пойдет про bin packing, а остальным, кто хочет узнать, как с помощью относительно несложных расчетов сэкономить до 30% серверных ресурсов, добро пожаловать под кат.
Читать полностью »
Воланд у М. Булгакова говорил, что «кирпич ни с того ни с сего никому и никогда на голову не свалится». Может, и так, но, когда два с половиной года назад меня спросили, хочу ли я познать OpenStack, это был тот самый хорошо завуалированный кирпич (а на старте даже не кирпич, а гранитная плита). Именно 2016 год стал для меня так называемой «точкой невозврата», положив начало стремительному освоению концепций открытого мира и в значительной степени повлияв на менталитет, – превратив мою дальнейшую жизнь в праздник. «Праздник», который всегда со мной.
Я заметил, что в Силиконовой долине много шума на тему падения цен на облачные вычисления. Предприниматели, венчурные капиталисты и СМИ пишут об этой тенденции, утверждая, что она позволила появиться новой волне стартапов в таких областях, как искусственный интеллект и крупномасштабная обработка данных. Во многих статьях утверждается, что новые технологии и высокая конкуренция в течение последних нескольких лет резко снизили стоимость облаков.
Пример от Натана Бенаича, вице-президента компании Point Nine Capital:
Я считаю, что искусственный интеллект — одна из самых перспективных и прогрессивных возможностей нашего времени. Есть несколько причин, почему это так…
Расходы на вычисление и хранение падают на порядок, а вычислительная способность современных процессоров растет.
Джон Мелас-Кириази, инвестор Spark Capital, повторяет это мнение:
Машинное обучение (ML) и некоторые формы искусственного интеллекта (AI) официально стали мейнстримом. Взрыв инноваций, который мы видим в AI/ML, связан с рядом технологических достижений, которые были достигнуты за последние несколько десятилетий: быстрые и более дешевые компьютеры (по закону Мура), облачные вычисления с переменными затратами...
Многие ссылаются на Закон Мура как на причину «порядка величины» улучшений в облачном ценообразовании. Другие заходят ещё дальше и создают свои собственные теории. Например, Закон Безоса, предложенный Грегом О'Коннором (CEO AppZero) в виде идеи о том, что «за всю историю облака цена единицы вычислительной мощности снижается на 50 процентов примерно каждые три года».
Ясно, что многие яркие умы оптимистично относятся к быстрому снижению стоимости облачных вычислений и последующему росту инновационных стартапов, которые могут подняться на этой волне.
Но действительно ли цены на облако падают?Читать полностью »
Вчера компания Amazon Web Services объявила о полноценном запуске своего облачного сервиса на базе Kubernetes — EKS (Amazon Elastic Container Service for Kubernetes). Впервые он был анонсирован в ноябре прошлого года (вскоре после того, как AWS присоединилась к стоящему за Kubernetes фонду CNCF), но тогда он имел статус предварительного доступа. Что скрывается за EKS?
Google Colaboratory — это не так давно появившийся облачный сервис, направленный на упрощение исследований в области машинного и глубокого обучения. Используя Colaboratory, можно получить удаленный доступ к машине с подключенной видеокартой, причем совершенно бесплатно, что сильно упрощает жизнь, когда приходится обучать глубокие нейросети. Можно сказать, что она является некоторым аналогом гугл-документов для Jupyter Notebook.
В Colaboratory предустановлены Tensorflow и практически все необходимые для работы Python-библиотеки. Если какой-то пакет отсутствует, он с легкостью устанавливается на ходу через pip или apt-get. Но что если необходимо собрать проект из исходников и подключиться к GPU? Оказывается, это может быть не настолько просто, что я выяснил в ходе сборки SSD-Caffe. В этой публикации я дам краткое описание Colaboratory, опишу встреченные трудности и способы их решения, а также приведу несколько полезных приемов.
Весь код доступен в моем Colaboratory Notebook.
Sheepdog — масштабируемая система, которая предоставляет виртуальным машинам распределенные блочные устройства. Его развитие началось в 2009 году разработчиками из японских компаний Nippon Telegraph и Telephone Corporation. Sheepdog — это приложение с открытым исходным кодом под лицензией GPL2. Последняя версия 0.9.3, выпущенная в ноябре 2015 года станет наследиком версии 1.0, пригодной для коммерческого испрользования1. (уже стала — прим.пер.)
Чисто ради интереса, первая версия (0.1.0), была выпущена разработчиками в августе 2010 года — и в то же время поддержка sheepdog была включена в основную ветку разработки QEMU. Первые испытания над sheepdog я провел в ноябре 2011 года2 и результаты были неплохими для операций ввода-вывода. Однако тогда еще система Sheepdog имела проблемы с восстановлением упавшей ноды. Вероятно эта проблема вскоре была устранена, так как разработка приложения довольно живая, но на тот момент я использовал другое решение.
Читать полностью »
«Как и в случае появления любой новой технологии, рецепт успеха включает в себя сочетание технических знаний, деловой хватки и навыков доставки» — Erik T. Heidt, Gartner Research Vice President
Несмотря на устоявшийся тренд и частые обсуждения «облаков», все чаще сталкиваюсь с путаницей определений даже в ИТ-кругах. Настоящей статьей я постараюсь системно и в лаконичной форме закрепить ключевые понятия облачных технологий.
Облако – это маркетинговый термин, метафора, используемая для упрощения описания сложных технологических аспектов модели работы сервисов с применением облачных вычислений.
Сегодня крупнейшие поставщики облачных сервисов, такие как Microsoft, Amazon, Google, Alibaba, предоставляют вычислительные ресурсы и технологии, с помощью которых решаются самые различные отраслевые задачи, формируются сервисы для индивидуальных потребителей. Развитие облачных тем обусловлено рядом причин, в т.ч. технологических:
Gartner определяет облачные вычисления как стиль, в котором масштабирование и гибкие возможности ИТ предоставляются как служба с использованием интернет-технологий.
Читать полностью »
