В жизни любого DevOps-инженера возникает необходимость создать playground для команды разработки. Как всегда он должен быть умным, шустрым и потреблять минимальное количество ресурсов. В этой статье я хочу рассказать о том, как я решал проблему создания такого зверя для микросервисного приложения на kubernetes.
Рубрика «devops» - 120
kubernetes, playground, микросервисы и немного магии
2017-09-20 в 7:06, admin, рубрики: devops, kubernetes, playground
DevOps с Kubernetes и VSTS. Часть 2: Облачная история
2017-09-19 в 14:58, admin, рубрики: acs, devops, k8s, kubectl, kubernetes, microsoft, Microsoft Azure, Visual Studio, VSTS, Блог компании Microsoft, ПрограммированиеПродолжение истории про Kubernetes, контейнеры и организацию CI/CD пайплайна. Наконец-то появляется облако Azure и Visual Studio Team Services. Интересно, что CI/CD пайплайн VSTS использует для работы с k8s кластером kubectl, поэтому развёртывать приложение можно не только в Azure Container Services, но и в любой другой инстраляции Kubernetes.
Читайте перевод второй части статьи DevOps с Kubernetes и VSTS.
Читать полностью »
В режиме turbo. Как построить DevOps за 2 месяца
2017-09-19 в 10:49, admin, рубрики: devops, Блог компании Программа «Единая фронтальная система», ефсЗа небольшой промежуток времени DevOps в Программе «Единая фронтальная система» (ЕФС) прошел огромный путь, охватив ежедневную практику всех команд. Но интенсивные работы по развитию DevOps продолжаются, и в недалеком будущем жизненный цикл ЕФС претерпит новые изменения, направленные на ускорение ввода в эксплуатацию программного обеспечения (continuous delivery) и улучшения его качества (сквозное автотестирование). Но об этом чуть позже, а пока немного истории.
Первый в России OpenHack от Microsoft (то есть от нас)
2017-09-18 в 12:40, admin, рубрики: Ansible, azure, big data, CNTK, containers, data lake, devops, docker, k8s, kubernetes, linux, microsoft, Microsoft Azure, OpenHack, oss, school, Блог компании MicrosoftЖизнь в движении. Поэтому мы не устаём экспериментировать с новыми форматами проведения мероприятий для достижения более высоких целей (Круто звучит, да?). Сначала мы отказались от проведения обычной конференции DevCon и перешли в формату DevCon School: эксперты индустрии и их реальный опыт в реальных проектах. За время эксперимента мы провели 6 школ и поняли, что этот формат позволяет «пощупать» новые технологии, получить о них общее представление, вернуться в рабочую рутину с обычной нехваткой времени и остановиться.
Сегодня я хочу рассказать вам о следующем шаге — OpenHack, который позволит провести эксперимент вместе с экспертами и проверить рабочую гипотезу в деле.
Читать полностью »
Zabbix + RocksDB — миграция и первые впечатления
2017-09-18 в 8:37, admin, рубрики: devops, mysql, rocksdb, zabbix, Администрирование баз данныхНекоторое время назад я восхитился от команды Facebook-а, запилившей для целей мониторинга специальную базу — RocksDB. При внимательном рассмотрении оказалось, что оно форк более раннего гугловского проекта, оно архивирует данные налету и оно, будучи «в душе» NoSQL, стыкуется к MySQL как storage engine.
Дальше прилетела новость, что MariaDB включили этот движок в upstream с версии 10.2. Ништяки вроде архивирования на лету и ttl на отдельные строки под капотом так и манили попробовать это на чем-то подходящем…
Подходящим генератором данных в моем хозяйстве оказался zabbix, который к тому же решили перетянуть на новое железо. Но «из коробки» zabbix про rocksdb не в курсе, так что пришлось пошаманить и потестировать. Если интересны результаты и выводы — Читать полностью »
Знакомство с kube-spawn — утилитой для создания локальных Kubernetes-кластеров
2017-09-18 в 8:13, admin, рубрики: devops, kubernetes, linux, Блог компании Флант, микросервисы, Настройка Linux, системное администрированиеПрим. перев.: kube-spawn — достаточно новый (анонсированный в августе) Open Source-проект, созданный в немецкой компании Kinvolk для локального запуска Kubernetes-кластеров. Он написан на Go, работает с Kubernetes версий 1.7.0+, использует возможности kubeadm и systemd-nspawn, ориентирован только на операционную систему GNU/Linux. В отличие от Minikube, он не запускает виртуальную машину для Kubernetes, а значит, что overhead будет минимальным и все процессы, запущенные внутри контейнеров, видны на хост-машине (в т.ч. и через top/htop). Представленная ниже статья — анонс этой утилиты, опубликованный одним из сотрудников компании (Chris Kühl) в корпоративном блоге.
RPM-репозиторий — своими руками
2017-09-14 в 22:19, admin, рубрики: devops, devops (*nix), nginx, python, rpm, Серверное администрированиеИтак, начнём.
При внедрении DevOps-процесса в компании одним из возможных вариантов хранилища артефактов сборки может стать rpm-репозиторий. По существу — это просто веб-сервер, раздающий определённым образом организованное содержимое. Есть, конечно, коммерческие варианты maven-репозиториев, которые имеют плагины для поддержки rpm, но мы же не ищем лёгких путей?
Задача
Написать сервис, который будет принимать готовые rpm-пакеты по протоколу HTTP, парсить их метаданные, раскладывать файлы пакетов по каталогам в соответствии с внутренней структурой репозитория и обновлять метаданные репозитория после обработки очередного пакета. Что из этого получилось — описано под катом.
Cloud Fabric: как SDN помогает IT более гибко реагировать на изменения
2017-09-14 в 7:16, admin, рубрики: Cloud Fabric, devops, huawei, SDN, Блог компании Huawei, Облачные вычисления, системное администрирование, хранение данныхCloud Fabric: как SDN помогает IT более гибко реагировать на изменения
Для реализации облачных вычислений центры обработки данных и их сетевая архитектура должны соответствовать определенным требованиям. Справиться с новыми задачами поможет инновационное решение — Huawei CloudFabric, которое обладает следующими преимуществами:
- Гибкость: высокая масштабируемость облачных сервисов и каналы для передачи больших данных (Big Data).
- Упрощение процессов: облачное решение для сети Huawei в 10 раз ускоряет активацию облачных сервисов.
- Открытость: упрощение облачных вычислений за счет бесшовного подключения к основным облачным платформам.
SDN-решение Cloud Fabric содержит два основных компонента: серию коммутаторов для ЦОД Huawei CloudEngine и Agile Controller.
Решение использует открытую сервис-ориентированную архитектуру для централизованного назначения информационно-вычислительных ресурсов через Agile Controller и облачную платформу, построенную с учетом специфических требований к сервисам. Agile Controller может подключаться к различным облачным платформам ведущих поставщиков для формирования облачной сети, ориентированной на приложения. Облачная платформа может использоваться для унифицированного распределения сетевых, вычислительных и дисковых ресурсов.
Читать полностью »
DevOps с Kubernetes и VSTS. Часть 1: Локальная история
2017-09-12 в 14:57, admin, рубрики: devops, k8s, kubectl, kubernetes, microsoft, Microsoft Azure, Minikube, Visual Studio, VSTS, Блог компании Microsoft, ПрограммированиеПоследнее время я часто рассказываю про контейнеры, Docker и Kubernetes. На фоне этого коллеги всё чаще стали спрашивать о том, а где же здесь технологи Microsoft? Чтобы объяснить, я нашёл несколько материалов, в том числе этот набор из пары статей от Colin Dembovsky. В них есть всё: Docker, Kubernetes и наши технологии. Думаю, что для читателей Хабры это тоже должно быть интересно. Итак, встречайте, перевод первой части.
Если вы читаете мой блог, то знаете, что я фанат контейнеров в целом и Docker в частности. Когда вы в последний раз ставили софт на «голое железо»? Может быть, только на ноутбук, но и то шансы невелики. Виртуализация кардинально изменила наше отношение к ресурсам центра обработки данных, значительно увеличив их плотность и эффективность использования. Следующим этапом повышения плотности стали контейнеры, только ВМ размещаются на физических серверах, а контейнеры — в самих ВМ. Очень скоро большинство из нас не будет работать не только на уровне серверов, но даже на уровне ВМ, все рабочие нагрузки переместятся в контейнеры. Но это в перспективе.
Читать полностью »
Пишем оператора для Kubernetes на Golang
2017-09-12 в 6:32, admin, рубрики: devops, Go, kubernetes, open source, Блог компании ФлантПрим. перев.: Операторы (operators) — это вспомогательное ПО для Kubernetes, призванное автоматизировать выполнение рутинных действий над объектами кластера при определённых событиях. Мы уже писали об операторах в этой статье, где рассказывали об основополагающих идеях и принципах их работы. Но если тот материал был скорее взглядом со стороны эксплуатации готовых компонентов для Kubernetes, то предлагаемый теперь перевод новой статьи — это уже видение разработчика/DevOps-инженера, озадаченного реализацией нового оператора.
Этот пост с примером из реальной жизни я решил написать после своих попыток найти документацию по созданию оператора для Kubernetes, прошедших через изучение кода.
Пример, который будет описан, таков: в нашем кластере Kubernetes каждый Namespace представляет окружение-песочницу какой-то команды, и мы хотели ограничить доступ к ним так, чтобы команды могли играть только в своих песочницах.Читать полностью »