На прошлой неделе компания CoreOS порадовала очередным Open Source-проектом — zetcd. На самом деле о нём было известно ещё с прошлого года, но теперь состоялся первый релиз, который перевёл продукт в статус бета-тестирования — заявил о готовности продукта к серьёзным испытаниям перед выпуском в мир production. Авторы позиционируют zetcd как готовую замену для ZooKeeper внутри таких распределённых/кластерных решений, как Mesos, Apache Kafka и Apache Drill. Их настрою не препятствует даже тот факт, что etcd предлагает «плоское» хранение ключей-значений против иерархического подхода своего конкурента. Как они к этому пришли?
Читать полностью »
Рубрика «Блог компании Флант» - 42
zetcd от CoreOS: Заменяя ZooKeeper на… хранилище etcd
2017-05-24 в 9:56, admin, рубрики: coreos, etcd, Go, nosql, open source, zookeeper, Анализ и проектирование систем, Блог компании Флант, кластеры, микросервисы, распределенные системы, хранение данных, метки: etcdВ чём суть проекта Moby и почему главным репозиторием Docker вдруг стал moby-moby?
2017-05-22 в 6:53, admin, рубрики: devops, docker, moby, runC, Блог компании Флант, контейнеры, микросервисы, системное администрированиеМесяц назад компания Docker на конференции DockerCon 2017 официально представила свой новый Open Source-проект — Moby. Если это просто ещё один дополнительный проект, нужный кому-то, кто работает с Docker… то почему, как заметили внимательные пользователи, основной репозиторий компании в GitHub — docker/docker — стал пересылать на moby/moby?
Чтобы комплексно разобраться в данном вопросе, начнём с краткого экскурса в новейшую историю развития Docker…Читать полностью »
Автоматизация SSH-доступа к нодам Kubernetes с помощью Fabric и интеграции от CoreOS
2017-05-15 в 6:31, admin, рубрики: coreos, devops, fabfile, fabric, kubernetes, python, ssh, Блог компании Флант, Серверное администрирование, системное администрированиеНесмотря на то, что Kubernetes представляет мир, в котором SSH не так нужен в повседневном использовании для деплоя и управления приложениями, по-прежнему бывают случаи, когда SSH полезен для сбора статистики, отладки и исправления конфигураций. Пусть через несколько лет SSH и запуск разовых отладочных сессий может уже не понадобиться, описанные ниже инструменты могут пригодиться сейчас для быстрого SSH-подключения к машинам из кластера Kubernetes.
Kubernetes хранит базу данных нод кластера, просмотреть которую можно командой kubectl get nodes. Это мощный фундамент для автоматизации и интеграции с существующими инструментами. Одним из таких инструментов является SSH-утилита Fabric, известная ещё как fabfile.py.
Читать полностью »
Docker в Китае: статистика использования и истории успеха
2017-05-11 в 8:06, admin, рубрики: alibaba, devops, docker, dockercon, Блог компании Флант, истории успеха, китай, контейнеры, микросервисы, Облачные вычисления, облачные сервисыВ минувший понедельник стало известно о доступности видео с конференции DockerCon 2017, прошедшей во второй половине апреля. В одном из прозвучавших там докладов представитель компании Alibaba Cloud (или Aliyun) — подразделения Alibaba Group, специализирующегося на облачных вычислениях, IaaS, PaaS, SaaS и Big Data — рассказал о статистике и историях успеха Docker в Китае.
В этой статье, продолжающей нашу недавнюю публикацию о глобальной статистике по внедрению Docker, собраны наиболее интересные факты из доклада Alibaba Group, основанные на опросе 1000+ пользователей её публичного облака в апреле этого года и известных случаях применения Docker. Но начнём с предыстории «появления» Docker в мире китайских информационных технологий…
Знакомство с СУБД CockroachDB и создание отказоустойчивого кластера с ней на Ubuntu 16.04
2017-05-04 в 8:36, admin, рубрики: CockroachDB, sql, Ubuntu, Администрирование баз данных, базы данных, Блог компании Флант, отказоустойчивый кластер, репликация, Серверное администрирование, СУБД, хранение данных, метки: CockroachDBПредисловие от переводчика: CockroachDB — достаточно молодая реляционная СУБД с открытым кодом (лицензия Apache 2.0), изначально созданная быть распределённой (с горизонтальным масштабированием «из коробки») и отказоустойчивой. Её авторы из компании Cockroach Labs, созданной в 2015 году, задаются целью «совместить богатство функциональности SQL с горизонтальной доступностью, привычной для NoSQL-решений». Данное руководство написано одним из сотрудников компании-разработчика и опубликовано на сайте облачного провайдера DigitalOcean с целью познакомить ИТ-специалистов с этой СУБД и продемонстрировать её использование.
Введение
CockroachDB — распределённая СУБД (SQL) с открытым кодом, обеспечивающая согласованность данных, масштабируемость и выживаемость.
Настройка CockroachDB проста: устанавливаете её на нескольких серверах (узлах) и объединяете их в единое целое для совместной работы (кластер). Все узлы кластера действуют «симметрично» и предлагают доступ к одинаковым данным. Если хранилище для данных необходимо увеличить, то при используемой архитектуре достаточно создать новые узлы и присоединить к кластеру. Читать полностью »
Какие известные компании используют Docker в production и для чего?
2017-04-20 в 9:37, admin, рубрики: continuous integration, devops, docker, kubernetes, linux, Блог компании Флант, истории успеха, контейнеры, Серверное администрирование, системное администрированиеНа дворе 2017 год, а в различных статьях и, тем более, комментариях к ним то и дело приходится встречаться с мнением, что Docker — удел неопытных энтузиастов, экзотических компаний-однодневок и каких угодно экспериментов, максимально удалённых от реального production. И вот пока коллеги готовят новые технические материалы, я решил на публично доступных примерах и фактах показать, что это скорее миф и стереотип, чем мир, в котором живёт ИТ сегодня.
Масштабы и тенденции докеризации
Отправная точка для этой статьи — статистика от сервиса мониторинга Datadog, которая впервые появилась в 2015 году и в последний раз была обновлена буквально на днях, в апреле 2017 года. Datadog — это не какая-то традиционная аналитическая компания, а известная своей дружелюбностью к облачным окружениям система мониторинга (код её агента написан на Python и опубликован как Open Source).
Читать полностью »
Операторы для Kubernetes: как запускать stateful-приложения
2017-04-13 в 10:27, admin, рубрики: coreos, devops, etcd, kubernetes, stateful, Блог компании Флант, кластеры, контейнеры, микросервисы, системное администрированиеПроблема stateful-приложений в Kubernetes
Конфигурация, запуск и дальнейшее масштабирование приложений и служб осуществляются просто, если речь идёт о случаях, классифицируемых как stateless, т.е. без сохранения данных. Такие сервисы удобно запускать в Kubernetes, пользуясь его стандартными API, потому что всё происходит «из коробки»: по стандартным конфигурациям, без привлечения какой-либо специфики и магии.
Проще говоря, для запуска в кластере из контейнеров ещё пяти копий бэкенда на PHP/Ruby/Python требуется лишь 5 раз поднять новый сервер и скопировать исходники. Поскольку и исходники, и init-скрипт лежат в образе, масштабирование stateless-приложения становится совсем элементарным. Как хорошо известно любителям контейнеров и микросервисной архитектуры, сложности начинаются для приложений категории stateful, т.е. с сохранением данных, таких как базы данных и кэши (MySQL, PostgreSQL, Redis, ElasticSearch, Cassandra…). Это касается как софта, самостоятельно реализующего кворумный кластер (например, Percona XtraDB и Cassandra), так и софта, требующего отдельных управляющих утилит (такого, как Redis, MySQL, PostgreSQL…).
Сложности возникают по той причине, что исходников и запуска сервиса становится не достаточно — нужно выполнить еще некоторые действия. Как минимум — скопировать данные и/или присоединиться к кластеру. А если точнее, то эти сервисы требуют понимания, как их правильно масштабировать, обновлять и переконфигурировать без потери данных и их временной недоступности. Учёт этих потребностей и называется «эксплуатационными знаниями» (operational knowledge).
Читать полностью »
Улучшая надёжность Kubernetes: как быстрее замечать, что нода упала
2017-04-10 в 10:43, admin, рубрики: devops, docker, kubernetes, Блог компании Флант, отказоустойчивость, системное администрированиеВ кластере Kubernetes нода может умереть или перезапуститься.
Инструменты вроде Kubernetes обеспечивают высокую доступность, спроектированы для надёжного функционирования и автоматического восстановления в подобных сценариях, и Kubernetes действительно прекрасно со всем этим справляется.
Однако вы можете заметить: когда нода падает, поды сломанной ноды на протяжении какого-то времени всё ещё запущены и получают запросы, которые уже не выполняются.
И по умолчанию это время, как мне кажется, слишком велико — его можно уменьшить. На него влияют несколько параметров, настраиваемых в Kubelet и Controller Manager.
Читать полностью »
Зачем нужен containerd и почему его отделили от Docker
2017-04-04 в 8:19, admin, рубрики: devops, docker, runC, Блог компании Флант, контейнеры, системное администрированиеВ середине марта стало известно, что компания Docker предложила свой проект containerd независимому фонду Cloud Native Computing Foundation (кстати, произошло это одновременно с rkt от CoreOS). Событие последовало за обещанием компании, данным в декабре прошлого года, когда containerd был официально отделён от Docker Engine. Что же это за компонент и зачем его отделили?
Как устроен containerd
containerd — это бывшая часть Docker, а ныне самостоятельное решение, реализующее исполняемую среду для запуска контейнеров. При его создании, как утверждают разработчики, они стремились к простоте, надёжности и портируемости.Читать полностью »
Собираем Docker-образы для CI-CD быстро и удобно вместе с dapp (обзор и видео)
2017-03-28 в 7:16, admin, рубрики: continuous delivery, dapp, devops, docker, Блог компании Флант, деплой, системное администрирование, ФлантЭто вторая публикация, созданная по мотивам моих выступлений на конференциях. Первая была общей и посвящена обзору практик Continuous Delivery с Docker. Новая основана на более прикладном докладе «Собираем Docker-образы быстро и удобно», который прозвучал 8 ноября на конференции HighLoad++ 2016 в секции «DevOps и эксплуатация».
Как и в прошлый раз, если у вас есть возможность потратить ~час на видео, рекомендуем посмотреть его полностью (см. в конце статьи). В ином случае — представляем основную суть в текстовом виде.