Около года назад я переквалифицировался из .NET-разработчика в SRE. В этой статье делюсь историей о том, как группа опытных разработчиков отложила в сторону C# и пошла изучать Linux, Terraform, Packer, рисовать NALSD и строить IaC, как мы применяли практики экстремального программирования для управления инфраструктурой компании, и что из этого вышло.
Рубрика «terraform» - 2
Путь разработчика в SRE: зачем идти в инфраструктуру и что из этого выйдет
2020-06-30 в 15:38, admin, рубрики: Ansible, azure, devops, Dodo IS, dodo pizza engineerng, extreme programming, iac, infrastructure as code, jsonnet, onboarding, Packer, sre, terraform, xp, Блог компании Dodo Pizza Engineering, Блог компании Конференции Олега Бунина (Онтико), инфрастуктура, ПрограммированиеPacker, Terraform и Ansible: деплой кластера Kubernetes за час
2020-03-17 в 6:52, admin, рубрики: Ansible, BM, kubeadm, kubernetes, Packer, terraform, Блог компании КРОК Облачные сервисы, виртуализация, инфраструктура, кластер, сервер, хранение данныхПривет, меня зовут Андрей Щукин, я помогаю крупным компаниям мигрировать сервисы и системы в Облако КРОК. Вместе с коллегами из компании Southbridge, которая проводит в учебном центре «Слёрм» курсы по Kubernetes, мы недавно провели вебинар для наших заказчиков.
Я решил взять материалы отличной лекции Павла Селиванова и написать пост для тех, кто ещё только начинает работать с инструментами provisioning’а облаков и не знает, с чего начать. Поэтому я расскажу про стек технологий, которые используются у нас в обучении и продакшене Облака КРОК. Поговорим о современных подходах к управлению инфраструктурой, про связку компонентов Packer, Terraform и Ansible, а также про инструмент Kubeadm, с помощью которого мы будем производить установку.
Под катом будет много текста и конфигов. Материала много, поэтому я добавил навигацию по посту. Также мы подготовили небольшой репозиторий, куда сложили всё необходимое для нашего учебного деплоя.
Не давайте имён курам
Печёные пирожки полезнее жареных
Начинаем печь. Packer
Terraform — инфраструктура как код
Запуск Terraform
Структура кластера Kubernetes
Kubeadm
Репозиторий со всеми файлами
Читать полностью »
Помощь девопсам по внедрению PKI
2019-11-17 в 14:25, admin, рубрики: Ansible, ci/cd, devops, globalsign, hashicorp vault, Jenkins CI, kubernetes, openshift, PKI, saltstack, terraform, Venafi, X.509, Блог компании GlobalSign, информационная безопасность, облачные сервисы, Серверное администрированиеУ девопсов и так много работы, а от них ещё требуют экспертных знаний по криптографии и инфраструктуре открытых ключей (PKI). Это неправильно.
Действительно, у каждой машины должен быть валидный TLS-сертификат. Они нужны для серверов, контейнеров, виртуальных машин, в сетках service mesh. Но количество ключей и сертификатов растёт как снежный ком, а управление быстро становится хаотичным, дорогостоящим и рискованным, если всё делать самостоятельно. При отсутствии надлежащей практики применения политик и мониторинга бизнес может пострадать из-за слабых сертификатов или неожиданного истечения срока действия.
GlobalSign и Venafi организовали два вебкаста в помощь девопсам. Первый — вводный, а второй — с более конкретными техническими советами по подключению системы PKI от GlobalSign через облако Venafi с помощью опенсорсных инструментов через HashiCorp Vault из конвейера Jenkins CI/CD.
Читать полностью »
Перешел с Terraform на CloudFormation — и пожалел
2019-11-05 в 10:25, admin, рубрики: AWS, cloudformation, devops, Infrastructure, infrastructure as code, terraform, Блог компании Southbridge, Серверное администрирование, системное администрированиеПредставлять инфраструктуру в виде кода в повторяемом текстовом формате — простая лучшая практика для систем, с которой не нужно мышевозить. За этой практикой закрепилось название — Infrastructure as Code, и пока что для ее осуществления, особенно в AWS, есть два популярных инструмента: Terraform и CloudFormation.
Сравниваю опыт работы с Terraform и CloudFormation
До прихода в Twitch (он же Amazon Jr.) я трудился в одном стартапе и года три использовал Terraform. На новом месте я тоже вовсю использовал Terraform, а потом компания продавила переход на все а-ля Amazon, включая CloudFormation. Я усердно разрабатывал лучшие практики и для того, и для другого, и оба инструмента использовал в очень сложных рабочих процессах в масштабах организации. Позднее, вдумчиво взвесив последствия перехода с Terraform на CloudFormation, я убедился, что Terraform, наверное, — лучший выбор для организации.
Песнь льда (кровавый Enterprise) и пламени (DevOps и IaC)
2019-10-10 в 12:29, admin, рубрики: amazon, AWS, chef, devops, iac, Jenkins, sql, terraform, Администрирование баз данныхТема DevOps и IaC очень популярна и развивается быстро. Однако большинство авторов касаются сугубо технических проблем на этом пути. Я же опишу проблемы, характерные для большой компании. Решения у меня нет — проблемы, в общем, фатальны и лежат в области бюрократии, аудита, и «soft skills».

Раз название статьи такое, то в качестве котика выступит Дайнерис, перешедшая на сторону Enterprise
Читать полностью »
Infrastructure as Code: как побороть проблемы с помощью XP
2019-10-09 в 15:05, admin, рубрики: azure, devops, Dodo Pizza, Dodo Pizza Engineering, dodois, dodopizzaengineering, extreme programming, infrastructure as code, jsonnet, onboarding, Packer, pair programming, sre, terraform, xp, Блог компании Dodo Pizza Engineering, управление разработкойПривет! Раньше я жаловался на жизнь в парадигме Infrastructure as code и ничего не предлагал для решения сложившейся ситуации. Сегодня я вернулся, чтобы рассказать, какие подходы и практики помогут вырваться из бездны отчаяния и вырулить ситуацию в правильное русло.
Как мы переложили управление инфраструктурой на Terraform — и начали жить
2019-10-09 в 8:53, admin, рубрики: Amazon Web Services, AWS, devops, dins, iac, terraform, Блог компании DINS, облачные сервисы
У нас было 4 Amazon-аккаунта, 9 VPC и 30 мощнейших девелоперских окружений, стейджей, регрессий — всего более 1000 EC2 instance всех цветов и оттенков. Раз уж начал коллекционировать облачные решения для бизнеса, то надо идти в своем увлечении до конца и продумать как все это автоматизировать.
Привет! Меня зовут Кирилл Казарин, я работаю инженером в компании DINS. Мы занимаемся разработкой облачных коммуникационных решений для бизнеса. В своей работе мы активно используем Terraform, с помощью которого мы гибко управляем нашей инфраструктурой. Поделюсь опытом работы с этим решением.
Статья длинная, поэтому запаситесь попкорном чаем и вперед!
И еще один нюанс — статья писалась на основе версии 0.11, в свежей 0.12 многое изменилось но основные практики и советы по прежнему актуальны. Вопрос миграции с 0.11 на 0.12 заслуживает отдельной статьи!
Читать полностью »
Infrastructure as code: первое знакомство
2019-08-28 в 15:38, admin, рубрики: Ansible, devops, Dodo IS, Dodo Pizza Engineering, dodopizza, iac, sre, terraform, Блог компании Dodo Pizza Engineering, инфрастуктура, Серверное администрирование, системное администрированиеУ нас в компании идёт процесс онбординга SRE-команды. Я зашёл во всю эту историю со стороны разработки. В процессе у меня появились мысли и инсайты, которыми я хочу поделиться с другими разработчиками. В этой статье-размышлении я говорю о том, что происходит, как происходит, и как всем дальше с этим жить.
Управление сотнями серверов для нагрузочного теста: автомасштабирование, кастомный мониторинг, DevOps культура
2019-08-19 в 5:01, admin, рубрики: Ansible, devops, miro, orchestration, realtimeboard, terraform, автомасштабирование, Блог компании Miro, динамическое масштабирование, отчеты тестирования, Тестирование IT-систем, Тестирование веб-сервисовВ прошлой статье я рассказал про нашу инфраструктуру большого нагрузочного теста. В среднем мы создаём порядка 100 серверов для подачи нагрузки и порядка 150 серверов для работы нашего сервиса. Все эти сервера нужно создавать, удалять, конфигурировать и запускать. Мы используем для этого те же инструменты, что и на проде, чтобы уменьшить количество ручной работы:
- Для создания и удаления тестового окружения — Terraform скрипты;
- Для конфигурирования, обновления и запуска — Ansible скрипты;
- Для динамического масштабирования в зависимости от нагрузки — самописные Python-скрипты.
Благодаря скриптам Terraform и Ansible, все операции от создания инстансов до запуска сервера выполняются всего шестью командами:
#запускаем нужные инстансы в консоли aws
ansible-playbook deploy-config.yml #обновляем версии серверов
ansible-playbook start-application.yml #запускаем наше приложение на этих серверах
ansible-playbook update-test-scenario.yml --ask-vault-pass #обновляем Jmeter сценарий, если в нём были изменения
infrastructure-aws-cluster/jmeter_clients:~# terraform apply #создаем jmeter сервера для подачи нагрузки
ansible-playbook start-jmeter-server-cluster.yml #запускаем jmeter кластер
ansible-playbook start-stress-test.yml #запускаем тест
Autoscaling своими руками с помощью AWX, Ansible, haproxy и Облака КРОК
2019-06-20 в 7:23, admin, рубрики: Ansible, automation, awx, cloud, terraform, Блог компании КРОК Облачные сервисыКакое-то время назад мы сделали безагентский (Agentless) мониторинг и алармы к нему. Это аналог CloudWatch в AWS с совместимым API. Сейчас мы работаем над балансировщиками и автоматическим скейлингом. Но пока мы не предоставляем такой сервис — предлагаем нашим заказчикам сделать его самим, используя в качестве источника данных наш мониторинг и теги (AWS Resource Tagging API) как простой service discovery. Как это сделать покажем в этом посте.