Угадай, данную статью написал ChatGPT или нет?
Хотите потестировать приложение, или опробовать в работе инструмент? В этой статье опишу то, как организовал тестовый стенд на Linux. Стенд поддерживает работу с доменами, умеет генерировать TLS сертификаты, легко масштабируется, окружение строится по принципе IaaC, не требует много ресурсов, легко разворачивается скриптами или SCM, есть UI, не зависит от внешних сервисов.
Я являюсь системным инженером и наиболее эффективным языком для инструкций считаю "птичий" технический язык. Содержимое представляет собой последовательность команд с вкраплением комментариев, по которым коллега может однозначно понять этапы построения окружения без лишних слов. А дополнительную информацию о перечисленных инструментах можно легко получить уже из документации и после чего внести правки для тестового стенда. Кроме примеров кода и команд опишу те плюсы и те минусы, которые свойственны этой архитектуре, как бы громко это не звучало.
Конфигурация обыденная и не представляет ценности или сложности с точки зрения моего опыта, но может пригодится начинающим инженерам или даже опытным программистам, которые пишут код для сервисов или используют сервисную архитектуру для решения задач, но не погружаются в технические детали.
Используемые инструменты
Nomad — https://www.nomadproject.io
Consul — https://www.consul.io
Vault — https://www.vaultproject.io
Traefik — https://traefik.io
Packer — https://www.packer.io
Docker — http://docker.io
Плюсы
-
Набор инструментов с легкостью умещается на небольшой виртуальной машине
-
Инженер использует на практике современные подходы по релизу и выкладке программного обеспечения
-
В случае необходимости стенд легко масштабируется в боевое окружение. Отлично подходит для MVP проекта
Минусы
-
Не подходит для отладки "на лету", но такая возможность есть
-
Не пользуется популярностью
Краткое описание
Код приложения собирается с помощью Packer в образ и размещается на локальном сервере (аналог Docker Registry). На данном этапе можно потренироваться с версионированием и работой в различных окружениях.
Приложение запускается в виде контейнера Docker и вместе с тем появляется возможность оркестрации, т. е. множественных запусков и стратегий обновления контейнеров с помощью Nomad. Секретные данные передаются в контейнер шаблонами go-template или через переменные окружения из Vault.
В случае Web-приложения или приложения с административным интерфейсом в Traefik создаются точки входа HTTPS с сертификатами TLS от Let'sEncrypt.
Как будет проходить настройка
Я буду приводить примеры установки и настройки сервера для Ubuntu, но различия с другими дистрибутивами будут только на этапе установки пакетов.
Виртуальная машина
Для тестового стенда подойдет виртуальная машина с 2 ядрами, 4Г памяти и диском объемом 20Г. Можете оценить объем используемой памяти на примере моего стенда:
3236 root traefik traefik N/A 1.37% 1.37% 1.37%
3488 root bin/console bot run N/A 1.16% 1.28% 1.42%
3416 root bin/console bot run N/A 1.17% 1.28% 1.42%
858 root /usr/bin/containerd N/A 1.49% 1.49% 1.52%
3300 nobody /bin/prometheus --config.fi N/A 1.56% 1.56% 1.56%
986 root /usr/bin/dockerd -H unix:// N/A 2.13% 2.13% 2.21%
928 consul /usr/bin/consul agent -conf N/A 2.35% 2.35% 2.35%
3840 root /usr/bin/nomad agent -confi N/A 1.57% 1.67% 2.48%
934 vault /usr/bin/vault server -conf N/A 5.45% 5.45% 5.45%
-------------------------------------------------------------------------------
88 12 N/A 25.49% 28.31% 45.90%
Это полностью запущенный стенд состоящий из 5 сервисов на 4Г памяти (45% занято). Дороже всего обходится секретность.
Установка инструментов и репозиториев
https://developer.hashicorp.com/nomad/downloads
https://docs.docker.com/engine/install/ubuntu/
Hidden text
Я не учитываю блокировки доступа из России.
mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | gpg --dearmor -o /etc/apt/keyrings/docker.gpg
curl -fsSL https://apt.releases.hashicorp.com/gpg | gpg --dearmor -o /usr/share/keyrings/hashicorp-archive-keyring.gpg
echo "deb [signed-by=/usr/share/keyrings/hashicorp-archive-keyring.gpg] https://apt.releases.hashicorp.com
$(lsb_release -cs) main" > /etc/apt/sources.list.d/hashicorp.list
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu
$(lsb_release -cs) stable" > /etc/apt/sources.list.d/docker.list
Устанавливаем пакеты
apt update
apt install nomad vault consul docker-ce docker-compose packer jq
Настройка Docker + Docker Registry
systemctl start docker
Сейчас нам нужно запустить локальное хранилище образов, которое будет работать идентично публичному облаку или внутреннему в компании.
Создаем файл с описанием сервиса docker-compose.yml
cat >docker-compose.yml <<EndOfText
version: "3.9"
services:
registry:
container_name: registry
image: registry:2
ports:
- 5000:5000
volumes:
- ./config.yml:/etc/docker/registry/config.yml
- /var/lib/registry:/var/lib/registry
EndOfText
И файл с конфигурацией сервиса config.yml
cat >config.yml <<EndOfText
version: 0.1
log:
fields:
service: registry
storage:
cache:
blobdescriptor: inmemory
filesystem:
rootdirectory: /var/lib/registry
http:
addr: :5000
headers:
X-Content-Type-Options: [nosniff]
health:
storagedriver:
enabled: true
interval: 10s
threshold: 3
EndOfText
После запуска наши образы будут храниться в папке /var/lib/registry
Запускаем
docker-compose up -d
Настройка Consul
Генерируем ключ шифрования
CONSUL_KEY=$(consul keygen)
Создаем файл /etc/consul.d/lab_consul.hcl
cat >/etc/consul.d/lab_consul.hcl <<EndOfText
client_addr = "0.0.0.0"
acl {
enabled = true
}
ui_config {
enabled = true
}
bind_addr = "127.0.0.1"
bootstrap_expect = 1
server = true
encrypt = "$CONSUL_KEY"
EndOfText
Запускаем
systemctl restart consul; sleep 10
consul acl bootstrap --format json > ./acl-token-bootstrap-consul.json
export CONSUL_HTTP_TOKEN=`cat ./acl-token-bootstrap-consul.json | jq -r ".SecretID"`
Проверяем
# consul members
Node Address Status Type Build Protocol DC Partition Segment
test 127.0.0.1:8301 alive server 1.14.0 2 dc1 default <all>
Панель по адресу
echo "http://$(curl -s ifconfig.me):8500"
Настройка Vault
Создаем файл /etc/vault.d/vault.hcl
cat >/etc/vault.d/vault.hcl <<EndOfText
ui = true
storage "file" {
path = "/opt/vault/data"
}
listener "tcp" {
address = "0.0.0.0:8200"
tls_disable = "true"
}
api_addr = "http://127.0.0.1:8200"
cluster_addr = "https://127.0.0.1:8201"
EndOfText
Запускаем
systemctl restart vault; sleep 10
export VAULT_ADDR='http://127.0.0.1:8200'
vault operator init -key-threshold 1 -key-shares 1 -format json > ./acl-token-bootstrap-vault.json
export VAULT_TOKEN=$(cat ./acl-token-bootstrap-vault.json | jq -r ".root_token")
export VAULT_UNSEAL_KEY=$(cat ./acl-token-bootstrap-vault.json | jq -r ".unseal_keys_b64 | .[]")
vault operator unseal $VAULT_UNSEAL_KEY
vault login $VAULT_TOKEN
В Vault нам потребуется подключить модуль для хранения наших секретов
vault secrets enable -version=2 kv
Теперь сохраним токен Consul в хранилище Vault
vault kv put kv/consul/token value=$CONSUL_HTTP_TOKEN
Панель по адресу
echo "http://$(curl -s ifconfig.me):8200"
Настройка Nomad
Создаем файл /etc/nomad.d/lab_nomad.hcl
cat >/etc/nomad.d/lab_nomad.hcl <<EndOfText
consul {
address = "127.0.0.1:8500"
token = "$CONSUL_HTTP_TOKEN"
}
acl {
enabled = true
}
telemetry {
publish_allocation_metrics = true
publish_node_metrics = true
}
plugin "docker" {
config {
volumes {
enabled = true
}
}
}
vault {
enabled = true
address = "http://localhost:8200"
token = "$VAULT_TOKEN"
}
EndOfText
Запускаем
systemctl restart nomad; sleep 10
nomad acl bootstrap -json > ./acl-token-bootstrap-nomad.json
export NOMAD_TOKEN=`cat ./acl-token-bootstrap-nomad.json | jq -r ".SecretID"`
Панель по адресу
echo "http://$(curl -s ifconfig.me):4646"
Запуск Traefik
Создаем файл traefik.nomad
export MY_MAIL="some@domain.ltd"
cat >traefik.nomad <<EndOfText
job "traefik" {
datacenters = ["dc1"]
type = "service"
group "traefik" {
count = 1
network {
port "http" {static = 80}
port "https" {static = 443}
port "api" {static = 8081}
}
service {
name = "traefik"
port = "api"
tags = ["traefik.enable=true", "traefik.port=8081"]
}
task "traefik" {
driver = "docker"
config {
image = "traefik:v2.2"
network_mode = "host"
volumes = [ "local/traefik.yaml:/etc/traefik/traefik.yaml" ]
}
template {
destination = "local/traefik.yaml"
data = <<EOF
entryPoints:
http:
address: ':80'
https:
address: ':443'
traefik:
address: ':8081'
api:
dashboard: true
insecure: true
log:
level: DEBUG
certificatesResolvers:
myresolver:
acme:
email: $MY_MAIL
storage: /data/acme.json
httpChallenge:
entryPoint: http
providers:
consulCatalog:
prefix: traefik
exposedByDefault: false
endpoint:
address: 127.0.0.1:8500
scheme: http
token: {{with secret "kv/consul/token"}}{{.Data.data.value}}{{end}}
tls:
insecureSkipVerify: true
EOF
}
}
}
}
EndOfText
Проверяем наш конфиг и применяем
nomad plan traefik.nomad
nomad run traefik.nomad
Панель по адресу
echo "http://$(curl -s ifconfig.me):8081"
Сборка приложения
Создаем файл whoami.pkr.hcl
cat >whoami.pkr.hcl <<EndOfText
packer {
required_plugins {
docker = {
version = ">= 1.0.1"
source = "github.com/hashicorp/docker"
}
}
}
source "docker" "whoami" {
image = "traefik/whoami"
commit = true
run_command = [
"-d", "-i", "--rm", "-t", "--", "{{.Image}}"
]
}
build {
sources = ["source.docker.whoami"]
post-processors {
post-processor "docker-tag" {
repository = "localhost:5000/dev/whoami"
tags = ["0.0.1"]
}
post-processor "docker-push" {}
}
}
EndOfText
И запускаем сборку
packer init .
packer build .
В конце сборки будет указан адрес образа для следующего шага
Запуск тестового приложения
Создаем файл whoami.nomad
cat >whoami.nomad <<EndOfText
job "whoami" {
datacenters = ["dc1"]
type = "service"
group "whoami" {
count = 1
network {
port "http" {to = 80}
}
service {
name = "whoami"
port = "http"
tags = [
"traefik.enable=true",
"traefik.http.routers.whoami.entrypoints=http",
"traefik.http.routers.whoami.rule=host(`$(curl -s ifconfig.me)`)",
"traefik.http.routers.whoami.middlewares=whoami-to-https",
"traefik.http.middlewares.whoami-to-https.redirectscheme.scheme=https",
"traefik.http.middlewares.whoami-to-https.redirectscheme.permanent=true",
"traefik.http.routers.whoami-https.entrypoints=https",
"traefik.http.routers.whoami-https.rule=host(`$(curl -s ifconfig.me)`)",
"traefik.http.routers.whoami-https.tls.certresolver=myresolver"]
}
task "whoami" {
driver = "docker"
config {
image = "localhost:5000/dev/whoami:0.0.1"
ports = ["http"]
}
}
}
}
EndOfText
Проверяем и запускаем наш сервис
nomad plan whoami.nomad
nomad run whoami.nomad
Проверить можно по адресу
echo "http://$(curl -s ifconfig.me)"
После запуска обработать напильником...
Думаю на примере готового приложения дальше будет разобраться попроще.
Пример скрипта для быстрой настройки стенда
Скрипт не идемпотентный, будте осторожны! Запускайте только на новой виртуальной машине с Ubuntu.
curl https://git.sr.ht/~wilful/Shared/blob/master/init.sh | bash -x
Посмотреть все доступные адреса панелей можно так
journalctl -t laboratory -xe
Что можно улучшить?
https://www.waypointproject.io?
Оригинал тут
Автор:
Wiljaeden