Приглашаем на митап сообщества AWS_Ru, который пройдет на площадке Райффайзенбанка в Нагатино, 4 июля. Будем разговаривать про IoT и решения AWS, узнаем, как выжать из облака все и еще послушаем секретного спикера. Готовьте свои вопросы и приходите делиться опытом, будет интересно.
Рубрика «AWS» - 7
AWS_Ru meetup в Райффайзенбанке
2019-07-01 в 16:55, admin, рубрики: Amazon Web Services, autoscaling, AWS, ebs, IoT, meetup, open source, raiffeusenit, Блог компании Райффайзенбанк, конференции, системное администрированиеО топорах и капусте
2019-05-24 в 15:57, admin, рубрики: Amazon Web Services, AWS, cloudwatch, EC2, ecs, kinesis firehose, redshift, облачные сервисы, сертификацияРазмышления о том, откуда берется желание сдать сертификацию AWS Solutions Architect Associate.
Мотив первый: «Топоры»
Один из самых полезных для любого профессионала принципов «Знай свои инструменты» (или, в одно из вариаций «точи пилу»).
Мы в облаках уже давно, но до поры до времени это были просто монолитные приложения с базами, развернутые на инстансах EC2 — дёшево и сердито.
Но постепенно нам стало тесно в рамках монолита. Взяли курс на распил в хорошем смысле – на модуляризацию, а затем и модные нынче микросервисы. И очень быстро на этой почве «расцветают сто цветов».
Да что там далеко ходить – проект логирования активности, который я сейчас веду, включает в себя:
- Клиентов в виде разнообразных приложений нашего продукта – от глухих уголков дремучего легаси до ультрамодных микросервисов на .Net Core.
- Очереди Amazon SQS, в которые складываются логи о том, что происходит с клиентами.
- Микросервис на .Net Core, который достает сообщения из очереди и отправляет их в Amazon Kinesis Data Streams (KDS). Имеет также Web API интерфейс и swagger UI как дублирующий канал и для ручного тестирования. Оборачивается в докеровский linux-контейнер и хостится под управлением Amazon ECS. Предусмотрен autoscaling на случай большого потока логов.
- Из KDS данные пожарными шлангами направляются в Amazon Redshift с промежуточными складами в Amazon S3.
- Операционные логи для девелоперов (дебаг-информация, сообщения об ошибках и т.п.) форматируются в приятный глазу JSON и отправляются в Amazon CloudWatch Logs
Работая с таким зоопарком сервисов AWS хочется знать что есть в арсенале и как это что-то лучше использовать.
Читать полностью »
Apache Kafka и потоковая обработка данных с помощью Spark Streaming
2019-05-10 в 5:03, admin, рубрики: amazon, Amazon Web Services, AWS, big data, kafka streams, postgresql, python, RDS, spark, spark streaming, tutorial, облачные сервисы, ПрограммированиеПривет! Сегодня мы построим систему, которая будет при помощи Spark Streaming обрабатывать потоки сообщений Apache Kafka и записывать результат обработки в облачную базу данных AWS RDS.
Представим, что некая кредитная организация ставит перед нами задачу обработки входящих транзакций «на лету» по всем своим филиалам. Это может быть сделано с целью оперативного расчета открытой валютой позиции для казначейства, лимитов или финансового результата по сделкам и т.д.
Как реализовать этот кейс без применения магии и волшебных заклинаний — читаем под катом! Поехали!
Terraformer — Infrastructure To Code
2019-05-06 в 22:53, admin, рубрики: Amazon Web Services, AWS, cloud, devops, GCP, Go, golang, google cloud, Google Cloud Platform, hcl, infrastructure as code, open source, terraform
Хотел бы рассказать про новый CLI tool который я написал для решения одной старой проблемы.
Проблема
Terraform уже давно стал стандартом в Devops/Cloud/IT сообществе. Вещь очень удобная и полезная чтоб заниматся infrastructure as code. Есть много прелестей в Terraform а так же много вилок, острых ножей и граблей.
С Terraform очень удобно делать новые вещи и потом ими управлять, менять или удалять. А что делать тем у кого есть огромная инфраструктура в облаке и не создано через Terraform? Переписывать и пересоздавать все облако как то дорого и небезопасно.
Я сталкивался с такой проблемой на 2 работах, самый простой пример когда хочешь что все было в гите виде терраформ файлов, а у тебя 250+ бакетов и писать их для терраформа руками как то много.
Есть issue еще с 2014 года в terrafom которую закрыли в 2016 с надеждой что будет import.
Вообщем все как на картинке только справа налево
Читать полностью »
Serverless-подход для быстрой разработки рабочего видео-сервиса
2019-04-23 в 6:01, admin, рубрики: .net, Amazon Web Services, AWS, AWS Elemental MediaConvert, devops, NoOps, serverless
Я работаю в аутсорсе, где главный принцип можно описать фразой «продавай много, делай быстро». Чем быстрее сделаем, тем больше заработаем. И, желательно, чтобы всё работало не на костылях и соплях, а с приемлемым уровнем качества. Я расскажу о своём опыте, когда за короткий срок нужно было разработать промо-сервис.
Дано: root-аккаунт на AWS, отсутствие ограничений по выбору стека технологий, один бэкендер, и один месяц на разработку.
Задача: реализовать промо-сервис, где пользователи люди загружают от одного до четырёх видео длительностью от одной до четырёх секунд, которые потом встраиваются в оригинальный видеоряд.
Читать полностью »
Бесплатный VPN сервис Wireguard на AWS
2019-04-18 в 5:15, admin, рубрики: AWS, open source, Ubuntu, vpn-сервис, wireguard, информационная безопасность, Сетевые технологии, системное администрированиеДля чего?
С ростом цензурирования интернета авторитарными режимами, блокируются все большее количество полезных интернет ресурсов и сайтов. В том числе с технической информацией.
Таким образом, становиться невозможно полноценно пользоваться интернетом и нарушается фундаментальное право на свободу слова, закрепленное во Всеобщей декларации прав человека.
Статья 19
Каждый человек имеет право на свободу убеждений и на свободное выражение их; это право включает свободу беспрепятственно придерживаться своих убеждений и свободу искать, получать и распространять информацию и идеи любыми средствами и независимо от государственных границ
В данном руководстве мы за 6 этапов развернем свой собственный бесплатный* VPN сервис на базе технологии Wireguard, в облачной инфраструктуре Amazon Web Services (AWS), с помощью бесплатного аккаунта (на 12 месяцев), на инстансе (виртуальной машине) под управлением Ubuntu Server 18.04 LTS.
Я старался сделать это пошаговое руководство как можно более дружественным к людям, далеким от ИТ. Единственное что требуется — это усидчивость в повторении описанных ниже шагов.
Месть девопса: 23 удалённых инстанса AWS
2019-03-24 в 7:48, admin, рубрики: AWS, Computer Misuse Act, devops, Карьера в IT-индустрии, увольнение
Если вы увольняете сотрудника, будьте с ним предельно вежливы и убедитесь, что все его требовани удовлетворены, дайте ему рекомендации и выходное пособие. Особенно если это программист, системный администратор или человек из подразделения DevOps. Некорректность со стороны работодателя может дорого обойтись.
В британском городе Рединг завершился суд над 36-летним Стефаном Нидхэмом (Steffan Needham, на фото). После девятидневного разбирательства бывший сотрудник IT-подразделения одной из местных компаний получил два года тюремного заключения.
Стефан Нидхэм всего четыре недели проработал в компании цифрового маркетинга и программного обеспечения под названием Voova, после чего его уволили. Мужчина не остался в долгу. Сразу после увольнения 17 и 18 мая 2016 года он воспользовался учётными данными своего коллеги, авторизовался в системе Amazon Web Services (AWS) и удалил 23 инстанса бывшего работодателя.
Читать полностью »
Amazon выпустила Open Distro for Elasticsearch
2019-03-13 в 4:13, admin, рубрики: amazon, AWS, elastic, elasticsearch, elk, open sourceЭта статья — обзор новостей о том, как:
- Amazon выпустила Open Distro for Elasticsearch
- почему они это сделали?
- что это значит для компании Elastic и для Open Source вообще?
Elastic
Жила была компания Elastic.
Было у них несколько Open Source продуктов:
- сам Elasticsearch: сервер, который получает, хранит логи и позволяет по ним делать поиск
- Kibana: frontend движок, который берёт данные из Elasticsearch и из них рисует красивые репорты
- ещё несколько утилит, которые собирают логи. Например LogStash
Elasticsearch бывают называют ELK (лось), как акроним основных элементов:
— Elasticsearch
— LogStash
— Kibana
Хотя компоненты «L» и «K» в общем-то можно заменять на другие: Beats, Grafana,…
Ещё у Elastic есть X-Pack.
Это коммерческий продукт. Часть из возможностей X-Pack — платная (довольно дорогая) и часть — бесплатная (но лицензия всё равно коммерческая).
X-Pack расширяет возможности ELK:
— security
— alerting
— monitoring
— reporting
— graph
— …
Причём если не ставить X-Pack, то отсутствуют некоторые довольно существенные возможности. Например, по умолчанию ELK отсутствует аутентификация, то все данные «торчат» наружу. Можно прикрутить обратный прокси и сделать basic authentication (так себе вариант), а можно купить X-Pack.
Ход 1: Elastic хитро меняет лицензию
Такая боль, такая боль, сервис на аутсорсе 1:0
2019-02-21 в 3:57, admin, рубрики: AWS, mcs, Блог компании «Антиплагиат», ИТ-ГРАД, облачные сервисы, системное администрирование, Тестирование IT-систем, техподдержка, я.облакоМы делаем самую лучшую в России и ближнем зарубежье систему обнаружения заимствований. В идеальном мире мы бы занимались только разработкой и развитием системы. Но, увы, Антиплагиат работает не в вакууме, и для того, чтобы нашим пользователям было удобно и комфортно использовать наши разработки, нам необходимо также развивать среду, окружающую наш сервис. Наш софт пока не работает без железа, пользователям нужно оказывать техническую поддержку, получать оплату от пользователей необходимо без нарушения законодательства и т.д. Словом, рутины хватает.
Эта статья – первая из серии производственных драм историй о том, как мы делали наш сервис лучше при помощи аутсорса. Делимся реальными проблемами и выводами.
Облака, белогривые лошадки...
(откуда-то из интернета, впервые увидел тут.)
Нагрузка на нашу систему сильно неравномерна: во-первых, в течение суток нагрузка меняется в 5 раз. Во-вторых, есть и ярко выраженная сезонность. Суточный максимум проверок после окончания летней сессии уменьшается в 10 раз! Зимняя сессия не столь яркая, но тоже не подарок. Плюс каждая последующая летняя сессия тяжелее (по числу проверок) и сложнее (новые технологии поиска и функциональность) предыдущей. Поэтому, с одной стороны, хочется иметь хороший запас по ресурсам, с другой – не платить лишнего во время спада активности. В сессию можно развернуть побольше серверов, а летом сократить объем потребляемых ресурсов. Очевидно, что это как раз случай облачных провайдеров. В этой статье я расскажу о различных аспектах взаимодействия с несколькими облачными провайдерами (AWS, ИТ-Град, MCS, YC). Если кому-то покажется, что это крик души, он не сильно ошибется. Итак, поехали!
Serverless CI-CD на AWS
2019-02-18 в 14:31, admin, рубрики: AWS, ci/cd, devops, docker, pipelines, serverless, Блог компании Southbridge, Серверное администрирование, системное администрирование
Было бы круто, если бы развертывание в формате копи-пейст осталось в прошлом, но, увы, дела обстоят иначе. Бывает, разработчикам предпочтительней именно такой метод поставки. Хоть сейчас пиши статью о том, почему это не есть гуд, но вы и без меня все знаете. С тенденцией к бессерверной (serverless) архитектуре пайплайны CI/CD играют важную роль в поставке приложений. Я еще писал о них в статье "3 лучших совета для вашего следующего бессерверного проекта".
Темой CI и CD я интересуюсь давненько, а впервые столкнулся с ней несколько лет назад — благодаря TeamCity. В настоящее время TeamCity по-прежнему используется для большинства наших пайплайнов CI/CD. Работает TeamCity прекрасно, ничего против не имею, но я всегда стремлюсь улучшить работу. Например, было бы хорошо собирать пайплайны в виде кода — это одно из направлений, в которых TeamCity не так хорош.
Инструменты интеграции и поставки на AWS я изучил какое-то время назад, и, хотя мы используем CodeDeploy для другого проекта, который работает на EC2, бессерверный проект я с ними еще не развертывал. Ознакомившись с инструментами повторно, я обратил внимание вот на что: теперь есть встроенная функция интеграции для развертывания CloudFormation и Lambda, предположительно, на основе SAM AWS; мы используем бессерверную платформу, — она генерирует шаблоны CloudFormation, но с инструментами AWS она “из коробки” не работает.