Сегодня утром пришло письмо от GitLab, об изменениях соглашения по обслуживанию. Перевод этого письма будет под катом.
Рубрика «devops» - 50
GitLab проводит изменения для пользователей облачных и коммерческих продуктов
2019-10-24 в 9:12, admin, рубрики: devops, gitlab, license, Telemetry, ToS, Блог компании SouthbridgeБольше чем Ceph: блочное хранилище облака MCS
2019-10-23 в 13:19, admin, рубрики: ceph, devops, linux, Mail.Ru Cloud Solutions, Блог компании Mail.Ru Group, виртуализация, облачные сервисы, хранилища данных
Я работаю в Mail.ru Cloud Solutons архитектором и разработчиком, в том числе занимаюсь нашим облаком. Известно, что распределенной облачной инфраструктуре нужно производительное блочное хранилище, от которого зависит работа PaaS-сервисов и решений, построенных с их помощью.
Изначально при развертывании такой инфраструктуры мы использовали только Ceph, но постепенно блочное хранилище эволюционировало. Хотелось, чтобы наши базы данных, файловое хранилище и различные сервисы работали с максимальной производительностью, поэтому мы добавили локализованные хранилища и наладили расширенный мониторинг Ceph.
Расскажу, как это было — возможно, эта история, проблемы, с которыми мы столкнулись, и наши решения будут полезны тем, кто тоже использует Ceph. Кстати, вот видеоверсия этого доклада.
Читать полностью »
Логи не нужны?
2019-10-23 в 12:28, admin, рубрики: debug, debug log, devops, Grafana, prometheus, Блог компании Конференции Олега Бунина (Онтико), логи, отладка, Разработка веб-сайтов, системное администрированиеРазработка сильно изменилась за последние годы. Вместо монолитных приложений пришли микросервисы и функции. Базы данных из универсальных промышленных монстров переродились в узконаправленные. Docker изменил взгляд на деплой. Но изменилось ли наше представление о логах?
Одна из больших проблем в Яндекс.Вертикалях были логи — 18 ТБ в день и 250 000 логов в секунду, все пишется в файлы. Логи разнородные, потому что много языков: Scala, Java, Python, Go. Потом их собирает Fluent Bit, пишет в Kafka, на одной железной машине работают обработчики, собирают из Kafka и пишут всё на диск. При этом это уже третья версия логов.
Как следствие, возникает проблема долгого поиска. По этим логам поиск идет с помощью grep. На некоторых сервисах grep может достигать часов. Если у вас есть проблемы в продакшн, вы не будете часами искать свои логи. Чтобы решить проблему, в Яндекс решили написать свой велосипед доставки логов для поиска. Что из этого получилось, расскажет Алексей Данилов (danevge) — разработчик команды инфраструктуры в Яндекс.Вертикалях. Разрабатывает, пишет и поддерживает проекты auto.ru и Яндекс.Недвижимость.
Дисклеймер. Статья рассказывает о современной разработке и подходит для микросервисной архитектуры. Здесь представлены различные продукты — это инструменты, которые используют в Яндекс.Вертикалях. Под другие условия возможны аналоги удачнее, но они выполняют практически те же функции.Читать полностью »
Введение в skydive.network
2019-10-23 в 11:59, admin, рубрики: devops, kubernetes, skydive, skydive-project, Сетевое оборудование, Сетевые технологииВведение в Skydive
Skydive — это анализатор топологии сети и протоколов с открытым исходным кодом в реальном времени. Он направлен на то, чтобы предоставить исчерпывающий способ понять, что происходит в сетевой инфраструктуре.
Скриншот активных коннектов в kubernetes
Imperva раскрыла технические подробности взлома Cloud WAF
2019-10-23 в 11:44, admin, рубрики: Amazon Web Services, AWS API, Cloud WAF, DAM, devops, imperva, incapsula, ITSumma, RDS, Relational Database Service, Блог компании ITSumma, информационная безопасность, облачные сервисыВ конце августа Imperva оповестила клиентов сервиса Cloud WAF (бывш. Incapsula) об утечке конфиденциальной информации и инициировала сброс паролей учетных записей. Оказалось, что посторонние получили доступ к хешам паролей, ключам API и SSL-сертификатам.
10 октября исполнительный директор компании Крис Хайлен (Chris Hylen) и технический директор Кунаи Ананд (Kunal Anand) изложили post mortem с деталями инцидента. Как такое могло произойти у компании, которая специализируется на защите данных и приложений?
Если резюмировать, проблема возникла из-за некорректной миграции БД с собственного хостинга на Amazon Web Services.
Читать полностью »
ДевОпс и Хаос: доставка ПО в децентрализованном мире
2019-10-23 в 9:24, admin, рубрики: devops, Блог компании Человек наук, доклад, конференция, Облачные вычисления, системное администрированиеОснователь и директор «Otomato Software», один из инициаторов и инструкторов первой в Израиле DevOps-сертификации Антон Вайс рассказал на прошлогоднем DevOpsDays Moscow про теорию хаоса и главные принципы хаосной инженерии, а также объяснил, как устроена идеальная DevOps-организация будущего.
Мы приготовили текстовую версию доклада.
Заделываем дыры в кластере Kubernetes. Доклад и расшифровка с DevOpsConf
2019-10-22 в 8:53, admin, рубрики: devops, kubernetes, Блог компании Southbridge, доклад, Серверное администрирование, системное администрирование, СлёрмПавел Селиванов, архитектор решений Southbridge и преподаватель Слёрма, выступил с докладом на DevOpsConf 2019. Этот доклад — часть одной из тем углубленного курса по Kubernetes «Слёрм Мега».
Слёрм Базовый: введение в Kubernetes проходит в Москве 18-20 ноября.
Слёрм Мега: заглядываем под капот Kubernetes — Москва, 22-24 ноября.
Слёрм Онлайн: оба курса по Kubernetes доступен всегда.
Под катом — расшифровка доклада.
Полное руководство по настройке HTTP-заголовков для безопасности
2019-10-22 в 8:25, admin, рубрики: devops, http, ip reputation, security, security headers, Блог компании Southbridge, Серверное администрирование, системное администрирование
Компании, продающие "системы показателей безопасности", сейчас на подъеме, их влияние в сфере корпоративных продаж растет. К тому же есть те, кого низкий рейтинг безопасности у продавцов смущает, и те, кто хотя бы однажды, глядя на рейтинг, отказался от покупки, — я с такими людьми общался.
Я посмотрел, как эти компании вычисляют показатели безопасности других компаний. Оказалось, они смотрят на сочетание использования НТТР-заголовка для безопасности и репутации IP-адресов.
Репутация IP-адреса основывается на данных черных списков и списков спамеров в сочетании с данными о владельце общедоступного IP-адреса. Она, в принципе, должна быть чистой, если ваша компания не рассылает спам и в состоянии быстро определить и остановить вредоносное внедрение. Использование заголовка безопасности НТТР вычисляется аналогично тому, как работает Observatory от Mozilla.
Таким образом, рейтинг большинства компаний, в основном, определяется заголовками, включенными на общедоступных веб-сайтах для безопасности.
Тридцать докладов DevOops 2019: Tim Lister, Hadi Hariri, Роман Шапошник и другие звёзды международного DevOps
2019-10-22 в 8:20, admin, рубрики: devoops2019, devops, конференции, Программирование, системное администрирование29-30 октября в Санкт-Петербурге состоится DevOops 2019 — конференция, посвященная инженерным DevOps-решениям. Основные темы — это облака вообще и Cloud Native в частности, observability, мониторинг и аудит, CI/CD, безопасность и так далее — в общем, всё, что вы можете ожидать от конференции, посвященной именно девопсу.
Этот хабрапост — обзор программы DevOops, который мы написали вместе с программным комитетом конференции.
Если вкратце:
- Антон Вайс расскажет про сервис-меши;
- Burr Sutter и Олег Ненашев — про CI/CD;
- Дмитрий Столяров и Сергей Фёдоров — про мониторинг;
- Про облака и Kubernetes есть огромная секция: Mete Atamel, Jessica Deen, Виктор Гамов, Иван Глушков…
Программа большая, в сумме 30 докладов.
Кейноуты ведут: Тим Листер (соавтор «Peopleware»), Hadi Hariri (руководитель Developer Advocacy в JetBrains) и Роман Шапошник (член совета директоров Apache Software Foundation и Linux Foundation LF Edge).
Под катом мы поговорим о том, что вообще происходит в мире девопса, разобьём события по группам и посмотрим, как это всё ложится на программу из 30 докладов.
Как работает kubectl exec?
2019-10-22 в 6:54, admin, рубрики: devops, kubernetes, Блог компании Флант, системное администрированиеПрим. перев.: автор статьи — Erkan Erol, инженер из SAP — делится своим изучением механизмов функционирования команды kubectl exec, столь привычной для всех, кто работает с Kubernetes. Весь алгоритм он сопровождает листингами исходного кода Kubernetes (и связанных проектов), которые позволяют разобраться в теме настолько глубоко, насколько это требуется.
В одну из пятниц ко мне подошел коллега и поинтересовался, как выполнить команду в pod'е с помощью client-go. Я не смог ему ответить и внезапно осознал, что ничего не знаю о механизме работы kubectl exec. Да, у меня были определенные представления о его устройстве, однако я не был уверен на 100% в их правильности и потому решил заняться этим вопросом. Проштудировав блоги, документацию и исходный код, узнал много нового, и в этой статье хочу поделиться своими открытиями и пониманием. Если что-то не так, пожалуйста, свяжитесь со мной в Twitter.Читать полностью »