В Slack всей своей инфраструктурой, опирающейся на AWS, DigitalOcean, NS1 и GCP, мы управляем с помощью Terraform. И хотя большая её часть работает на AWS, мы выбрали Terraform в противоположность их нативному сервису CloudFormation, чтобы использовать единый инструмент среди всех провайдеров сервисов. Это позволяет сохранить модель «инфраструктура как код» и механизм развёртывания универсальными. В статье мы разберём процесс развёртывания нашей инфраструктуры с помощью Terraform.Читать полностью »
Рубрика «AWS» - 2
Как мы в Slack используем Terraform
2022-12-25 в 10:00, admin, рубрики: AWS, Jenkins, ruvds_перевод, slack, terraform, Блог компании RUVDS.com, облачные сервисы, хранение данныхВ Slack всей своей инфраструктурой, опирающейся на AWS, DigitalOcean, NS1 и GCP, мы управляем с помощью Terraform. И хотя большая её часть работает на AWS, мы выбрали Terraform в противоположность их нативному сервису CloudFormation, чтобы использовать единый инструмент среди всех провайдеров сервисов. Это позволяет сохранить модель «инфраструктура как код» и механизм развёртывания универсальными. В статье мы разберём процесс развёртывания нашей инфраструктуры с помощью Terraform.Читать полностью »
2003–2023: Краткая история Big Data
2022-12-04 в 10:00, admin, рубрики: Apache, AWS, big data, data engineering, GCP, Hadoop, Microsoft Azure, ruvds_перевод, spark, sql, Блог компании RUVDS.com, Большие данные, хранилища данныхБольшие данные (Big Data) и, в частности, экосистема Hadoop появились немногим более 15 лет назад и развились к сегодняшнему дню так, как мало кто мог тогда предположить.
Ещё только появившись, опенсорсный Hadoop сразу стал популярным инструментом для хранения и управления петабайтами данных. Вокруг него сформировалась обширная и яркая экосистема с сотнями проектов, и он до сих пор используется многими крупными компаниями, даже на фоне современных облачных платформ. В текущей статье я опишу все эти 15 лет1 эволюции экосистемы Hadoop, расскажу о её росте в течение последнего десятилетия, а также о последних шагах в развитии сферы больших данных за последние годы.
Так что пристегнитесь и настройтесь на путешествие во времени вглубь 20 последних лет, поскольку наша история начинается в 2003 году в маленьком городке к югу от Сан-Франциско…
Дисклеймер: изначально я планировал оформить статью логотипами упоминаемых в ней компаний и программ, но на TDS запрещено обширное использование логотипов, поэтому я решил украсить содержание случайными изображениями и справочной информацией. Весело вспоминать, где мы в те времена находились и чем занимались.
Примеры кошмарного программирования вокруг нас. Выученная беспомощность
2022-09-07 в 9:00, admin, рубрики: AWS, gzip, ruby, ruvds_статьи, stripe, zstd, Блог компании RUVDS.com, единая точка отказа, костыли, ненормальное программирование, принцип DRY, принятие решений, Программирование, разработка под windows, реестр windows, системное программированиеНет в мире совершенства. Куда ни глянь — всюду костыли и компромиссы. Вроде каждый в отдельности хочет сделать как лучше, но чем больше участников — тем сильнее хаос…
Возьмём классический пример — реестр Windows. Этот странный артефакт инженерной мысли представляет некое подобие иерархической БД для хранения абсолютно всех настроек — и системных, и приложений, и драйверов. Центральное бинарное хранилище заменило массу файлов .ini, разбросанных по всей системе и должно было упростить жизнь. Но вышло наоборот. И глядя на монструозный тормозящий конструкт, возникает только один вопрос: как это исправить? Ответ тоже простой: «Если вкратце, то никак». И так во всём. Мы создаём монстров, а потом не можем от них избавиться.
Читать полностью »
Квадрант Gartner 2022 года по решениям для мониторинга приложений (APM)
2022-07-17 в 17:24, admin, рубрики: Alibaba Cloud, Amazon Web Services, appdynamics, AWS, azure, Broadcom, DataDog, devops, gartner, Instana, magic quadrant for apm, New Relic, Исследования и прогнозы в IT, системное администрированиеВ этом году крепко призадумался, стоит ли публиковать полноценный обзор на свежий квадрант Gartner по APM системам, ведь почти все участники (или почти все) этого квадранта прекратили продажи в России и непонятно когда их возобновят. У себя в телеграм-канале Мониторим ИТЧитать полностью »
Можно ли в российских облаках реализовать архитектурные схемы, стандартные для западных провайдеров
2022-06-16 в 7:46, admin, рубрики: Amazon Web Services, AWS, cloud native, devops, ITSumma, SberCloud, selectel, selectel cloud, vk cloud solutions, vkcs, Yandex.Cloud, Блог компании ITSumma, облачные сервисыИсторически так сложилось, что AWS стал промышленным стандартом на рынке облачных услуг, как с точки зрения набора предоставляемых услуг и решений, так и с точки зрения поддержки, комьюнити, готовых библиотек для использования, провайдеров для работы с подходом IaaC. Но ввиду изменившейся геополитической ситуации, а также других различных факторов (например, 152 ФЗ), зарубежные решения становятся всё менее доступными. Так что необходимо искать альтернативы на российском внутреннем рынке.
В этой статье мы проводим сравнительный анализ нескольких отечественных облачных провайдеров, рассматривая набор предлагаемых решений, оценивая наличие Terraform-провайдеров, а также пытаясь реализовать деплой типичного веб-проекта в облаке.
Дисклеймер №1
Данная статья не является рекламой. Все совпадения с реальностью — всего лишь совпадения с реальностью. А все несовпадения с реальностью — всего лишь несовпадения с реальностью.
Дисклеймер №2Читать полностью »
IT-релокация: какие скиллы качать, чтобы устроиться на зарубежный рынок
2022-04-29 в 15:31, admin, рубрики: Amazon Web Services, AWS, Блог компании Southbridge, зарубежный опыт, Карьера в IT-индустрии, облачные провайдеры, релокация, релокация в Европу, релокейтЗа последние месяцы количество IT-специалистов, желающих переехать и устроиться в зарубежную компанию, резко возросло. Одни принимают решения в панике, другие действуют осознанно.
Мы пообщались с Павлом Замошиным, Site Reliability Engineer в Speakap. Он уже более двух лет в релокации, и его переезд пришёлся на разгар пандемии. Павел рассказал, чем зарубежные собеседования отличаются от российских, и что нужно уметь, чтобы получить оффер. А ещё поделился, как выбирал страну и с какими неочевидными сложностями столкнулся после переезда.
SNS и SQS: разбираемся, какие есть способы обмена сообщениями в облаках
2022-04-07 в 9:23, admin, рубрики: Amazon Web Services, AWS, GCP, serverless, sns, SQS, Yandex.Cloud, микросервисы, облачные сервисыМой опыт собеседования в Amazon
2022-01-18 в 14:37, admin, рубрики: algorithms, Amazon Web Services, AWS, C#, interview, leetcode, system design, Алгоритмы, распределенные системыО чём эта статья
Это не история успеха, потому что в Амазон меня не взяли, но и не история полного лузера, который бомбит из-за своей тупости, ибо позже я прошел в Майкрософт, о чем будет отдельный пост.
Это история о моем опыте собеседования в Амазоне, почему мне в целом не понравилось по сравнению с другими FAANG. Так же тут будут ответы на “а что конкретно спрашивали на интервью, какие были задачки, что на систем дизайне было”, потому что мне не дали подписать NDA, все с пруфами, скринами и прочее.
Переехать в Kubernetes и платить за инфраструктуру вдвое меньше? История Adapty
2021-11-10 в 6:43, admin, рубрики: adapty, AWS, devops, GCP, kubernetes, Блог компании Флант, истории успеха, миграции, облачные сервисы, ФлантНедавно мы помогли нашему клиенту Adapty перенести инфраструктуру с managed-сервисов AWS. Теперь она размещена в Kubernetes-кластере на обычных инстансах другого облачного провайдера, но ее можно легко мигрировать в другой ЦОД в случае необходимости. Этот бизнес-кейс во многом показательный: Adapty удалось минимизировать зависимость от поставщика, снизить инфраструктурные затраты на 50%, а также снять некоторые технические ограничения по масштабированию и оптимизации своих приложений.