К 2020 году вы не могли не заметить, что миром правят данные. И, как только речь заходит о работе с ощутимыми объёмами, появляется необходимость в сложном многоэтапном конвейере обработки данных.
Рубрика «pipelines»
К порядку: правила создания конвейеров обработки данных
2020-12-30 в 12:10, admin, рубрики: data, pipelines, базы данных, Блог компании Badoo, данные, конвейер, Программирование, хранение данных, хранилища данныхСтас Афанасьев. Juno. Pipelines на базе io.Reader-io.Writer. Часть 2
2020-03-08 в 4:26, admin, рубрики: Go, io.Reader, io.Writer, pipelines, Блог компании ua-hosting.company, конференции, ПрограммированиеВ докладе поговорим про концепцию io.Reader/io.Writer, для чего они нужны, как их правильно реализовывать и какие в связи с этим существуют подводные камни, а также про построение pipelines на базе стандартных и кастомных реализаций io.Reader/io.Writer.
Как Gitlab-CI наследует переменные окружения?
2020-03-07 в 16:12, admin, рубрики: devops, environment variables, Git, gitalb-ci, gitlab, inheritance, pipelines, системы сборкиПеременные в Gitlab можно задать в нескольких местах:
- В настройках групп
- В настройках проекта
- Внутри .gitlab-ci.yml
При этом переменные в настройках групп и проекта можно задать как "файл"или "обычную переменную" и поставить галочки "защищено" и "маскировать".
Начнем с простого наследования и будет постепенно усложняться.
С конечным списком уровней приоритетов можно ознакомиться в конце документа.
Стас Афанасьев. Juno. Pipelines на базе io.Reader-io.Writer. Часть 1
2020-03-07 в 15:56, admin, рубрики: Go, io.Reader, io.Writer, pipelines, Блог компании ua-hosting.company, конференции, ПрограммированиеВ докладе поговорим про концепцию io.Reader/io.Writer, для чего они нужны, как их правильно реализовывать и какие в связи с этим существуют подводные камни, а также про построение pipelines на базе стандартных и кастомных реализаций io.Reader/io.Writer.
6 самых свежих курсов по Azure
2019-12-03 в 7:00, admin, рубрики: .net core, ACI, Apache Spark, azure, Azure Cosmos DB, Azure Databricks, devops, docker, kubernetes, microsoft, Microsoft Azure, nosql, pipelines, polybase, Power BI, sql, Администрирование контейнеров, Блог компании Microsoft, контейнеры, Облачные вычисления, облачные сервисы, Учебный процесс в ITПривет! Ранее мы опубликовали уже 3 статьи из 5 в нашей серии подборок интересных учебных курсов от Microsoft. Сегодня – уже четвертая часть, и в ней мы расскажем про самые свежие курсы по облаку Azure.
Кстати!
- Все курсы бесплатные (вы даже сможете попробовать платные продукты бесплатно);
- 5/6 на русском языке;
- Начать обучение можно мгновенно;
- По окончании вы получите бейдж об успешном прохождении обучения.
Присоединяйтесь, подробности под катом!
Все статьи из серии
Этот блок будет обновляться с выходом новых статей
- 7 бесплатных курсов для разработчиков
- 5 бесплатных курсов для IT-Администраторов
- 7 бесплатных курсов для архитекторов решений
- 6 самых свежих курсов по Azure
- ** самых ********** ****** от M******** на *******
Serverless CI-CD на AWS
2019-02-18 в 14:31, admin, рубрики: AWS, ci/cd, devops, docker, pipelines, serverless, Блог компании Southbridge, Серверное администрирование, системное администрирование
Было бы круто, если бы развертывание в формате копи-пейст осталось в прошлом, но, увы, дела обстоят иначе. Бывает, разработчикам предпочтительней именно такой метод поставки. Хоть сейчас пиши статью о том, почему это не есть гуд, но вы и без меня все знаете. С тенденцией к бессерверной (serverless) архитектуре пайплайны CI/CD играют важную роль в поставке приложений. Я еще писал о них в статье "3 лучших совета для вашего следующего бессерверного проекта".
Темой CI и CD я интересуюсь давненько, а впервые столкнулся с ней несколько лет назад — благодаря TeamCity. В настоящее время TeamCity по-прежнему используется для большинства наших пайплайнов CI/CD. Работает TeamCity прекрасно, ничего против не имею, но я всегда стремлюсь улучшить работу. Например, было бы хорошо собирать пайплайны в виде кода — это одно из направлений, в которых TeamCity не так хорош.
Инструменты интеграции и поставки на AWS я изучил какое-то время назад, и, хотя мы используем CodeDeploy для другого проекта, который работает на EC2, бессерверный проект я с ними еще не развертывал. Ознакомившись с инструментами повторно, я обратил внимание вот на что: теперь есть встроенная функция интеграции для развертывания CloudFormation и Lambda, предположительно, на основе SAM AWS; мы используем бессерверную платформу, — она генерирует шаблоны CloudFormation, но с инструментами AWS она “из коробки” не работает.
System.IO.Pipelines: высокоэффективный IO в .NET
2018-10-24 в 7:00, admin, рубрики: .net, C#, csharp, dotnet, microsoft, pipelines, System.IO.Pipelines, Блог компании Microsoft, ПрограммированиеSystem.IO.Pipelines — это новая библиотека, упрощающая организацию кода в .NET. Трудно обеспечить высокую производительность и точность, если приходится иметь дело со сложным кодом. Задача System.IO.Pipelines — упростить код. Подробнее под катом!
Знакомство с Azure DevOps
2018-10-01 в 7:00, admin, рубрики: artifacts, azure, boards, cloud, devops, microsoft, Microsoft Azure, pipelines, repos, test plans, Блог компании MicrosoftВышел Azure DevOps! Сегодня мы кратко расскажем об этой новой платформе, ее решениях, процессе перехода с Visual Studio Team Services и об использовании в реальных проектах. Присоединяйтесь!
Управление задачами в Jenkins
2017-10-05 в 9:52, admin, рубрики: continuous delivery, continuous integration, devops, Jenkins, pipelines, Блог компании Селектел
Jenkins сейчас используется, пожалуй, практически в любой компании, где есть необходимость в автоматическом деплое приложений и инфраструктуры, а также в удобном управлении различного рода задач.
На рынке сейчас представлено много других инструментов (как платных, так и бесплатных), позволяющих построить процесс непрерывной интеграции максимально комфортно.
Читать полностью »
Jenkins Pipeline Shared Libraries
2017-09-21 в 13:03, admin, рубрики: continuous deployment, deployment tools, devops, Jenkins CI, pipelines, развертываниеВсем привет. В данной статье хочу поделиться знаниями, полученными в процессе автоматизации развертывания наших сервисов на различные серверы в разных дата-центрах.
Задача была следующей: есть определенный набор скриптов для развертывания сервисов, которые нужно запускать на каждом сервере каждого дата-центра. Скрипты выполняют серию операций: проверка статуса, вывод из-под load balancer’а, выпуск версии, развертывание, проверка статуса, отправка уведомлений через email и Slack и т.д. Это просто и удобно, но с ростом числа дата-центров и сервисов процесс выкатки новой версии может занять целый день. Кроме того, за некоторые действия отвечают отдельные команды, например, настройка load balancer’а. Также хотелось, чтобы управляющий процессом код хранился в общедоступном репозитории, дабы каждый член команды мог его поддерживать.
Решить задачу удалось с помощью Jenkins Pipeline Shared Libraries: этапы процесса разделились визуально на логические части, код хранится в репозитории, а осуществить доставку на 20 серверов стало возможно в один клик. Ниже приведен пример подобного тестового проекта:
Сейчас я расскажу и покажу примеры как этого достичь. Надеюсь эта статья поможет сохранить время другим разработчикам, а также буду рад дельным комментариям.
Читать полностью »