Рубрика «Apache Airflow»
Как поменять архитектуру облака и не поломать пользовательский опыт
2021-09-03 в 8:42, admin, рубрики: Apache, Apache Airflow, devops, архитектура приложений, архитектура системы, Блог компании Selectel, Блог компании Конференции Олега Бунина (Онтико), облака, облачные сервисы, облачные технологии, облачный сервис, цодETL процесс получения данных из электронной почты в Apache Airflow
2020-04-04 в 15:19, admin, рубрики: Apache Airflow, data engineering, etl, pythonКак бы сильно не развивались технологии, за развитием всегда тянется вереница устаревших подходов. Это может быть обусловлено плавным переходом, человеческим фактором, технологическими необходимостями или чем-то другим. В области обработки данных наиболее показательными в этой части являются источники данных. Как бы мы не мечтали от этого избавиться, но пока часть данных пересылается в мессенджерах и электронных письмах, не говоря и про более архаичные форматы. Приглашаю под кат разобрать один из вариантов для Apache Airflow, иллюстрирующий, как можно забирать данные из электронных писем.