Рубрика «ETL-процессы»
ETL-проект для начинающих Data Engineers: От почтового сервера до Greenplum
2024-10-08 в 12:15, admin, рубрики: data engineering, etl, ETL-процессы, python, sql
Мониторинг ETL-процессов в маленьком хранилище данных
2019-08-30 в 15:49, admin, рубрики: etl, ETL-процессы, monitoring, sql, sqlite, хранилища данных, хранилище данныхМногие используют специализированные инструменты для создания процедур извлечения, трансформации и загрузки данных в реляционные базы данных. Процесс работы инструментов логируется, ошибки фиксируются.
В случае ошибки в логе содержится информация о том, что инструменту не удалось выполнить задачу и какие модули (часто это java) где остановились. В последних строках можно найти ошибку базы данных, например, нарушение уникального ключа таблицы.
Чтобы ответить на вопрос, какую роль играет информация об ошибках ETL, я классифицировал все проблемы, произошедшие за последние два года в немаленьком хранилище.
Это пост с докладами и видео по MS SQL Server
2018-08-13 в 15:30, admin, рубрики: ETL-процессы, Microsoft SQL, Microsoft SQL Server, PowerBI, SSRS-отчеты, Администрирование баз данных, Блог компании Яндекс.Деньги, параллельная сортировка, Проектирование и рефакторингВ июне мы провели митап по Microsoft SQL Server — докладчики из Яндекс.Денег, «Лаборатории Касперского», AwaraIT и SpbDev поделились с коллегами опытом. А теперь выкладываем видео в общий доступ.
Под каждым видео — таймкоды ключевых мест, но советуем смотреть, слушать и внимать целиком.