В декабре 2016 мой коллега kevteev сказал, что было бы неплохо замутить митап по постгресу в следующем году на площадке Avito. А незадолго до этого безопасники пригласили меня поучаствовать в нескольких CTF, в том числе одном Attack-Defence. И я ответил ему: “А почему бы не замутить постгресовый хакатон?”. И вот мы подготовили первое в России очное соревнование для специалистов по PostgreSQL, и сегодня я хочу пригласить на него вас.
Читать полностью »
Рубрика «Администрирование баз данных» - 37
PGHACK. Соревнование в офисе Avito 2 сентября
2017-08-07 в 10:01, admin, рубрики: pghack, postgres, postgresql, Администрирование баз данных, Блог компании Avito, соревнование, метки: pghack1C и ETL
2017-08-03 в 11:50, admin, рубрики: 1c, dwh, etl, Администрирование баз данных, хранилища данных
ETL и 1С. Извлечение данных
Первый взгляд
Если вы, как ETL-специалист столкнулись с необходимостью получать данные из 1С, то это первое, что вы можете увидеть, попытавшись разобраться со структурой БД (это из случае MSSQL, для других СУБД картинка аналогичная):
Бизнес-смысл в наименованиях таблиц и полей отсутствует, внешних ключей нет.
Пару ласковых о самой 1С. Реальные таблицы СУБД в ней скрыты за объектами, которые видит разработчик, который часто не догадывается о реальной структуре базы. Да… И весь код на русском языке. Кроме того, есть перечисления, строковые представления которых с помощью SQL получить практически невозможно. Об этом подробнее здесь.
Есть случаи, когда БД нет (и 1С в файловой версии), но это, разумеется ориентирует вас на интеграцию без использования средств СУБД.
Читать полностью »
Докеризация высокодоступного Postgres кластера
2017-07-31 в 7:31, admin, рубрики: cluster, devops, docker, failover, postgresql, Replication and High Availability, Администрирование баз данных, Серверное администрирование, хранение данных
Пару месяцев назад мы переехали из Амазон на свои выделенные сервера(Hetzner), одна из причин тому была высокая стоимость RDS. Встала задача настроить и запустить master-slave кластер на выделенных серверах. После гугления и прочтения официальной документации, было принято решение собрать свое собственное решение высокодоступного асинхронного кластера Postgres.
День сисадмина: зажги на квесте, закрути баклажан
2017-07-28 в 5:53, admin, рубрики: system administration, Администрирование баз данных, Администрирование доменных имен, день сисадмина, день системного администратора, пятница, Серверное администрирование, системное администрирование
Про вас не снимают фильмов, не пишут песен и часто даже не знают в лицо. Образ сисадмина оброс мифами: небрит, нетрезв и неотёсан.
Знаменитые мистификаторы! Вы создали эти легенды, чтобы нести свой крест в одиночестве. Но раз в году, стряхнув стереотипы, вы выходите к юзерам, чтобы принять благодарности.
Рыцари в сияющих доспехах, повелители офиса и атланты IT-инфраструктуры. На вас все компьютеры, сети, серверы, роутеры, концентраторы, коммутаторы и шлюзы.
Сегодня мы преклоняемся перед вами и приносим дары:
- баклажан починки сервера: дабы крутили вы его и не утруждали себя.
- сисьадминский квест: для эстетического и интеллектуального удовлетворения.
Резервное копирование виртуальной машины и скрипты заморозки-оттаивания InterSystems Caché
2017-07-27 в 1:24, admin, рубрики: cache, Администрирование баз данных, Блог компании InterSystems, виртуализация, Зеркалирование, резервное копирование, системный администратор, Советы и трюкиВ этой статье я рассмотрю стратегии резервного копирования Caché с использованием систем внешнего резервного копирования и приведу примеры интеграции с решениями на основе снимков состояния виртуальной машины (VM snapshot, снапшот). Большинство решений, с которыми я сталкиваюсь сегодня, развернуты на базе Linux и VMware, поэтому я приведу примеры решений именно с использованием снапшотов VMware.
Многоярусный бэкап PostgreSQL с помощью Barman и синхронного переноса журналов транзакций
2017-07-21 в 9:33, admin, рубрики: barman, postgresql, Администрирование баз данных, Блог компании Яндекс.Деньги, бэкап, резервное копирование, системное администрирование, метки: barman
В Яндекс.Деньгах хранится масса важной для комфортной работы пользователя информации. Настройки профилей и подписки на штрафы тоже нужно бэкапить, чем и занимается у нас связка из Barman Backup & Recovery for PostgreSQL и pg_receivexlog.
В статье расскажу о том, почему архитектура стала такой, какой стала, а также расскажу, как реализовать подобный сценарий для вашей базы PostgreSQL.Читать полностью »
Компания HPE начала продажи новых серверов HPE ProLiant Gen10
2017-07-20 в 14:22, admin, рубрики: HPE, ilo, Intel Xeon Scalable, proliant, ProLiant Gen10, Администрирование баз данных, Блог компании Hewlett Packard Enterprise, Серверная оптимизация, Серверное администрирование, серверы11 июля HPE начала принимать заказы на новые серверы ProLiant Gen10, и в этом материале мы хотим рассказать о ключевых технологиях и характеристиках моделей в этом юбилейном поколении.
Хотя выпуск нового поколения серверов и совпал с выпуском процессоров Intel Xeon Scalable Family, это была далеко не единственная причина для обновления. Предпосылками стали новые задачи заказчиков HPE. Среди них: появление новых классов нагрузок (в т.ч. требующих обработки больших объемов данных в памяти и высокой производительности дисковой подсистемы), улучшение управляемости аппаратной инфраструктуры (переход на управление через REST API, интеграция с различными средствами автоматизации ИТ, поддержка шаблонов и сценариев), новые модели потребления ИТ-ресурсов (например, финансовые услуги и оплата по мере использования), а также, не в последнюю очередь, новые угрозы в информационной безопасности, связанные с уязвимостью низкоуровневых компонентов серверов (BIOS и прошивок).
Что же нового появилось в серверах HPE ProLiant Gen10 в ответ на все эти задачи. Разберемся по порядку.
Читать полностью »
СУБД для 1С Fresh. Быстро. Надежно. Бесплатно
2017-07-17 в 12:44, admin, рубрики: 1c, 1cFresh, postgresql, Администрирование баз данных, базы данных, Блог компании Кнопка, системное администрирование, СУБДКнопка уже несколько лет для работы с бухгалтерскими базами использует технологию публикаций 1C Fresh. Мы уже недавно писали о нашем опыте эксплуатации. Использование нами в качестве СУБД PostgreSQL вызвало интерес и ряд вопросов, поэтому мы решили рассказать об этом подробнее.
SYSMON Dashboards для мониторинга работы InterSystems Caché, Ensemble и HealthShare
2017-07-17 в 9:34, admin, рубрики: cache, intersystems, Администрирование баз данных, Блог компании InterSystems, мониторинг сервера, Серверное администрирование, системное администрированиеSystem Monitor — это гибкая, настраиваемая утилита, поставляемая с Caché (Ensemble, HealthShare), которая собирает показатели операционной системы и Caché. Также System Monitor уведомляет администраторов о неполадках с Caché и операционной системой, когда один или несколько показателей достигают заданных администратором значений.
Продолжение истории с кибершпионажем за аптеками
2017-07-10 в 12:58, admin, рубрики: dande, Администрирование баз данных, антивирусная защита, аптеки, Блог компании Доктор Веб, бэкдор, закладки, кибершпионаж, промышленный шпионаж, Сетевые технологии, метки: dande, аптекиНа фоне всех этих эпидемий шифровальщиков как-то теряется работа — опасна и трудна — тех бэкдоров, которые работают по-тихому, и на первый взгляд как будто не видны. А зря! Ведь апдейты обычно делают только тогда, когда «дом уже горит» — хотя казалось бы, если вовремя найти у себя бэкдор и закрыть его, а не продолжать делать вид, что всё в порядке, ситуаций вроде этой можно избегать.
Ну да чего уж там. В истории с аптечными кибератаками есть продолжение.
Читать полностью »