Меня зовут Никита, я backend-разработчик из команды антифрода в Ситимобил. Сегодня я поделюсь с вами историей о том, как мы выносили наш сервис из монолита в отдельный сервис, как вообще пришли к этому решению и с какими проблемами столкнулись.
Рубрика «elasticsearch» - 3
Как мы фрод из избы выносили
2020-02-04 в 7:42, admin, рубрики: elasticsearch, RabbitMQ, Анализ и проектирование систем, Блог компании Ситимобил, проектирование, Системы обмена сообщениямиHighLoad++, Андрей Гущин (Zabbix): высокая производительность и нативное партиционирование
2020-01-25 в 14:59, admin, рубрики: ConfigurationCache, elasticsearch, History syncer, HistoryCache, Partitioning, postgresql, timescaledb, TrendsCache, ValueCache, zabbix, Блог компании ua-hosting.company, высокая производительность, конференции, Серверное администрированиеМы рассмотрим работу Zabbix с базой данных TimescaleDB в качестве backend. Покажем, как запустить с нуля и как мигрировать с PostgreSQL. Также приведем сравнительные тесты производительности двух конфигураций.
HighLoad++ Siberia 2019. Зал «Томск». 24 июня, 16:00. Тезисы и презентация. Следующая конференция HighLoad++ пройдет 6 и 7 апреля 2020 года в Санкт-Петербурге. Подробности и билеты по ссылке.
Андрей Гущин (далее – АГ): – Я – инженер технической поддержки ZABBIX (далее – «Заббикс»), тренер. Работаю более 6 лет в технической поддержке и напрямую сталкивался с производительностью. Сегодня я буду рассказывать о производительности, которую может дать TimescaleDB, при сравнении с обычным PostgreSQL 10. Также некоторая вводная часть – о том, как вообще работает.Читать полностью »
HighLoad++, Юрий Насретдинов (ВКонтакте): как VK вставляет данные в ClickHouse с десятков тысяч серверов
2020-01-13 в 6:44, admin, рубрики: big data, clickhouse, elasticsearch, LSD, MergeTree, Администрирование баз данных, Блог компании ua-hosting.company, Серверная оптимизация, СУБДHighLoad++ Moscow 2018, зал «Конгресс-холл». 9 ноября, 15:00
Тезисы и презентация: http://www.highload.ru/moscow/2018/abstracts/4066
Юрий Насретдинов (ВКонтакте): в докладе будет рассказано об опыте внедрения ClickHouse в нашей компании – для чего он нам нужен, сколько мы храним данных, как их пишем и так далее.
Дополнительные материалы: использование Clickhouse в качестве замены ELK, Big Query и TimescaleDBЧитать полностью »
Мониторинг приложений при помощи Logger.Backends
2020-01-01 в 8:17, admin, рубрики: elasticsearch, Elixir/Phoenix, logger, logging, slack, TelemetryElixir в полной мере использует инфраструктуру ведения журнала Erlang для создания логов. Начиная с версии 1.10, которая должна быть выпущена в ближайшее время, нам становятся доступны новые пользовательские функции ведения журнала, которые появились в Erlang/OTP 21+.
В то время как OTP предоставляет всю инфраструктуру для доставки журнальных событий (ивентов) абонентам, само протоколирование, если понимать его как хранение и/или отображение событий журнала, должно быть реализовано приложением. С этой целью вводится соответствующая абстракция Logger.Backend.
3. Elastic stack: анализ security логов. Дашборды
2019-12-26 в 12:08, admin, рубрики: big data, check point, data analysis, elastic stack, elasticsearch, security, ts solution, анализ логов, Блог компании TS Solution, информационная безопасность, системное администрирование
В прошлых статьях мы немного ознакомились со стеком elk и настройкой конфигурационного файла Logstash для парсера логов, в данной статье перейдем к самому важному с точки зрения аналитики, то что вы хотите увидеть от системы и ради чего все создавалось — это графики и таблицы объединенные в дашборды. Сегодня мы поближе ознакомимся с системой визуализации Kibana, рассмотрим как создавать графики, таблицы, и в результате построим простенький дашборд на основе логов с межсетевого экрана Check Point.
Читать полностью »
2. Elastic stack: анализ security логов. Logstash
2019-12-26 в 6:47, admin, рубрики: big data, check point, data analysis, elastic stack, elasticsearch, logstash, security, ts solution, анализ логов, Блог компании TS Solution, информационная безопасность, системное администрирование
В прошлой статье мы познакомились со стеком ELK, из каких программных продуктов он состоит. И первая задача с которой сталкивается инженер при работе с ELK стеком это отправление логов для хранения в elasticsearch для последующего анализа. Однако, это просто лишь на словах, elasticsearch хранит логи в виде документов с определенными полями и значениями, а значит инженер должен используя различные инструменты распарсить сообщение, которое отправляется с конечных систем. Сделать это можно несколькими способами — самому написать программу, которая по API будет добавлять документы в базу либо использовать уже готовые решения. В рамках данного курса мы будем рассматривать решение Logstash, которое является частью ELK stack. Мы посмотрим как можно отправить логи с конечных систем в Logstash, а затем будем настраивать конфигурационный файл для парсинга и перенаправления в базу данных Elasticsearch. Для этого в качестве входящей системы берем логи с межсетевого экрана Check Point.
Читать полностью »
Разбор настройки ELK 7.5 для анализа логов Mikrotik
2019-12-23 в 8:26, admin, рубрики: data engineering, docker, elasticsearch, home server, kibana, logstash, mikrotik, визуализация данных, Сетевые технологии, системное администрированиеДавно была мысль посмотреть, что можно делать с ELK и подручными источниками логов и статистики. На страницах хабра планирую показать практический пример, как с помощью домашнего мини-сервера можно сделать, например, honeypot с системой анализа логов на основе ELK стека. В этой статье расскажу про простейший пример анализа логов firewall с помощью стека ELK. В дальнейшем хотелось бы описать настройку окружения для анализа Netflow трафика и pcap дампов инструментом Zeek.
Если у вас есть публичный IP-адрес и более-менее умное устройство в качестве шлюза/файрволла, вы можете организовать пассивный honeypot, настроив логирование входящих запросов на «вкусные» TCP и UDP порты. Под катом пример настройки маршрутизатора Mikrotik, но если у вас под рукой маршрутизатор другого вендора (или какая-то ещё security система), нужно просто немного разобраться с форматами данных и вендоро-специфичными настройками, и получится тот же результат.
Disclaimer
Статья не претендует на оригинальность, здесь не рассматриваются вопросы отказоустойчивости сервисов, безопасности, лучших практик и т.д. Нужно рассматривать этот материал как академический, он подходит для ознакомления с базовым функционалом стека ELK и механизмом анализа логов сетевого устройства. Однако и не новичку может быть что-то интересно.
Проект запускается из docker-compose файла, соответственно развернуть своё подобное окружение очень просто, даже если у вас под рукой маршрутизатор другого вендора, нужно просто немного разобраться с форматами данных и вендоро-специфичными настройками. В остальном я постарался максимально подробно описать все нюансы, связанные с конфигурированием Logstash pipelines и Elasticsearch mappings в актуальной версии ELK. Все компоненты этой системы хостятся на github, в том числе конфиги сервисов. В конце статьи я сделаю раздел Troubleshooting, в котором будут описаны шаги по диагностике популярных проблем новичков в этом деле.
Читать полностью »
От Hadoop до Cassandra: 5 лучших инструментов для работы с Big Data
2019-12-19 в 12:11, admin, рубрики: analytics, big data, big data analytics, BigData, cassandra, data base, data mining, elasticsearch, presto, Talend, анализ данных, аналитические системы, Блог компании Plarium, визуализация данных, инструменты, инструменты анализа данных, обработка данных, работа с данными, сбор данныхПеред вами перевод статьи из блога Seattle Data Guy. В ней авторы выделили 5 наиболее популярных ресурсов для обработки Big Data на текущий момент.
Сегодня любая компания, независимо от ее размера и местоположения, так или иначе имеет дело с данными. Использование информации в качестве ценного ресурса, в свою очередь, подразумевает применение специальных инструментов для анализа ключевых показателей деятельности компании. Спрос на аналитику растет пропорционально ее значимости, и уже сейчас можно определить мировые тенденции и перспективы в этом секторе. Согласно мнению International Data Corporation, в 2019 году рынок Big Data и аналитики готов перешагнуть порог в 189,1 миллиарда долларов.Читать полностью »
Как мы в ЦИАН укрощали терабайты логов
2019-12-04 в 8:37, admin, рубрики: elasticsearch, Блог компании ЦИАН, логи, Серверная оптимизация, системное администрирование, циан
Всем привет, меня зовут Александр, я работаю в ЦИАН инженером и занимаюсь системным администрированием и автоматизацией инфраструктурных процессов. В комментариях к одной из прошлых статей нас попросили рассказать, откуда мы берем 4 ТБ логов в день и что с ними делаем. Да, логов у нас много, и для их обработки создан отдельный инфраструктурный кластер, который позволяет нам оперативно решать проблемы. В этой статье я расскажу о том, как мы за год адаптировали его под работу с постоянно растущим потоком данных.
Читать полностью »
Публичные данные 1,2 млрд пользователей были обнаружены на открытом Elasticsearch-сервере
2019-11-23 в 9:30, admin, рубрики: 1.2 миллиарда, elasticsearch, информационная безопасность, поисковые технологии, проблема, Социальные сети и сообщества, утечка
Согласно информации издания Wired, специалисты в области информационной безопасности Винни Троя (Vinny Troia) и Боб Дьяченко (Bob Diachenko) обнаружили в сети открытый Elasticsearch-сервер, содержащий 1,2 млрд записей общим размером четыре терабайта. Сервер был расположен на площадке Google Cloud Service (у него был IP-адрес 35.199.58.125).
Читать полностью »