Тема может и банальная, но когда программа начинает работать как то не так, и вообще вести себя очень странно, часто приходится читать логи. И много логов, особенно если нет возможности отлаживать программу и не получается воспроизвести ошибку. Наверно каждый выработал для себя какие то правила, что, как и когда логировать. Ниже я хочу рассмотреть несколько правил записи сообщений в лог, а также будет небольшое сравнение библиотек логирования для языков php, ruby и go. Сборщики логов и системы доставки не будут рассматриваться сознательно (их обсуждали уже много раз).
Читать полностью »
Рубрика «логи» - 5
Как правильно писать логи (?)
2017-05-19 в 4:49, admin, рубрики: Go, golang, php, psr-3, ruby, логи, логирование, ПрограммированиеОбзор Splunk Machine Learning Toolkit
2017-05-05 в 5:19, admin, рубрики: dashboard, machine learning, splunk, анализ данных, анализ логов, Блог компании TS Solution, логи, машинное обучение, определение зависимостей, прогнозирование, регрессия, Серверное администрирование, Сетевые технологии, системное администрирование
Помимо того, что Splunk может собирать логи практически из любых источников и строить аналитические отчеты, дашборды, алерты на основе встроенного языка поисковых запросов SPL, о котором мы писали в предыдущих статьях, Splunk еще имеет очень большую базу бесплатных аддонов и приложений.
Сегодня мы рассмотрим одно из самых популярных, с точки зрения пользователей, приложений — Splunk Machine Learning Toolkit.
Читать полностью »
Splunk. Введение в анализ машинных данных — часть 2. Обогащение данных из внешних справочников и работа с гео-данными
2017-03-27 в 4:57, admin, рубрики: geostats, iplocation, lookup, splunk, transaction, анализ данных, анализ логов, анализ машинных данных, Блог компании TS Solution, лог-менеджмент, логи, Серверное администрирование, Сетевые технологии, системное администрирование
Мы продолжаем рассказывать и показывать как работает Splunk, в частности говорить о возможностях языка поисковых запросов SPL.
В этой статье на основе тестовых данных (логи веб сервера) доступных всем желающим для загрузки мы покажем:
- Как обогатить логи информацией из внешних справочников
- Как можно визуализировать географические данные (данные с координатами)
- Как группировать цепочки событий в транзакции и работать с ними
Под катом вы найдете как сами примеры поисковых запросов, так и результат их выполнения. Вы можете скачать бесплатную версию Splunk, загрузить тестовые данные и повторить все на своем локальном компьютере.
Читать полностью »
Логирование в Yii 2.0 и PSR-3
2017-03-09 в 16:54, admin, рубрики: open source, psr-3, yii, логи, логированиеНа дворе 2017-ый год и довольно значительная часть сообщества PHP пытается использовать
PSR: PHP standard recommendation, цель которых — дать возможность заменять отдельные части фреймворков. Среди PSR-ов есть PSR-3, в котором описывается интерфейс для логгера. На данный момент существует множество совместимых с PSR-3 библиотек, в числе которых широко применяемый Monolog.
На тему PSR-3 и Yii 2.0 часто задают следующие вопросы:
- Почему Yii 2.0 не совместим с PSR-3?
- Как мне писать сообщения в совместимый с PSR-3 логгер?
- Есть ли в планах сделать логгер Yii совместимым с PSR-3 и выпилить в отдельный пакет?
Разберём каждый подробно.
Сбор логов межсетевого экрана Checkpoint (OPSEC LEA)
2016-04-07 в 10:35, admin, рубрики: checkpoint, opsec, syslog, информационная безопасность, логи, метки: opsec OPSEC LEA (Log Export API) – интерфейс, позволяющий получать логи с сервера управления (Checkpoint SmartCenter).
В основе OPSEC LEA лежит клиент-серверная архитектура. В качестве сервера выступает Checkpoint SmartCenter, который слушает входящие соединения на порт 18184 ТСР (по-умолчанию). Клиент OPSEC LEA подключается к Серверу на вышеуказанный порт и получает логи.
Fw1-loggrabber – программное обеспечение, поддерживающее OPSEC LEA, и предназначенное для получения логов с серверов управления (Checkpoint SmartCenter – далее SC). Fw1-loggrabber может выводить полученные логи на экран, перенаправлять в файл или в syslog.
Существуют версии данного ПО как под Linux, так и под Windows (под windows не поддерживается вывод в syslog).
Дано:
- Сервер управления Checkpoint. Версия ПО Checkpoint – R77.30 (sc.local);
- Сервер с CentOS 6.6 (loggraber.local);
- Syslog сервер (syslog.local).
Задача:
получить логи c SC и передать их по протоколу syslog на внешний syslog сервер.
Читать полностью »
Сбор и анализ логов демонов в Badoo
2016-03-31 в 13:28, admin, рубрики: elasticsearch, kibana, logstash, splunk, анализ данных, Блог компании Badoo, высокая производительность, ит-инфраструктура, логи, разработка, хранение данныхВведение
В Badoo несколько десятков «самописных» демонов. Большинство из них написаны на Си, остался один на С++ и пять или шесть на Go. Они работают примерно на сотне серверов в четырех дата-центрах.
В Badoo проверка работоспособности и обнаружение проблем с демонами лежат на плечах отдела мониторинга. Коллеги с помощью Zabbix и скриптов проверяют, запущен ли сервис, отвечает ли он на запросы, а также следят за версиями. Кроме того, в отделе анализируется статистика демонов и скриптов, работающих с ними, на предмет аномалий, резких скачков и т.п.
Однако у нас до недавнего времени не было очень важной части — сбора и анализа логов, которые каждый демон пишет локально в файлы на сервере. Зачастую именно эта информация помогает на самом раннем этапе поймать проблему или постфактум понять причины отказа.
Мы построили такую систему и спешим поделиться подробностями. Наверняка у кого-то из вас будет стоять похожая задача, и прочтение данной статьи убережет от ошибок, которые мы успели совершить.
Читать полностью »
Анализ логов сервера с помощью GoAccess
2016-01-22 в 7:14, admin, рубрики: centos-admin.ru, goaccess, Блог компании centos-admin.ru, логи, системное администрирование 
Не так давно мы натолкнулись на утилиту GoAccess, которая позволяет анализировать логи веб серверов и строить отчеты. Утилита написана на C и имеется почти во всех репозиториях дистрибутивов Linux. Адрес проекта.
В данной заметке не будет ничего революционного, лишь краткое HOWTO, большую часть из которого вы сможете найти в документации.
Читать полностью »
Дешифрация TLS трафика Java приложений с помощью логов
2015-03-27 в 12:39, admin, рубрики: java, SSL, TLS, wireshark, безопасность, криптография, логи, Сетевые технологии 
Отладка защищенных по SSL/TLS интеграций у Java приложений порой становится весьма нетривиальной задачей: соединение не ставится/рвется, а прикладные логи могут оказаться скудными, доступа к правке исходных кодов может не быть, перехват трафика Wireshark'ом и попытка дешифрации приватным ключом сервера (даже если он есть) может провалиться, если в канале применялся шифр с PFS; прокси-сервер вроде Fiddler или Burp может не подойти, так как приложение не умеет ходить через прокси или на отрез отказывается верить подсунутому ему сертификату…
Недавно на Хабре появилась публикация от ValdikSS о том, как можно с помощью Wireshark расшифровать любой трафик от браузеров Firefox и Chrome без обладания приватным ключом сервера, без подмены сертификатов и без прокси. Она натолкнула автора нынешней статьи на мысль — можно ли применить такой подход к Java приложениям, использовав вместо файла сессионных ключей отладочные записи JVM? Оказалось — можно, и сегодня, уважаемые однохабряне, я расскажу, как это сделать.
Читать полностью »
Взлом с помощью поиска, невнимательность и мой подельник GitHub
2014-10-07 в 18:02, admin, рубрики: github, gitignore, Google, stealer, взлом, информационная безопасность, логи, поиск, Поисковые машины и технологии
Вступление
Одним прекрасным, светлым утром, будучи потрясенным от того, что температура за окном, как казалось, была градусов на 5 больше чем обычно, я почувствовал наплыв небывалой ранее освещенности и в мой мозг прокралась идея — «а ведь те, офферы и аккаунты, которые продаются на „черном рынке“ — они же ворованные всевозможными фишинг-сайтами и стиллерами, а насколько я знаю стиллеры — все логи должны храниться на каом-то хосте в сети интернет».
Читать полностью »
Как выглядит DDoS-атака
2013-04-26 в 16:52, admin, рубрики: ddos-атака, videolan, визуализация, высокая производительность, информационная безопасность, логи, метки: ddos-атака, videolan, визуализация, логиПочти каждый представляет себе, что такое DDoS-атака. Но лучше один раз увидеть, чем сто раз услышать. Сайт VideoLAN на днях подвергся довольно необычной DDoS-атаке. Хотя интенсивность запросов была не очень велика — от 400 до 1600 запросов в секунду, ботнету удалось создать очень большую нагрузку на сервер, так как компьютеры-зомби не просто заходили на одну из страниц сайта, а скачивали дистрибутив VLC-плеера весом в 22 мегабайта. Пиковая нагрузка на серверы доходила до 292 гигабит в секунду. С помощью logstalgiaЧитать полностью »