Пример использование Splunk для анализа логов

2012-11-25 в 22:29, admin, рубрики: splunk, ит-инфраструктура, Серверное администрирование, системное администрирование, метки: splunk

Splunk — это система хранения и анализа логов. В двух словах принцип работы можно описать так: есть сервер Splunk, который хранит, индексирует и позволяет анализировать логи, и есть рабочие машины (сервера), которые эти логи создают и передают на сервер Splunk. Сервер Splunk в свою очередь может быть кластером из нескольких физических машин, между которыми распределяется хранение информации, и которые используются для ее обработки по технологии MapReduce. Способов передавать логи с рабочих машин очень много: через специальную программу forwarder, которая умеет быстро и эффективно отсылать изменения логов на сервер, через технологии типа NFS/SMB, или SNMP, можно самостоятельно отсылать данные в Splunk по TCP/IP (например, вместо того, чтобы писать в файл). Под Windows Splunk умеет брать данные из Windows Events, Performance Counters или Реестра.

Для Splunk логи — это текстовая информация, разбитая на строки. В процессе индексирования строки логов разбиваются на поля, например «имя=значение», хотя это настраиваемо. Далее с помощью специального языка запросов SPL можно работать с этими полями: сортировать, агрегировать, создавать вычисляемые поля, формировать таблицы, обращаться ко внешним словарям, например, из SQL-базы, и, конечно, строить разнообразные графики. SPL работает не только с одиночными строками, но и позволяет группировать, «сжимать» логически в одну строку многострочные куски.

Как заявляет сам Splunk, все логи, что хранятся в системе за любое время, являются доступными для запросов, то есть нет понятия архивирования. Конечно, машин (машины), где крутится Splunk должна сообразно отражать объем хранимой и обрабатываемой информации.

Еще Splunk называет себя «Google для логов», но оставим это высказывание без комментариев на их собственный откуп.

Интерфейс Splunk — веб. Можно создавать панели (dashboard'ы), из которых формировать свое собственное Splunk-приложение. У Splunk есть магазин приложений (хотя большинство из них бесплатны), где есть море уже готовых конфигураций для анализа популярных систем, например, UNIX syslog, логи Apache, Microsoft Exchange и т.д.

Программный комплекс Splunk можно бесплатно скачать с официального сайта. Лицензирование происходит на основе дневного объема прокачиваемых через систему логов. Для ознакомления есть минимальный бесплатный объем, которого прекрасно хватает для освоения системы.

Для быстрого ознакомления рекомендую книгу Exploring Splunk от создателей этого продукта. Пролистав ее, вы получите неплохое начальное понимание, что можно делать в Splunk, суть языка запросов SPL и т.д.

В данной же статье я хочу показать реальный пример, который можно повторить в течение получаса. Для этого достаточно бесплатно скачать и установить Splunk под вашу операционную систему. Далее можно просто следовать моим инструкциям.

Пример будет необычным. Традиционно, логи используются для анализа исторической информации. Но ничто не мешает извлекать ее по ходу появления и создавать «живые» индикаторы на ее основе. Соглашусь, мой пример немного искусственен, но я хочу показать, как быстро и просто можно «накидывать» данные в Спланк, формализовать их и строить на их основе динамический пользовательский интерфейс

Вот простой скрипт, который в течение минуты будет записывать в лог сообщения, содержащие процентный показатель (от 0 до 100%).

require 'date'

duration = 60*1
update_period = 0.5
i = 0
while i <= duration do
  progress = i * 100.0 / duration
  msg = "%s progress=%05.2fn" % [DateTime.now, progress]
  puts msg
  open("logs/my.log", 'a') { |f| f << msg }
  i = i + update_period
  sleep update_period
end

Лог будет выглядеть примерно вот так:

2012-11-23T15:58:54+00:00 progress=45.00
2012-11-23T15:58:55+00:00 progress=45.83
2012-11-23T15:58:55+00:00 progress=46.67
2012-11-23T15:58:56+00:00 progress=47.50
2012-11-23T15:58:56+00:00 progress=48.33
2012-11-23T15:58:57+00:00 progress=49.17
2012-11-23T15:58:57+00:00 progress=50.00

Наша цель создать dashboard (панель просмотра) в Спланке, которая отображала бы процесс выполнения скрипта в форме красивого индикатора, беря при этом данные из лога.

Для простоты мы будет все делать на одной машине, и Спланк будет брать лог просто из указанного файла.

Итак, вы уже установили Спланк, и если зайти на "http://localhost:8000", то вы увидите рабочую страницу Спланка, где можно залогиниться пользователем «admin».

Далее идем по меню: «Manager -> Data Inputs -> Add data -> A file or directory or files». Тут мы указывает имя файла или каталога, где лежат наши логи (в данном случае это будет одиночный файл).