Зачем сетевику Python? Часть вторая

# скрипт берёт адреса или с базы данных, или из файла.
# скрипт делает первый запрос по snmp sysname, в процессе срабатывает обработчик ошибок, если были ошибки, адрес пропускается
# если сбор sysname прошёл успешно, запрашиваются адреса, ifindex, маски (маски не нужны, это осталось со времени отработки запросов) и тд
# если хост вырубится между запросами - позже будет вываливание скрипта с traceback, так как в testresult будет каша
# на запросах desc и name interface - обработчик работает
# в bind должны быть опция check-names master ignore
# заголовок файлов зон не формируется скриптом, он должен быть в отдельном файле. По умолчанию - named.soa. Скрипт только проставляет $INCLUDE

#import section

from pysnmp.hlapi import *
from ipaddress import *
from datetime import datetime
import mysql.connector
from mysql.connector import errorcode # для работы с mysql неоходимо поставить mysql.connector для python3

# по умолчанию данные из mysql, как пепеключить на файл смотри ниже. формат файла - одна строка один ip адрес в десятичной форме по октетам с разделителем точкой

# var section

#snmp
community_string = 'community'  # community string
port_snmp = 161
OID_ipAdEntAddr = '1.3.6.1.2.1.4.20.1.1'  # From SNMPv2-MIB ip адреса
OID_ifNumber = '1.3.6.1.2.1.2.1.0'  # From RFC1213-MIB количество интерфейсов ifindex
OID_sysName = '1.3.6.1.2.1.1.5.0'  # From SNMPv2-MIB hostname/sysname
OID_ipAdEntIfIndex = '1.3.6.1.2.1.4.20.1.2' # From SNMPv2-MIB ifindex interface
OID_ipAdEntNetMask = '1.3.6.1.2.1.4.20.1.3' # From SNMPv2-MIB
OID_ifAlias = '1.3.6.1.2.1.31.1.1.1.18' # Desc интерфейса. для получения к OID надо добавить ifindex
OID_ifName = '1.3.6.1.2.1.31.1.1.1.1'   # название интерфейса к OID надо добавить ifindex
list_OID = [OID_ipAdEntAddr,OID_ipAdEntIfIndex,OID_ipAdEntNetMask]

#log
filename_log = 'zone_gen.log' # для лог файла
log_level = 'debug' # ('normal'), ('debug'), ('min')

# bind zone files
file_direct_zone = 'spd.esrr.rzd.hosts' # имя файла прямой зоны
domain = 'domain.name.org' # domainname
named_soa = '$INCLUDE /var/bind/named.soa'
direct_zone =[] # список для прямой зоны
reverse_zone = {} # словарь для обратных зон
name_server_record = 'dns.server.ru.        IN      A       10.111.33.21n'

ip_segment_ds = ['10.0.0.0/8'] # для убирания адресов, не попадающих в диапазон

#var section for mysql
username_db = 'username' # логин для mysql
password_db = 'password' # пароль для mysql
db = 'name_database' # имя базы данных
query_from_db = 'select ip from devices where type = 2 or type = 3;' # пример sql запроса;
host = '192.11.33.123' # адрес базы

# ip from file
filename_of_ip = 'ip.txt' # имя файла с Ip адресами
select_source_ip = 'file' # Флаг откуда брать данные из файла ('file') или confstractor ('mysql')

# function section

def snmp_getnextcmd(community, ip, port, OID):
    # type class 'generator' errorIndication, errorStatus, errorIndex, result[3]
    # метод next для получения значений по порядку, однго за другим с помощью next()
    return (nextCmd(SnmpEngine(),
                    CommunityData(community),
                    UdpTransportTarget((ip, port)),
                    ContextData(),
                    ObjectType(ObjectIdentity(OID))))

def snmp_getcmd(community, ip, port, OID):
    # type class 'generator' errorIndication, errorStatus, errorIndex, result[3] - список
    # метод get получаем результат обращения к устойстройству по SNMP с указаным OID
    return (getCmd(SnmpEngine(),
                   CommunityData(community),
                   UdpTransportTarget((ip, port)),
                   ContextData(),
                   ObjectType(ObjectIdentity(OID))))

def snmp_get_next(community, ip, port, OID, file):
    # метод обрабатывает class generator от def snmp_get
    # обрабатываем errors, выдаём тип class 'pysnmp.smi.rfc1902.ObjectType' с OID и значением
    # получаем одно скалярное значение

    errorIndication, errorStatus, errorIndex, varBinds = next(snmp_getcmd(community, ip, port, OID))
    # тут должен быть обработчик errors
    x = []
    if errors(errorIndication, errorStatus, errorIndex, ip, file):
         for name, val in varBinds:
            return (val.prettyPrint(), True)
    else:
        file.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : Error snmp_get_next ip = ' + ip + ' OID = ' + OID + 'n')
        return ('Error', False)

def errors(errorIndication, errorStatus, errorIndex, ip, file):
    #обработка ошибок В случае ошибок возвращаем False и пишем в файл (нереализовано)
    if errorIndication:
        print(errorIndication, 'ip address ', ip)
        file.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + str(errorIndication) + ' = ip address = ' + ip + 'n')
        return False
    elif errorStatus:
        print(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + '%s at %s' % (errorStatus.prettyPrint(),
                            errorIndex and varBinds[int(errorIndex) - 1][0] or '?'))
        file.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + '%s at %s' % (errorStatus.prettyPrint(),
                            errorIndex and varBinds[int(errorIndex) - 1][0] or '?' + 'n'))
        return False
    else:
        return True

def snmp_getnextcmd_next(community, ip, port, OID, file):
    # метод обрабатывает class generator от def snmp_getnext
    # OID - это список OID в виде list_OID = [OID_ipAdEntAddr,OID_ipAdEntIfIndex,OID_ipAdEntNetMask], где переменные строковые значения
    # в виде '1.2.3.4'
    # возвращаем двумерный список со значениями, по количеству OID
    list_result = [] # для формирования списков первого уровня
    list_result2 = [] # итоговый список
    g = (snmp_getnextcmd(community, ip, port, OID[0])) #начинаем с первого OID
    varBinds = 0
    flag = True
    for oid in list_OID:
        if varBinds != 0:
            for name, val in varBinds:
                list_result2.append(list_result)
                list_result = []
                list_result.append(val.prettyPrint())
        i = 0
        while i <= 0:  # по списку
            errorIndication, errorStatus, errorIndex, varBinds = next(g)
            if errors(errorIndication, errorStatus, errorIndex, ip_address_host, file):
                if str(varBinds).find(oid) != -1:
                    i = 0
                    for name, val in varBinds:
                        list_result.append(val.prettyPrint())
                else:
                    i = i + 1
                    flag = False
            else:
                file.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + 'Error snmp_getnextcmd_next ip = ' + ip + ' OID = '+ OID[0] + 'n')
                print('Error snmp_getnextcmd_next ', False)
                i = i + 1
                flag = False
    list_result2.append(list_result)

    return list_result2

def check_ip(ip): # проверка ip адреса
    try:
        ip_address(ip)
    except ValueError:
        return False
    else:
        return True

def check_ip2(ip): # проверка ip адреса
    try:
        ip_interface(ip)
    except ValueError:
        return False
    else:
        return True

def get_from_mysql(host, user, password, db_name, query, fd):
    flag = True
    try:
        cnx = mysql.connector.connect(user=user, password = password, host = host ,database = db_name)
        if cnx.is_connected():
            print('Connected to MySQL database')
            fd.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + 'Connected to MySQL database '+ host + 'n')
            cursor1 = cnx.cursor()
            cursor1.execute(query)
            query_result = []
            i=0
            list = []
            for var in cursor1:
                query_result.append(str(var)[1:-2])
            for var in query_result:
                # проверяем, что то что отдал констрактор это ip адрес а не мусор
                if var.isdigit():
                   if check_ip(int(var)):
                      list.append(str(ip_address(int(var))))
                       #    query_result.append(str(ip_address(int(str(var)[1:-2]))))

    except mysql.connector.Error as err:
        if err.errno == errorcode.ER_ACCESS_DENIED_ERROR:
            print("Something is wrong with your user name or password")
            fd.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + "Something is wrong with your user name or password" + 'n')
            flag = False
        elif err.errno == errorcode.ER_BAD_DB_ERROR:
            print("Database does not exist")
            fd.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + "Database does not exist" + 'n')
            flag = False
        else:
            print(err)
            fd(err)
            flag = False
    cursor1.close()
    cnx.close()

    return (list, flag)

def get_from_file(file, filelog): # выбирает ip адреса из файла. одна строка - один адрес в десятичной форме
    fd = open(file,'r')
    list_ip = []
    for line in fd:
       line=line.rstrip('n')
       if check_ip(line):
           list_ip.append(line)
       else:
            filed.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ': Error Мусор в источнике ip адресов ' + line)
    fd.close()

    return list_ip

# code section

#открываем лог файл
filed = open(filename_log,'w')

# записываем текущее время
filed.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + 'n')

#получаем список адресов с базы

if select_source_ip == 'file':
    ip_from_confstractor = get_from_file(filename_of_ip, filed)
else:
    if select_source_ip == 'mysql':
        ip_from_confstractor, flag_mysql = get_from_mysql(host , username_db, password_db, db, query_from_db, filed)

if log_level == 'debug':
    filed.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + 'ip address from ' + select_source_ip + 'n')
    for var in ip_from_confstractor:
        filed.write(var + 'n')

# получаем общее количество ifindex оказалось не нужно
#number_ifindex = (snmp_get_next(community_string, ip_address_host, port_snmp, OID_ifNumber))

for ip_address_host in ip_from_confstractor:
    # получаем sysname hostname+domainname, флаг ошибки
    sysname, flag_snmp_get = (snmp_get_next(community_string, ip_address_host, port_snmp, OID_sysName, filed))
    if flag_snmp_get:
        # Всё хорошо, хост ответил по snmp
        if sysname == 'No Such Object currently exists at this OID' :
            # а community неверный.надо пропускать хост, иначе словим traceback. Причём ты никак не поймаешь, что проблема в community, поэтому всегда надо запрашивать hostname, который отдают все устройства
            print('ERROR community', sysname , ' ' , ip_address_host)
            filed.write(datetime.strftime(datetime.now(),
                                          "%Y.%m.%d %H:%M:%S") + ' : ' + 'ERROR community sysname = ' + sysname + '  ip = ' + ip_address_host + 'n')
        else:
            if log_level == 'debug':
                filed.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + 'Был получен sysname ' + sysname + ' type ' + str(type(sysname)) + ' len ' + str(len(sysname)) + ' ip ' + ip_address_host + 'n')
            if len(sysname) < 3:
                sysname = 'None_sysname'
                if log_level == 'debug' or log_level == 'normal':
                   filed.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + 'Error sysname короче 3 символов = ' + sysname + '  ip = ' + ip_address_host + 'n')
            if sysname.find(domain) == -1:
                # что-то отдало hostname без домена, например Huawei или Catos
                sysname = sysname + '.' + domain
#            print("check domain хост не отдал домен", sysname, " ", ip_address_host , "n")
                if log_level == 'debug' or log_level == 'normal':
                    filed.write("check domain хост не отдал  домен: " + sysname + " " + ip_address_host + " " + "n")
            else:
                # это условие по уровню записи в лог
                pass
    #получаем адреса, ifindex, маски грузим в двумерный список
    # testresult[0] = адреса
    # testresult[1] = ifindex
    # testresult[2] = маски
            testresult = snmp_getnextcmd_next(community_string, ip_address_host, port_snmp, list_OID, filed)
            i = 0
            for var in testresult[0]: # убираем адреса не попадающие в ip_segment_ds
                flag = 'False'
                for net in ip_segment_ds:
                   if (IPv4Address(var) in IPv4Network(net)):
                      flag = 'True'
                if flag == 'True':
                    pass
                else:
                    testresult[0].pop(i)
                    testresult[1].pop(i)
                i = i +1

    # зная ifindex, заполняем desc интерфейсов, добавляем отдельным списком, меняем пробелы и дефисы на подчеркивания
    # testresult[3] = desc
            desc = []
            i = 0
            for var in testresult[1]:
                x, flag_snmp_get = snmp_get_next(community_string, ip_address_host, port_snmp, OID_ifAlias+'.'+var, filed)
                if flag_snmp_get:
                    x = x.replace('"', '').replace(' ', '_').replace('(', '').replace(')', '').replace(
                        ',', '.').replace(']','').replace('[','').replace("'","").replace('-_','').replace('_-','')
                    desc.append(x)
                    i = i + 1
                else:
                    i = i +1
                    testresult[1].pop(i) # если хост не ответил на запрос desc по ifindex, не переспрашиваем, а убираем ifindex из списка
                # так как данные для него собрать не удалось. соответственно имя интерфейса для него запрашивать не будем.
                    testresult[0].pop(i) # адрес тоже убираем, иначе произойдёт путаница при сборе файлов зон

            testresult.append(desc) # добавляем третьим

    # зная ifindex, собираем имена интерфейсов
            desc = []
            for var in testresult[1]:
                x, flag_snmp_get = snmp_get_next(community_string, ip_address_host, port_snmp, OID_ifName + '.' + var, filed)
                if flag_snmp_get:
                    x = x.replace('Loopback', 'Lo').replace('loopback0', 'Lo0').replace(' ', '_')
                    desc.append(x)
                    i = i + 1
                else:
                    i = i + 1
                    testresult[1].pop(i)  # если хост не ответил на запрос имени интерфейса по ifindex, не переспрашиваем, а убираем ifindex из списка
            # так как данные для него собрать не удалось.
                    testresult[0].pop(i)  # адрес тоже убираем, иначе произойдёт путаница при сборе файлов зон или tracebrake получим
                    testresult[3].pop(i) # desc убираем, иначем произойдёт путаница при сборе файлов зон или tracebrake получим

            testresult.append(desc) # добавляем четвёртым
        #testresult[4] названия интерфейсов

            i = 0
            for var in testresult[3]:
                if var == 'No_Such_Object_currently_exists_at_this_OID': # для APC и убогих Zyxel, не поддерживают OID desc
                    testresult[3][i] = ''
                    testresult[4][i] = 'Lo0'
                i = i + 1
            if log_level == 'debug':
                for var in testresult:
                    filed.write(str(var) + 'n')
    # формируем данные для  файлов зон
            i=0
            for var in testresult[0]:
                rev = var.split('.')
                revs = rev[:]
                revs.reverse()
                revsstr='.'.join(revs)
    # заполняем словарь обратных зон
                if (rev[0]+'.'+rev[1]) in reverse_zone:
                    if testresult[4][i] == 'Lo0':
                        reverse_zone[rev[0]+'.'+rev[1]].append(revsstr + '.in-addr.arpa.     IN     PTR     ' + sysname + '.')
                    else:
                        reverse_zone[rev[0] + '.' + rev[1]].append(revsstr + '.in-addr.arpa.     IN     PTR     ' + testresult[4][i] + '.' + testresult[3][i] + '.' + sysname + '.')
                else:
                    reverse_zone[rev[0]+'.'+rev[1]] = []
                    if testresult[4][i] == 'Lo0':
                        reverse_zone[rev[0] + '.' + rev[1]].append(revsstr + '.in-addr.arpa.      IN      PTR     ' + sysname + '.')
                    else:
                        reverse_zone[rev[0] + '.' + rev[1]].append(
                            revsstr + '.in-addr.arpa.     IN      PTR     ' + testresult[4][i] + '.' + testresult[3][
                                i] + '.' + sysname + '.')
    # заполняем список прямой зоны
                if testresult[4][i] == 'Lo0':
                    direct_zone.append(sysname + '.' + '    IN    A   ' + var)
                elif testresult[3][i] == '':
                    direct_zone.append(testresult[4][i]+'.' + sysname + '.' +'    IN     A   ' + var)
                else:
                    direct_zone.append(testresult[4][i] + '.' + testresult[3][i] + '.' + sysname + '.' + ' IN     A   ' + var)
                i=i+1
    else:
        print('Error хост не ответил при запросе ip ', ip_address_host)
        filed.write(datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + ' : ' + 'Error хост не ответил при запросе snmp, ip хоста ' + ip_address_host + ' ' + str(flag_snmp_get) + 'n')

# записываем всё собранное в файлы

f=open(file_direct_zone, 'w') # файл прямой зоны
f.write(named_soa + 'n'+'n')
f.write(name_server_record)
for i in direct_zone:
    i = i.replace('..','.')
    f.write(i + 'n')
f.close()

file_list_reverse = list(reverse_zone.keys())
print(file_list_reverse)
if log_level == 'debug':
    for i in file_list_reverse:
        filed.write(i + 'n')

for i in list(reverse_zone.keys()): # записываем файлы обратных зон
    f=open(i+'.rev','w')
    f.write(named_soa + 'n'+'n')
    for y in reverse_zone[i]:
        y = y.replace('..', '.')
        f.write(y + 'n')
    f.close()

# пишем в лог время
filed.write('n' + datetime.strftime(datetime.now(), "%Y.%m.%d %H:%M:%S") + 'n')

#закрываем лог файл
filed.close()