Представляю третью статью из серии, ориентированных на «продолжающих» системных администраторов, для опытных я вряд ли открою что-то новое.
В этих статьях мы рассмотрим построение интернет шлюза на linux, позволяющего связать несколько офисов компании, и обеспечить ограниченный доступ в сеть, приоритетзацию трафика (QoS) и простую балансировку нагрузки с резервированием канала между двумя провайдерами.
Конкретно в этой части:
- QoS во всю ширь в Shorewall
- Более подробная настройка Shorewall
- Раскидывание трафика по каналам в соответствии с протоколами
- Костыли, без них, никуда
А в первой части были рассмотрены:
- Простейшая настройка Shorewall
- Ужасно сложная настройка dnsmasq
- Не менее сложная настройка OpenVPN
- И для многих продолжающих админов нетипичная, динамическая маршрутизация, на примере OSPF
А во второй:
- Более подробная настройка Shorewall
- Страшный и не понятный QoS
- Балансировка нагрузки и резервирование
Планирование классификации трафика
Все, что описано дальше, это просто моё видение вопроса, ваше мнение может (и по хорошему должно быть) другим.
Итак, выделим несколько видов трафика:
- Служебный трафик (DNS, ICMP, TCP/ACK)
- Туннельный трафик
- Voip трафик
- Административный (SSH и т.п.)
- Пользовательский
- Высоко приоритетный
- Обычный
- Низко приоритетный
- VPN Трафик
В свою очередь, пользовательский трафик, внутри каждого класса, мы поделим между некоторыми службами.
Осознать всю непростую конфигурацию можно посмотрев на картинку (левый верхний угол: родительский класс, правый верхний: приоритет, по нижним углам: минимальная и максимальная скорость):
Разруливать мы будем трафик на не очень то и быстром канале в 1 мбит (подумать только, не так давно и 128 кбит было круто), точнее на двух (чтобы было поинтереснее)!
Правила работают таким образом: если у класса есть несколько дочерних классов, с одинаковым приоритетом, то при расчете, кому сколько полосы дать сверх лимита, будет использована пропорция от минимальных скоростей этих классов. Если приоритеты не одинаковы, то они войдут в расчет как дополнительный весовой коэффициент. Сверх минимальной полосы, выделенной у класса, есть ещё некая не распределенная полоса, она может быть использована, если канал свободен в достаточной мере. В большинстве случаев я указывал для этой полосы ключевое значение full (максимум родительского класса).
Для повышения эффективности использования канала, не стоит делить его между всеми классами по минимальной доступной скорости. В такой конфигурации, перераспределение скорости будет идти с очень большой задержкой (SIP, а точнее RTP этому несказанно обрадуется). В любом случае, скорость перераспределяется с некоторой задержкой, и она больше всего зависит от видов протоколов используемых пользователями. К примеру, torrent, отожравший доступный максимум, крайне медленно сходит с занимаемой полосы (до минут), проблема из-за большого числа источников трафика до нашего сервера (пока они все среагируют на снижение скорости...).
Но хватит лирики, начнем (часть конфигов мы используем из прошлых статей, если что-то мной не настроено здесь, вы знаете где искать):
Объявим переменные:
params
#
# Shorewall -- /etc/shorewall/params
#
# Assign any variables that you need here.
#
# It is suggested that variable names begin with an upper case letter
# to distinguish them from variables used internally within the
# Shorewall programs
#
# Example:
#
# NET_IF=eth0
# NET_BCAST=130.252.100.255
# NET_OPTIONS=routefilter,norfc1918
#
# Example (/etc/shorewall/interfaces record):
#
# net $NET_IF $NET_BCAST $NET_OPTIONS
#
# The result will be the same as if the record had been written
#
# net eth0 130.252.100.255 routefilter,norfc1918
#
###############################################################################
IF_RED1=eth0
# Шлюзы одинаковые, так как работаем в лаборатории, и оба интерфейса смотрят в одну сеть
GW_RED1=192.168.10.1
IF_RED2=eth2
GW_RED2=192.168.10.1
IF_GRN=eth1
NET_GRN=172.16.0.0/23
IF_TUN=tap+
# Тут у нас костыли из-за не полной поддержки ipset во всех местах, обещают исправить в ближайших релизах
IP_SLOW=172.16.0.45
IP_SLOW_SPEC=172.16.0.45
IP_VIP=172.16.0.46
IP_VIP_SPEC=172.16.0.46
IP_NORMAL=$NET_GRN
IP_NORMAL_SPEC=172.16.0.47
#LAST LINE -- DO NOT REMOVE
Объявим провайдеров:
providers
#
# Shorewall -- /etc/shorewall/providers
#
# For information about entries in this file, type "man shorewall-providers"
#
# For additional information, see http://shorewall.net/MultiISP.html
#
############################################################################################
#NAME NUMBER MARK DUPLICATE INTERFACE GATEWAY OPTIONS COPY
pr1 1 0x10000 - $IF_RED1 GW_RED1 track,balance=1
pr2 2 0x20000 - $IF_RED2 GW_RED2 track,balance=1
# Этот раздел раскрою чуть позже. Это костылики :)
tap0 4 0x30000 - tap0 - loose
tap1 3 0x40000 - tap1 - loose
interfaces
#
# Shorewall -- /etc/shorewall/interfaces
#
# For information about entries in this file, type "man shorewall-interfaces"
#
# The manpage is also online at
# http://www.shorewall.net/manpages/shorewall-interfaces.html
#
###############################################################################
?FORMAT 2
###############################################################################
#ZONE INTERFACE OPTIONS
red $IF_RED1 dhcp,routeback,optional
red $IF_RED2 dhcp,routeback,optional
grn $IF_GRN dhcp,routeback,optional
tun tap0 dhcp,routeback,optional
tun tap1 dhcp,routeback,optional
Сделаем кой чего, во время запуска:
init
#
# Shorewall -- /etc/shorewall/init
#
# Add commands below that you want to be executed at the beginning of
# a "shorewall start", "shorewall-reload" or "shorewall restart" command.
#
# For additional information, see
# http://shorewall.net/shorewall_extension_scripts.htm
#
###############################################################################
modprobe ifb numifbs=3
ip link set ifb0 up
ip link set ifb1 up
ip link set ifb2 up
ipset -N ip_vip iphash
ipset -N ip_vip_spec iphash
ipset -N ip_normal iphash
ipset -A ip_normal $NET_GRN
ipset -N ip_normal_spec iphash
ipset -N ip_slow iphash
ipset -N ip_slow_spec iphash
started
#
# Shorewall -- /etc/shorewall/started
#
# Add commands below that you want to be executed after shorewall has
# been completely started, reloaded or restarted. The difference between
# this extension script and /etc/shorewall/start is that this one is
# invoked after the 'shorewall' chain has been created (thus
# signaling that the firewall is completely up).
#
# This script should not change the firewall configuration directly but
# may do so indirectly by running /sbin/shorewall with the 'nolock'
# option.
#
# See http://shorewall.net/shorewall_extension_scripts.htm for additional
# information.
#
###############################################################################
IPROUTE='/usr/sbin/ip'
IFS=$'n'
for line in $(grep tap /etc/shorewall/providers | grep loose);do
IFS=$' tn' read -r -a line_ <<< "$line"
$IPROUTE route del default table ${line_[1]} >/dev/null 2>&1
done
Дополним политику маршрутизации (необходимость этого шага раскрою ниже):
rtrules
#
# Shorewall -- /etc/shorewall/rtrules
#
# For information about entries in this file, type "man shorewall-rtrules"
#
# For additional information, see http://www.shorewall.net/MultiISP.html
#
####################################################################################
#SOURCE DEST PROVIDER PRIORITY MASK
0.0.0.0/0 0.0.0.0/0 tap0 19001
0.0.0.0/0 0.0.0.0/0 tap1 19002
Объявим кучу классов для трафика:
tcclasses
#
# Shorewall -- /etc/shorewall/tcclasses
#
# For information about entries in this file, type "man shorewall-tcclasses"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
###############################################################################
#INTERFACE:CLASS MARK RATE: CEIL PRIORITY OPTIONS
# DMAX:UMAX
INCLUDE tcclasses.1
INCLUDE tcclasses.2
INCLUDE tcclasses.3
INCLUDE tcclasses.4
INCLUDE tcclasses.5
INCLUDE tcclasses.6
tcclasses.1
#
# Shorewall -- /etc/shorewall/tcclasses
#
# For information about entries in this file, type "man shorewall-tcclasses"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
###############################################################################
#INTERFACE:CLASS MARK RATE: CEIL PRIORITY OPTIONS
# DMAX:UMAX
# Выделяем трафик, который попал на интерфейс локальной сети
# В этом классе будет весь трафик из интернета
1:1:2 - 1mbit 2mbit 1
# В этом от локальной сети
1:1:3 - 998mbit 999mbit 2
# Выделим для ACK пакетов широкую полосу. Минимальная предполагает, что есть
# только TCP трафик с максимальным MTU (меньше всего пакетов ACK), и для
# плохово варианта, берем что у нас все пакеты в четверь от MTU (пакетов ACK больше),
# еще выделим поток пакетов до одного получателя
1:2:4 - full*64/1500 full*64*4/1500 1 tcp-ack
# Для SSH у нас два класса, первый, для коротких пакетов (в основном команды)
1:2:5 - 32kbit 128kbit 2
# Второй для длинных пакетов (для передачи файлов к примеру)
1:2:6 - 32kbit full*9/10 5 flow=dst
# Отдельная полоса для DNS и ICMP,
1:2:7 - 32kbit 128kbit 3
# позволит уменьшить задержки на запросах DNS
1:7:8 - 16kbit full 1
# и сделает PING интереснее
1:7:9 - 16kbit full 1
# Тут выделяем отдельную полосу для VoIP трафика
1:2:A - 180kbit 180kbit 1
# Это для чистого SIP (один канал u(a)law), используем еще и маркировку пакетов от nf_conntrack_sip
1:A:B 1 90kbit full 1
# Это для SIP в VPN тунеле (межофисный трафик)
1:A:C - 90kbit full 1
# Выделяем пользовательский трафик
1:2:D - 252kbit full 4
# Класс обычного пользовательского трафика
1:D:E - 100kbit full 2
# Тут живет VPN (который запускает пользователь)
1:D:F - 32kbit full 1
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются)
1:E:10 - 25kbit full 1 flow=dst
# Для RDP
1:E:12 - 15kbit full 2 flow=dst
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы
1:E:13 - 15kbit full 3 flow=dst
# Для почтового трафика оперативность обычно менее важна
1:E:14 - 10kbit full 4 flow=dst
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar)
1:E:16 - 25kbit full 2 flow=dst
# Сюда упадет все, что мы не классифицировали явно
1:E:17 - 10kbit full 5 default,flow=dst
# Класс VIP пользовательского трафика (VIP-ов у нас обычно не много), им приоритет выше
1:D:18 - 60kbit full 1
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются)
1:18:19 - 20kbit full 1
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы
1:18:1A - 10kbit full 3
# Для почтового трафика оперативность обычно менее важна
1:18:1B - 10kbit full 4
# Сюда поместим трафик VIP специального сервиса
1:18:1C - 20kbit full 2
# Класс наказанных пользователей
1:D:1D - 60kbit full 3
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются)
1:1D:1E - 20kbit full 1
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы
1:1D:1F - 10kbit full 3
# Для почтового трафика оперативность обычно менее важна
1:1D:20 - 10kbit full 4
# Сюда поместим трафик специального сервиса, пускай мучаются
1:1D:21 - 20kbit full 2
tcclasses.2
#
# Shorewall -- /etc/shorewall/tcclasses.2
#
# For information about entries in this file, type "man shorewall-tcclasses"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
###############################################################################
#INTERFACE:CLASS MARK RATE: CEIL PRIORITY OPTIONS
# DMAX:UMAX
# Выделяем трафик, который попал на интерфейс локальной сети
# В этом классе будет весь трафик из интернета
2:1:2 - 1mbit 1mbit 1
# В этом от локальной сети
2:1:3 - 999mbit 999mbit 2
# Выделим для ACK пакетов широкую полосу. Минимальная предполагает, что есть
# только TCP трафик с максимальным MTU (меньше всего пакетов ACK), и для
# плохово варианта, берем что у нас все пакеты в четверь от MTU (пакетов ACK больше),
# еще выделим поток пакетов до одного получателя
2:2:4 - full*64/1500 full*64*4/1500 1 tcp-ack
# Для SSH у нас два класса, первый, для коротких пакетов (в основном команды)
2:2:5 - 32kbit 128kbit 2
# Второй для длинных пакетов (для передачи файлов к примеру)
2:2:6 - 32kbit full*9/10 5 flow=nfct-src
# Отдельная полоса для DNS и ICMP,
2:2:7 - 32kbit 128kbit 3
# позволит уменьшить задержки на запросах DNS
2:7:8 - 16kbit full 1
# и сделает PING интереснее
2:7:9 - 16kbit full 1
# Тут выделяем отдельную полосу для VoIP трафика
2:2:A - 180kbit 180kbit 1
# Это для чистого SIP (один канал u(a)law), используем еще и маркировку пакетов от nf_conntrack_sip
2:A:B 1 90kbit full 1
# Это для SIP в VPN тунеле (межофисный трафик)
2:A:C - 90kbit full 1
# Выделяем пользовательский трафик
2:2:D - 252kbit full 4
# Класс обычного пользовательского трафика
2:D:E - 100kbit full 2
# Тут живет VPN (который запускает пользователь)
2:D:F - 32kbit full 1
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются)
2:E:10 - 25kbit full 1 flow=nfct-src
# Для RDP
2:E:12 - 15kbit full 2 flow=nfct-src
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы
2:E:13 - 15kbit full 3 flow=nfct-src
# Для почтового трафика оперативность обычно менее важна
2:E:14 - 10kbit full 4 flow=nfct-src
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar)
2:E:16 - 25kbit full 2 flow=nfct-src
# Сюда упадет все, что мы не классифицировали явно
2:E:17 - 10kbit full 5 default,flow=nfct-src
# Класс VIP пользовательского трафика (VIP-ов у нас обычно не много), им приоритет выше
2:D:18 - 60kbit full 1
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются)
2:18:19 - 20kbit full 1
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы
2:18:1A - 10kbit full 3
# Для почтового трафика оперативность обычно менее важна
2:18:1B - 10kbit full 4
# Сюда поместим трафик VIP специального сервиса
2:18:1C - 20kbit full 2
# Класс наказанных пользователей
2:D:1D - 60kbit full 3
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются)
2:1D:1E - 20kbit full 1
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы
2:1D:1F - 10kbit full 3
# Для почтового трафика оперативность обычно менее важна
2:1D:20 - 10kbit full 4
# Сюда поместим трафик специального сервиса, пускай мучаются
2:1D:21 - 20kbit full 2
tcclasses.3
#
# Shorewall -- /etc/shorewall/tcclasses.3
#
# For information about entries in this file, type "man shorewall-tcclasses"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
###############################################################################
#INTERFACE:CLASS MARK RATE: CEIL PRIORITY OPTIONS
# DMAX:UMAX
# Выделим для ACK пакетов широкую полосу. Минимальная предполагает, что есть
# только TCP трафик с максимальным MTU (меньше всего пакетов ACK), и для
# плохово варианта, берем что у нас все пакеты в четверь от MTU (пакетов ACK больше),
# еще выделим поток пакетов до одного получателя
3:1:4 - full*64/1500 full*64*4/1500 1 tcp-ack
# Для SSH у нас два класса, первый, для коротких пакетов (в основном команды)
3:1:5 - 32kbit 128kbit 2
# Второй для длинных пакетов (для передачи файлов к примеру)
3:1:6 - 32kbit full*9/10 5 flow=dst
# Отдельная полоса для DNS и ICMP,
3:1:7 - 32kbit 128kbit 3
# позволит уменьшить задержки на запросах DNS
3:7:8 - 16kbit full 1
# и сделает PING интереснее
3:7:9 - 16kbit full 1
# Тут выделяем отдельную полосу для VoIP трафика
3:1:A - 180kbit 180kbit 1
# Это для чистого SIP (один канал u(a)law), используем еще и маркировку пакетов от nf_conntrack_sip
3:A:B 1 90kbit full 1
# Это для SIP в VPN тунеле (межофисный трафик)
3:A:C - 90kbit full 1
# Выделяем пользовательский трафик
3:1:D - 252kbit full 4
# Класс обычного пользовательского трафика
3:D:E - 100kbit full 2
# Тут живет VPN (который запускает пользователь)
3:D:F - 32kbit full 1
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются)
3:E:10 - 25kbit full 1 flow=dst
# Для RDP
3:E:12 - 15kbit full 2 flow=dst
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы
3:E:13 - 15kbit full 3 flow=dst
# Для почтового трафика оперативность обычно менее важна
3:E:14 - 10kbit full 4 flow=dst
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar)
3:E:16 - 25kbit full 2 flow=dst
# Сюда упадет все, что мы не классифицировали явно
3:E:17 - 10kbit full 5 default,flow=dst
tcclasses.4
#
# Shorewall -- /etc/shorewall/tcclasses.4
#
# For information about entries in this file, type "man shorewall-tcclasses"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
###############################################################################
#INTERFACE:CLASS MARK RATE: CEIL PRIORITY OPTIONS
# DMAX:UMAX
# Выделим для ACK пакетов широкую полосу. Минимальная предполагает, что есть
# только TCP трафик с максимальным MTU (меньше всего пакетов ACK), и для
# плохово варианта, берем что у нас все пакеты в четверь от MTU (пакетов ACK больше),
# еще выделим поток пакетов до одного получателя
4:1:4 - full*64/1500 full*64*4/1500 1 tcp-ack
# Для SSH
4:1:6 - 32kbit full*9/10 5 flow=nfct-src
# Отдельная полоса для DNS и ICMP,
4:1:7 - 32kbit 128kbit 3
# позволит уменьшить задержки на запросах DNS
4:7:8 - 16kbit full 1
# и сделает PING интереснее
4:7:9 - 16kbit full 1
# Тут выделяем отдельную полосу для VoIP трафика
4:1:A - 180kbit 180kbit 1
# Это для чистого SIP (один канал u(a)law), используем еще и маркировку пакетов от nf_conntrack_sip
4:A:B 1 90kbit full 1
# Это для SIP в VPN тунеле (межофисный трафик)
4:A:C - 90kbit full 1
# Выделяем пользовательский трафик
4:1:D - 252kbit full 4
# Класс обычного пользовательского трафика, другого здесь нет.
4:D:E - 100kbit full 2
# Тут живет VPN (который запускает пользователь)
4:D:F - 32kbit full 1
# Для RDP
4:E:12 - 15kbit full 2 flow=nfct-src
# Для HTTP(S)
4:E:13 - 25kbit full 3 flow=nfct-src
# Для почтового трафика оперативность обычно менее важна
4:E:14 - 15kbit full 4 flow=nfct-src
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar)
4:E:16 - 25kbit full 2 flow=nfct-src
# Сюда упадет все, что мы не классифицировали явно
4:E:17 - 10kbit full 5 default,flow=nfct-src
tcclasses.5
#
# Shorewall -- /etc/shorewall/tcclasses.5
#
# For information about entries in this file, type "man shorewall-tcclasses"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
###############################################################################
#INTERFACE:CLASS MARK RATE: CEIL PRIORITY OPTIONS
# DMAX:UMAX
# Выделим для ACK пакетов широкую полосу. Минимальная предполагает, что есть
# только TCP трафик с максимальным MTU (меньше всего пакетов ACK), и для
# плохово варианта, берем что у нас все пакеты в четверь от MTU (пакетов ACK больше),
# еще выделим поток пакетов до одного получателя
5:1:4 - full*64/1500 full*64*4/1500 1 tcp-ack
# Для SSH у нас два класса, первый, для коротких пакетов (в основном команды)
5:1:5 - 32kbit 128kbit 2
# Второй для длинных пакетов (для передачи файлов к примеру)
5:1:6 - 32kbit full*9/10 5 flow=dst
# Отдельная полоса для DNS и ICMP,
5:1:7 - 32kbit 128kbit 3
# позволит уменьшить задержки на запросах DNS
5:7:8 - 16kbit full 1
# и сделает PING интереснее
5:7:9 - 16kbit full 1
# Тут выделяем отдельную полосу для VoIP трафика
5:1:A - 180kbit 180kbit 1
# Это для чистого SIP (один канал u(a)law), используем еще и маркировку пакетов от nf_conntrack_sip
5:A:B 1 90kbit full 1
# Это для SIP в VPN тунеле (межофисный трафик)
5:A:C - 90kbit full 1
# Выделяем пользовательский трафик
5:1:D - 252kbit full 4
# Класс обычного пользовательского трафика
5:D:E - 100kbit full 2
# Тут живет VPN (который запускает пользователь)
5:D:F - 32kbit full 1
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются)
5:E:10 - 25kbit full 1 flow=dst
# Для RDP
5:E:12 - 15kbit full 2 flow=dst
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы
5:E:13 - 15kbit full 3 flow=dst
# Для почтового трафика оперативность обычно менее важна
5:E:14 - 10kbit full 4 flow=dst
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar)
5:E:16 - 25kbit full 2 flow=dst
# Сюда упадет все, что мы не классифицировали явно
5:E:17 - 10kbit full 5 default,flow=dst
tcclasses.6
#
# Shorewall -- /etc/shorewall/tcclasses.6
#
# For information about entries in this file, type "man shorewall-tcclasses"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
###############################################################################
#INTERFACE:CLASS MARK RATE: CEIL PRIORITY OPTIONS
# DMAX:UMAX
# Выделим для ACK пакетов широкую полосу. Минимальная предполагает, что есть
# только TCP трафик с максимальным MTU (меньше всего пакетов ACK), и для
# плохово варианта, берем что у нас все пакеты в четверь от MTU (пакетов ACK больше),
# еще выделим поток пакетов до одного получателя
6:1:4 - full*64/1500 full*64*4/1500 1 tcp-ack
# Для SSH
6:1:6 - 32kbit full*9/10 5 flow=nfct-src
# Отдельная полоса для DNS и ICMP,
6:1:7 - 32kbit 128kbit 3
# позволит уменьшить задержки на запросах DNS
6:7:8 - 16kbit full 1
# и сделает PING интереснее
6:7:9 - 16kbit full 1
# Тут выделяем отдельную полосу для VoIP трафика
6:1:A - 180kbit 180kbit 1
# Это для чистого SIP (один канал u(a)law), используем еще и маркировку пакетов от nf_conntrack_sip
6:A:B 1 90kbit full 1
# Это для SIP в VPN тунеле (межофисный трафик)
6:A:C - 90kbit full 1
# Выделяем пользовательский трафик
6:1:D - 252kbit full 4
# Класс обычного пользовательского трафика, другого здесь нет.
6:D:E - 100kbit full 2
# Тут живет VPN (который запускает пользователь)
6:D:F - 32kbit full 1
# Для RDP
6:E:12 - 15kbit full 2 flow=nfct-src
# Для HTTP(S)
6:E:13 - 25kbit full 3 flow=nfct-src
# Для почтового трафика оперативность обычно менее важна
6:E:14 - 15kbit full 4 flow=nfct-src
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar)
6:E:16 - 25kbit full 2 flow=nfct-src
# Сюда упадет все, что мы не классифицировали явно
6:E:17 - 10kbit full 5 default,flow=nfct-src
Если глянуть на описания, можно заметить, что одинакового очень много. Небольшая разница в использовании flow (группировки трафика в потоки). Сами потоки позволяют бороться с таким явлением: один юзер устанавливает кучу соединений с разными адресами, и без потоков, он в рамках класса отжимает трафик у всех остальных. Вся тема в том, что без потоков, дележка идет по непосредственным соединениям, у кого их больше, тот в целом больше на себя одеяло и оттащил.
Еще небольшая особенность, внешний интерфейс (как физический, так и IFB), ничего не знает о структуре внутренней сети (если используется NAT), поэтому часть детальной классификации отсутствует.
Теперь будем трафик классифицировать (для классов с ACK и MARK, описывать мы ничего не будем, соответствующий трафик сам туда упадет) и фильтровать.
Запасемся подсказками:
mangle
#
# Shorewall -- /etc/shorewall/mangle
#
# For information about entries in this file, type "man shorewall-mangle"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
# For usage in selecting among multiple ISPs, see
# http://shorewall.net/MultiISP.html
#
# See http://shorewall.net/PacketMarking.html for a detailed description of
# the Netfilter/Shorewall packet marking mechanism.
#
####################################################################################################################################################
#ACTION SOURCE DEST PROTO DEST SOURCE USER TEST LENGTH TOS CONNBYTES HELPER PROBABILITY DSCP
# PORT(S) PORT(S)
# Важно, последнее совпадение и будет означать конечную классификацию!
# Восстановим метку пакета из метки соединения (если она сейчас 0)
RESTORE 0.0.0.0/0 0.0.0.0/0 all - - - 0
# Прекращаем дальнейшую обработку, если метка уже стоит
CONTINUE 0.0.0.0/0 0.0.0.0/0 all - - - !0
# Установим метку для всех SIP пакетов, включая RTP
MARK(1) 0.0.0.0/0 0.0.0.0/0 all - - - - - - - sip
# Если SIP трафик идет до нашей внутренней сети (к примеру в другой филиал), логическим И соеденить метку пакета и нашего тунеля
MARK(|0x40000) 172.16.0.0/12 172.16.0.0/12 all - - - - - - - sip
MARK(|0x40000) 172.16.0.0/12 172.16.0.0/12 udp 4569
SAVE 0.0.0.0/0 0.0.0.0/0 all - - - !0
INCLUDE mangle.1
INCLUDE mangle.3
INCLUDE mangle.5
mangle.1
#
# Shorewall -- /etc/shorewall/mangle.1
#
# For information about entries in this file, type "man shorewall-mangle"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
# For usage in selecting among multiple ISPs, see
# http://shorewall.net/MultiISP.html
#
# See http://shorewall.net/PacketMarking.html for a detailed description of
# the Netfilter/Shorewall packet marking mechanism.
#
####################################################################################################################################################
#ACTION SOURCE DEST PROTO DEST SOURCE USER TEST LENGTH TOS CONNBYTES HELPER PROBABILITY DSCP
# PORT(S) PORT(S)
# Важно, последнее совпадение и будет означать конечную классификацию!
# Класс обычного пользовательского трафика
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются), тут все, что от 0 до 256kb
CLASSIFY(1:10) - +ip_normal tcp - 80,443 - - - - 0:262144
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы,
# тут все, что от 256kb
CLASSIFY(1:13) - +ip_normal tcp - 80,443 - - - - 262145:
# Для почтового трафика оперативность обычно менее важна
CLASSIFY(1:14) - +ip_normal tcp - 25,110,143,465,587,993,995,2525,4190
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar, с порта 32765)
CLASSIFY(1:16) - +ip_normal_spec tcp - 32765
# Класс VIP пользовательского трафика (VIP-ов у нас обычно не много), им приоритет выше
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются)
CLASSIFY(1:19) - +ip_vip tcp - 80,443 - - - - 0:262144
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы
CLASSIFY(1:1A) - +ip_vip tcp - 80,443 - - - - 262145:
# Для почтового трафика оперативность обычно менее важна
CLASSIFY(1:1B) - +ip_vip tcp - 25,110,143,465,587,993,995,2525,4190
# Сюда поместим трафик VIP специального сервиса
CLASSIFY(1:1C) - +ip_vip_spec tcp - 32765
# Класс наказанных пользователей
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются)
CLASSIFY(1:1E) - +ip_slow tcp - 80,443 - - - - 0:262144
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы
CLASSIFY(1:1F) - +ip_slow tcp - 80,443 - - - - 262145:
# Для почтового трафика оперативность обычно менее важна
CLASSIFY(1:20) - +ip_slow tcp - 25,110,143,465,587,993,995,2525,4190
# Сюда поместим трафик специального сервиса, пускай мучаются
CLASSIFY(1:21) - +ip_slow_spec tcp - 32765
# Тут живет VPN (который запускает пользователь)
CLASSIFY(1:F) - - udp - 1194
# Это для IAX2
CLASSIFY(1:B) - - udp - 4569
# Это для SIP в VPN тунеле (межофисный трафик)
CLASSIFY(1:C) - - udp - 40032
# RDP
CLASSIFY(1:12) - - tcp - 3389
CLASSIFY(1:12) - - udp - 3389
# позволит уменьшить задержки на запросах DNS
CLASSIFY(1:8) - - udp - 53
CLASSIFY(1:8) - - tcp - 53
# и сделает PING интереснее
CLASSIFY(1:9) - - icmp echo-request,echo-reply
# Для SSH у нас два класса, первый, для коротких пакетов (в основном команды)
CLASSIFY(1:5) - - tcp - 22 - - 0:512
# Второй для длинных пакетов (для передачи файлов к примеру)
CLASSIFY(1:6) - - tcp - 22 - - 513:
CLASSIFY(1:3) $NET_GRN $NET_GRN
mangle.3
#
# Shorewall -- /etc/shorewall/mangle.3
#
# For information about entries in this file, type "man shorewall-mangle"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
# For usage in selecting among multiple ISPs, see
# http://shorewall.net/MultiISP.html
#
# See http://shorewall.net/PacketMarking.html for a detailed description of
# the Netfilter/Shorewall packet marking mechanism.
#
####################################################################################################################################################
#ACTION SOURCE DEST PROTO DEST SOURCE USER TEST LENGTH TOS CONNBYTES HELPER PROBABILITY DSCP
# PORT(S) PORT(S)
# Важно, последнее совпадение и будет означать конечную классификацию!
# Класс обычного пользовательского трафика
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются), тут все, что от 0 до 256kb
CLASSIFY(3:10) - - tcp 80,443 - - - - - 0:262144
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы,
# тут все, что от 256kb
CLASSIFY(3:13) - - tcp 80,443 - - - - - 262145:
# Для почтового трафика оперативность обычно менее важна
CLASSIFY(3:14) - - tcp 25,110,143,465,587,993,995,2525,4190
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar, с порта 32765)
CLASSIFY(3:16) - - tcp 32765
# Тут живет VPN (который запускает пользователь)
CLASSIFY(3:F) - - udp 1194
# Это для IAX2
CLASSIFY(3:B) - - udp 4569
# Это для SIP в VPN тунеле (межофисный трафик)
CLASSIFY(3:C) - - udp 40032
# RDP
CLASSIFY(3:12) - - tcp 3389
CLASSIFY(3:12) - - udp 3389
# позволит уменьшить задержки на запросах DNS
CLASSIFY(3:8) - - udp 53
CLASSIFY(3:8) - - tcp 53
# и сделает PING интереснее
CLASSIFY(3:9) - - icmp echo-request,echo-reply
# Для SSH у нас два класса, первый, для коротких пакетов (в основном команды)
CLASSIFY(3:5) - - tcp 22 - - - 0:512
# Второй для длинных пакетов (для передачи файлов к примеру)
CLASSIFY(3:6) - - tcp 22 - - - 513:
mangle.5
#
# Shorewall -- /etc/shorewall/mangle.5
#
# For information about entries in this file, type "man shorewall-mangle"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
# For usage in selecting among multiple ISPs, see
# http://shorewall.net/MultiISP.html
#
# See http://shorewall.net/PacketMarking.html for a detailed description of
# the Netfilter/Shorewall packet marking mechanism.
#
####################################################################################################################################################
#ACTION SOURCE DEST PROTO DEST SOURCE USER TEST LENGTH TOS CONNBYTES HELPER PROBABILITY DSCP
# PORT(S) PORT(S)
# Важно, последнее совпадение и будет означать конечную классификацию!
# Класс обычного пользовательского трафика
# Для HTTP(S) с короткими пакетами, выделим приоритет больше (будет казаться,
# что странички быстрее открываются), тут все, что от 0 до 256kb
CLASSIFY(5:10) - - tcp 80,443 - - - - - 0:262144
# Для HTTP(S) с длинными пакетами, дольше будут грузится картики и большие страницы,
# тут все, что от 256kb
CLASSIFY(5:13) - - tcp 80,443 - - - - - 262145:
# Для почтового трафика оперативность обычно менее важна
CLASSIFY(5:14) - - tcp 25,110,143,465,587,993,995,2525,4190
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar, с порта 32765)
CLASSIFY(5:16) - - tcp 32765
# Тут живет VPN (который запускает пользователь)
CLASSIFY(5:F) - - udp 1194
# Это для IAX2
CLASSIFY(5:B) - - udp 4569
# Это для SIP в VPN тунеле (межофисный трафик)
CLASSIFY(5:C) - - udp 40032
# RDP
CLASSIFY(5:12) - - tcp 3389
CLASSIFY(5:12) - - udp 3389
# позволит уменьшить задержки на запросах DNS
CLASSIFY(5:8) - - udp 53
CLASSIFY(5:8) - - tcp 53
# и сделает PING интереснее
CLASSIFY(5:9) - - icmp echo-request,echo-reply
# Для SSH у нас два класса, первый, для коротких пакетов (в основном команды)
CLASSIFY(5:5) - - tcp 22 - - - 0:512
# Второй для длинных пакетов (для передачи файлов к примеру)
CLASSIFY(5:6) - - tcp 22 - - - 513:
tcfilters
#
# Shorewall -- /etc/shorewall/tcfilters
#
# For information about entries in this file, type "man shorewall-tcfilters"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
########################################################################################################
#INTERFACE: SOURCE DEST PROTO DEST SOURCE TOS LENGTH PRIORITY
#CLASS PORT(S) PORT(S)
# Важно, первое совпадение и будет означать конечную классификацию!
INCLUDE tcfilters.2
INCLUDE tcfilters.4
INCLUDE tcfilters.6
tcfilters.2
#
# Shorewall -- /etc/shorewall/tcfilters.2
#
# For information about entries in this file, type "man shorewall-tcfilters"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
########################################################################################################
#INTERFACE: SOURCE DEST PROTO DEST SOURCE TOS LENGTH PRIORITY
#CLASS PORT(S) PORT(S)
# Важно, первое совпадение и будет означать конечную классификацию!
2:3 $NET_GRN $NET_GRN
# Для SSH
2:6 - - tcp 22
# позволит уменьшить задержки на запросах DNS
2:8 - - udp 53
2:8 - - tcp 53
# и сделает PING интереснее
2:9 - - icmp echo-request,echo-reply
# RDP
2:12 - - tcp 3389
2:12 - - udp 3389
# Это для IAX2
2:B - - udp 4569
# Это для SIP в VPN тунеле (межофисный трафик)
2:C - - udp 40032
# Тут живет VPN (который запускает пользователь)
2:F - - udp 1194
# Класс наказанных пользователей
# Для HTTP(S)
2:1F $IP_SLOW 0.0.0.0/0 tcp 80,443
# Для почтового трафика оперативность обычно менее важна
2:20 $IP_SLOW - tcp 25,110,143,465,587,993,995,2525,4190
# Сюда поместим трафик специального сервиса, пускай мучаются
2:21 $IP_SLOW_SPEC - tcp 32765
# Класс VIP пользовательского трафика (VIP-ов у нас обычно не много), им приоритет выше
# Для HTTP(S)
2:1A $IP_VIP - tcp 80,443
# Для почтового трафика оперативность обычно менее важна
2:1B $IP_VIP - tcp 25,110,143,465,587,993,995,2525,4190
# Сюда поместим трафик VIP специального сервиса
2:1C $IP_VIP_SPEC - tcp 32765
# Класс обычного пользовательского трафика
# Для HTTP(S)
2:13 $IP_NORMAL - tcp 80,443
# Для почтового трафика оперативность обычно менее важна
2:14 $IP_NORMAL - tcp 25,110,143,465,587,993,995,2525,4190
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar, с порта 32765)
2:16 $IP_NORMAL_SPEC - tcp 32765
tcfilters.4
#
# Shorewall -- /etc/shorewall/tcfilters.4
#
# For information about entries in this file, type "man shorewall-tcfilters"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
########################################################################################################
#INTERFACE: SOURCE DEST PROTO DEST SOURCE TOS LENGTH PRIORITY
#CLASS PORT(S) PORT(S)
# Важно, первое совпадение и будет означать конечную классификацию!
# Так как в tcfilters работа с длинной пакета упрощенная, то и классификацию по длинне мы не сделаем
4:6 - - tcp - 22
# позволит уменьшить задержки на запросах DNS
4:8 - - udp - 53
4:8 - - tcp - 53
# и сделает PING интереснее
4:9 - - icmp echo-request,echo-reply
# RDP
4:12 - - tcp - 3389
4:12 - - udp - 3389
# Это для IAX2
4:B - - udp - 4569
# Это для SIP в VPN тунеле (межофисный трафик)
4:C - - udp - 40032
# Тут живет VPN (который запускает пользователь)
4:F - - udp - 1194
# Класс обычного пользовательского трафика, причем без суб-классов, так как это внешний интерфейс,
# о внутренней сети он ничего не знает. Для HTTP(S)
4:13 - - tcp - 80,443
# Для почтового трафика оперативность обычно менее важна
4:14 - - tcp - 25,110,143,465,587,993,995,2525,4190
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar, с порта 32765)
4:16 - - tcp - 32765
tcfilters.6
#
# Shorewall -- /etc/shorewall/tcfilters.6
#
# For information about entries in this file, type "man shorewall-tcfilters"
#
# See http://shorewall.net/traffic_shaping.htm for additional information.
#
########################################################################################################
#INTERFACE: SOURCE DEST PROTO DEST SOURCE TOS LENGTH PRIORITY
#CLASS PORT(S) PORT(S)
# Важно, первое совпадение и будет означать конечную классификацию!
# Так как в tcfilters работа с длинной пакета упрощенная, то и классификацию по длинне мы не сделаем
6:6 - - tcp - 22
# позволит уменьшить задержки на запросах DNS
6:8 - - udp - 53
6:8 - - tcp - 53
# и сделает PING интереснее
6:9 - - icmp echo-request,echo-reply
# RDP
6:12 - - tcp - 3389
6:12 - - udp - 3389
# Это для IAX2
6:B - - udp - 4569
# Это для SIP в VPN тунеле (межофисный трафик)
6:C - - udp - 40032
# Тут живет VPN (который запускает пользователь)
6:F - - udp - 1194
# Класс обычного пользовательского трафика, причем без суб-классов, так как это внешний интерфейс,
# о внутренней сети он ничего не знает. Для HTTP(S)
6:13 - - tcp - 80,443
# Для почтового трафика оперативность обычно менее важна
6:14 - - tcp - 25,110,143,465,587,993,995,2525,4190
# Сюда поместим трафик специального сервиса (к примеру, трансляцию Webinar, с порта 32765)
6:16 - - tcp - 32765
После перезапуска у нас заработает шейпинг!
Странные костыли
Собственно с применением OSPF многое стало лучше, но осталось одно не маленькое Но! Связь по VoIP между филиалами. С VPN все хорохо, и шифрует, и множественные пути дает (спасибо OSPF), но как шейпить VoIP, да так, что-бы голоса не заикались, ведь о данных, по понятным причинам, мы ничего не знаем, классифицировать шифрованный трафик не можем (но вот ребята из Cisco сделали реализацию)? Если VoIP идет у нас через внешнюю сеть, то проблемы нет (кроме не полного шифрования у IAX2 и отсутствия удобной маршрутизации альтернативных каналов). Поэтому направим VoIP в отдельный туннель! И тут привет от OSPF, маршрут строится либо через оба туннеля (если у них одинаковый вес), или через тот, где вес ниже (это тот, который у нас без телефонии).
Тут нам на помощь придет вот такой костыль:
/usr/local/bin/ospf_alt_route.sh
#!/bin/bash
METRIC_BOOST=$1
IP_INTERVAL=$2
IPROUTE='/usr/sbin/ip'
function search_and_del() {
# $1 - TABLE
# $2 - DST
# $3 - VIA
# $4 - METRIC
TABLE=$1
declare -a DST=("${!2}")
declare -a VIA=("${!3}")
declare -a METRIC=("${!4}")
# Ищем маршруты, которые отсутсвуют в маршрутизации OSPF
IFS=$'n'
for line in $(${IPROUTE} route show table $TABLE);do
IFS=$' t' read -r -a line_ <<< "$line"
CONT=0
for i in "${!DST[@]}"; do
if [ "${line_[0]}" = "${DST[$i]}" ]; then
if [ "${line_[6]}" -eq "${METRIC[$i]}" ] && [ "${line_[2]}" = "${VIA[$i]}" ];then
CONT=1
continue
fi
fi
done
[ "$CONT" -eq "0" ] && eval "${IPROUTE} route del $line table $TABLE"
done
}
DST_=''
METRIC_=''
DEV_=''
DST=''
VIA_PRIM=''
VIA_SEC=''
METRIC_PRIM=''
METRCI_SEC=''
TABLE_PRIM=''
TABLE_SEC=''
COUNT=0
# Найдем таблицы маршрутизации
while IFS=$' t' read -r -a line_; do
if [[ $(( $(echo ${line_[4]} | sed -e 's/[a-zA-Z]*//') % 2)) == 0 ]];then
TABLE_PRIM=${line_[1]}
else
TABLE_SEC=${line_[1]}
fi
done < <(grep tap /etc/shorewall/providers | grep loose)
# Если номеров таблиц нет, то пропускаем кофигурацию полностью
[ -z "$TABLE_PRIM" ] || [ -z "$TABLE_SEC" ] && exit 0
# Получаем маршруты от OSPF
while IFS=$' t' read -r -a line_; do
# Ищем записи маршрутов в полном формате (по позиции слова via)
if [ "${line_[3]}" == "via" ]; then
# Запомним парметры для слдующих строк в сокращенном формате
DST_=${line_[1]}
METRIC_=${line_[2]}
# Займемся только активными маршрутами
if [ "${line_[$(( ${#line_[@]} -2 ))]}" != "inactive," ]; then
DEV_=$(echo ${line_[$(( ${#line_[@]} -2 ))]} | sed -e "s/,//")
if [[ $(( $(echo $DEV_ | sed -e 's/[a-zA-Z]*//') % 2)) == 0 ]];then
DST[$COUNT]=$(echo ${line_[1]} | sed -e "s//32//")
VIA_PRIM[$COUNT]=$(echo ${line_[$(( ${#line_[@]} -3 ))]} | sed -e "s/,//")
METRIC_PRIM[$COUNT]=$(echo ${line_[2]} | sed -e "s/[[0-p]*///" | sed -e "s/]//")
# Важно использовать статические адреса для OpenVPN клиентов,и важно, чтобы они шли с фиксированным
# шагом относительно основного соединения, в моем случае это 128 (так как сеть /25)
IFS=$'.' read -r -a IP <<< ${VIA_PRIM[$COUNT]}
VIA_SEC[$COUNT]="${IP[0]}.${IP[1]}.${IP[2]}.$(( ${IP[3]} + $IP_INTERVAL ))"
METRIC_SEC[$COUNT]=$(( ${METRIC_PRIM[$COUNT]} + $METRIC_BOOST ))
COUNT=$(($COUNT + 1 ))
fi
fi
else
# Аналогичная обработка для сокращенного формата, используем данные от предыдущего шага
if [ "${line_[$(( ${#line_[@]} -2 ))]}" != "inactive," ]; then
DEV_=$(echo ${line_[$(( ${#line_[@]} -2 ))]} | sed -e "s/,//")
if [[ $(( $(echo $DEV_ | sed -e 's/[a-zA-Z]*//') % 2)) == 0 ]];then
DST[$COUNT]=$(echo $DST_ | sed -e "s//32//")
if [ "${line_[0]}" == "via" ]; then
VIA_PRIM[$COUNT]=$(echo ${line_[1]} | sed -e "s/,//")
else
VIA_PRIM[$COUNT]=$(echo ${line_[2]} | sed -e "s/,//")
fi
METRIC_PRIM[$COUNT]=$(echo $METRIC_ | sed -e "s/[[0-p]*///" | sed -e "s/]//")
IFS=$'.' read -r -a IP <<< ${VIA_PRIM[$COUNT]}
VIA_SEC[$COUNT]="${IP[0]}.${IP[1]}.${IP[2]}.$(( ${IP[3]} + $IP_INTERVAL ))"
METRIC_SEC[$COUNT]=$(( ${METRIC_PRIM[$COUNT]} + $METRIC_BOOST ))
COUNT=$(($COUNT + 1 ))
fi
fi
fi
done < <(/usr/bin/vtysh -c 'show ip route ospf' | grep via | grep tap | grep -v -e 'directly connected')
# Найдем несуществующие маршруты для основного и дополнительного тунеля
search_and_del $TABLE_PRIM DST[@] VIA_PRIM[@] METRIC_PRIM[@]
search_and_del $TABLE_SEC DST[@] VIA_SEC[@] METRIC_SEC[@]
# Прибьем шлюз по умолчанию для обоих тунелей
${IPROUTE} route del default table $TABLE_PRIM >/dev/null 2>&1
${IPROUTE} route del default table $TABLE_SEC >/dev/null 2>&1
# Пройдемся по массиву маршрутов, и добавим их в таблицы основного и дополнительного тунеля
for i in "${!DST[@]}"; do
[ -z ${DST[$i]} ] || [ -z ${VIA_PRIM[$i]} ] || [ -z ${METRIC_PRIM[$i]} ] && continue
${IPROUTE} route replace ${DST[$i]} via ${VIA_PRIM[$i]} table $TABLE_PRIM metric ${METRIC_PRIM[$i]} >/dev/null 2>&1
# Так как OSPF строит маршруты и до конечной точки тунеля, то в маршрутах для вторичного тунеля появляется маршрут "сам к себе"
if [ "${DST[$i]}" = "${VIA_SEC[$i]}" ]; then
# Поэтому мы "развернем" маршруты
${IPROUTE} route replace ${VIA_PRIM[$i]} via ${DST[$i]} table $TABLE_SEC metric ${METRIC_SEC[$i]} >/dev/null 2>&1
else
${IPROUTE} route replace ${DST[$i]} via ${VIA_SEC[$i]} table $TABLE_SEC metric ${METRIC_SEC[$i]} >/dev/null 2>&1
fi
# Удалим маршруты из таблицы main
${IPROUTE} route del ${DST[$i]} via ${VIA_PRIM[$i]} metric ${METRIC_PRIM[$i]} >/dev/null 2>&1
done
Этот скрипт копирует маршруты, анонсированные OSPF в отдельную таблицу маршрутизации, и создает дополнительные маршруты, через второй туннель, до тех-же сетей, что нам анонсировал OSPF. А Shorewall создает для нас правила маршрутизации и дополнительные таблицы. А что-бы трафик телефонии бежал в этот туннель, мы его помечаем специальной меткой.
В policy routing можно увидеть такое:
Routing Rules
0: from all lookup local
999: from all lookup main
10000: from all fwmark 0x10000/0xff0000 lookup pr1
10001: from all fwmark 0x20000/0xff0000 lookup pr2
10002: from all fwmark 0x40000/0xff0000 lookup tap1
10003: from all fwmark 0x30000/0xff0000 lookup tap0
19001: from all lookup tap0
20000: from 192.168.10.37 lookup pr1
20000: from 192.168.10.36 lookup pr2
32765: from all lookup balance
32766: from all lookup main
32767: from all lookup default
Трафик отмеченный меткой побежит через соответствующую таблицу, а если маршрута там нет (бывает и такое), пробежит и через туннель для обычных данных (такой запасной вариант).
Осталось только добавить этот скрипт в cron:
/etc/cron.d/ospf_alt_route
# For details see man 4 crontabs
# Example of job definition:
# .---------------- minute (0 — 59)
# | .------------- hour (0 — 23)
# | | .---------- day of month (1 — 31)
# | | | .------- month (1 — 12) OR jan,feb,mar,apr…
# | | | | .---- day of week (0 — 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * user-name command to be executed
*/1 * * * * root /usr/local/bin/ospf_alt_route.sh 1 128
P.S.
Обновлены:
- Скрипт для замены маршрутов
- Задание cron
- rtrules
- Добавлен файл started
Автор: MagicGTS
