Установка программы модификации сетевых пакетов NFQWS на роутер Keenetiс

в 13:16, , рубрики: Android TV, keenetic, linux, OpenWrt, webOS, YouTube, модификация

Привет!

Сегодня рассмотрим вариант установки утилиты модификации сетевых пакетов Zapret на роутеры Keenetic. В отличии от простого использования на конкретных устройствах, при установке на роутер появляется возможность обрабатывать трафик идущий от всех устройств, подключенных к домашней локальной сети (ПК, смартфоны и смарт телевизоры).

Указанная утилита предлагает два основных режима работы – это TPWS или NFQWS. При использовании в режиме TPWS есть недостатки, заключающиеся в том, что в этом режиме не модифицируется протокол QUIC (HTTP/3), а также приложение YouTube на смарт телевизорах с WebOS или Android TV перестает вообще запускаться.

Информация по протоколам YouTube и возникающим проблемам при использовании

Для начала попробуем определиться с тем, какие протоколы используются YouTube на различных устройствах:

  • В браузерах на ПК может использоваться как новый протокол QUIC (трафик идет по протоколу UDP на порт 443), так и классический HTTPS (трафик идет по протоколу TCP на порт 443). Однако, у меня хоть в браузере и включена поддержка протокола QUIC, но YouTube мне так и не удалось через него заставить работать - все время трафик идет через HTTPS;

  • В приложении YouTube на Android, напротив, уже изначально используется протокол QUIC. Выяснилось это сразу после запуска TPWS – в браузерах на ПК все работало без проблем, а вот на Android устройствах, как без использования данной утилиты;

  • С приложением YouTube на WebOS еще куда запутаннее: там загрузка интерфейса идет по протоколу HTTPS (TCP порт 443), а видео протоколу QUIC (UDP порт 443). Но в случае, если подключение по QUIC не доступно, тогда приложения, что на Android устройствах, что WebOS переходят на протокол HTTPS. Так чтобы на телевизоре и телефоне YouTube не тормозил при работе с TPWS, необходимо блокировать трафик UDP на порт 443, для того, чтобы заставить приложения подключатся по протоколу HTTPS. Но это не решит проблему с поломкой загрузки интерфейса приложения на WebOS (Android TV) при работе с TPWS.

В качестве вариантов решения данной проблемы при использовании утилиты в режиме TPWS, я вижу три возможных варианта:

  1. Подбирать параметры запуска TPWS (но их там не так много), чтобы они не ломали загрузку приложения YouTube, а все остальное работало, как должно. Мне этого так и не удалось дробится.

  2. Вычислить доменные адреса, по которым приложения YouTube загружает интерфейс и включить их в exclude список TPWS. Должно работать если эти домены не заблокированы;

  3. И самый неправильный способ – это останавливать работу TPWS на время первоначальной загрузки интерфейса приложения, а за тем для просмотра видео запускать его.

Я пошел другим более гибким и правильным путем, использования утилиты zapret в режиме NFQWS. Этот режим имеет ряд преимуществ пред режимом TPWS – больше параметров модификации сетевых пакетов, а также возможность модификации трафика по протоколу QUIC.

Инструкция по установке NFQWS на роутер keenetic

Данная инструкция будет выполнятся на примере роутера Keenetic ultra (kn-1810).

Для установки утилиты zapret, необходимо сначала сначала подготовить внешний USB-накопитель и установить на него систему пакетов репозитория Entware согласно инструкции - Установка-системы-пакетов-репозитория-Entware-на-USB-накопитель.

Также предварительно в веб-интерфейсе роутера нужно обязательно установить в прошивке компоненты: "Протокол IPv6" и "Модули ядра подсистемы Netfilter" (появляется только после выбора компонента "Протокол IPv6").

Модули ядра подсистемы Netfilter

Модули ядра подсистемы Netfilter
Протокол IPv6

Протокол IPv6

После развертывания Entware на роутере с помощью терминальной программы Putty создаем SSH подключения, с указанием IP-адрес роутера (по умолчанию 192.168.1.1) и порта 222. Дальше авторизуемся с использованием логина: root и пароля: keenetic.

Далее можно приступать непосредственно к установке утилиты NFQWS:

Устанавливаем пакеты с помощью команды:

  1. opkg install coreutils-sort curl git-http grep gzip ipset iptables kmod_ndms xtables-addons_legacy

  2. Приходим папку opt:

    cd /opt/

  3. Скачиваем Zapret с github:

    git clone --depth=1 https://github.com/bol-van/zapret.git

  4. Для начала узнаем имя внешнего сетевого интерфейса (WAN) на роутере. Его можно узнать воспользовавшись командой ifconfig, которая выведет все сетевые интерфейсы в системе. Просто находим тот интерфейс, у которого будет ваш внешний IP адрес. В моем случае – это eth3.

  5. Переходим в папку zapret и выполняем скрипт:

    cd zapret
    ./install_easy.sh

  6. Далее отвечаем на все вопросы, как скриншоте:

    Выполнение скрипта install_easy.sh

    Выполнение скрипта install_easy.sh

  7. Выбираем свой ранее найденное имя внешнего сетевого интерфейса (WAN):

    Выбираем имя внешнего сетевого интерфейса (WAN)

    Выбираем имя внешнего сетевого интерфейса (WAN)

  8. Важно: выбираем режим фильтрации трафика (none, ipset, hostlist, autohostlist).

    none - фильтрация отключена, весь трафик обрабатывается утилитой. Простейший вариант. Рекомендую его использовать, если не хотите заморачиваться настройкой списков адресов, а хотите просто, чтобы быстро и просто все работало.

    ipset - фильтрация трафика с помощью ipset. Сложный режим, как работает читаем в инструкции.

    hostlist - фильтрация списком хостов из файлов: /opt/zapret/ipset/zapret-hosts-user.txt - прописывайте свои домены, которые нужно обрабатывать или в файле/opt/zapret/ipset/zapret-hosts-user-exclude.txt - домены, которые нужно исключить из обработки. Пишется по одному доменному имени или IP-адресу на строчку. То что там изначально написано в файлах - удаляем. Рекомендую это режим использовать, если хотите обрабатывать только определенные адреса или наоборот если хотите исключить из обработки некоторые адреса.

    autohostlist -режим hostlist + распознавание блокировок и ведения автоматического листа.

    Режим фильтра также можно потом менять через параметр MODE_FILTER в /opt/zapret/config.

    Далее делаем свой выбор:

    Завершение выполнения скрипта install_easy.sh

    Завершение выполнения скрипта install_easy.sh

  9. Правим скрипт c именем zapret в командной строке с помощью предпочитаемого текстового редактора (в качестве примера vi) или можно зайти с компьютера через сеть на USB-накопитель (если он расшарен с помощью сервера SMB) и редактировать в текстовом редакторе на компьютере:

    vi /opt/zapret/init.d/sysv/zapret

    Добавляем в функцию do_start() код загрузки модулей ядра linux (xt_multiport.ko, xt_connbytes.ko, xt_NFQUEUE.ko), так как они по умолчанию не загружаются, а без них iptables будет выдавать ошибки при попытке применить необходимые правила.

    Затем в секции restart-fw|restart_fw добавляем iptables -t nat -D POSTROUTING -o $IFACE_WAN -j MASQUERADE и iptables -t nat -A POSTROUTING -o $IFACE_WAN -j MASQUERADE. 

    #!/bin/sh
### BEGIN INIT INFO
# Provides:		zapret
# Required-Start:	$local_fs $network
# Required-Stop:	$local_fs $network
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
### END INIT INFO

SCRIPT=$(readlink -f "$0")
EXEDIR=$(dirname "$SCRIPT")
ZAPRET_BASE=$(readlink -f "$EXEDIR/../..")
. "$EXEDIR/functions"

NAME=zapret
DESC=anti-zapret

do_start()
{

    if lsmod | grep "xt_multiport " &> /dev/null ;  then
		echo "xt_multiport.ko is already loaded"
    else
        if insmod /lib/modules/$(uname -r)/xt_multiport.ko &> /dev/null; then
			echo "iptable_raw.ko loaded"
        else
			echo "Cannot find xt_multiport.ko kernel module, aborting"
			exit 1
        fi
	fi
     
	if lsmod | grep "xt_connbytes " &> /dev/null ;  then
        echo "xt_connbytes.ko is already loaded"
    else
        if insmod /lib/modules/$(uname -r)/xt_connbytes.ko &> /dev/null; then
			echo "xt_connbytes.ko loaded"
        else
			echo "Cannot find xt_connbytes.ko kernel module, aborting"
			exit 1
        fi
	fi
	
	if lsmod | grep "xt_NFQUEUE " &> /dev/null ;  then
        echo "xt_NFQUEUE.ko is already loaded"
    else
        if insmod /lib/modules/$(uname -r)/xt_NFQUEUE.ko &> /dev/null; then
            echo "xt_NFQUEUE.ko loaded"
        else
            echo "Cannot find xt_NFQUEUE.ko kernel module, aborting"
            exit 1
        fi
    fi		 

	zapret_run_daemons
	[ "$INIT_APPLY_FW" != "1" ] || { zapret_apply_firewall; }
	iptables -t nat -A POSTROUTING -o $IFACE_WAN -j MASQUERADE

}
do_stop()
{
	zapret_stop_daemons
	[ "$INIT_APPLY_FW" != "1" ] || zapret_unapply_firewall
	iptables -t nat -D POSTROUTING -o $IFACE_WAN -j MASQUERADE
}

case "$1" in
	start)
		do_start
		;;

	stop)
		do_stop
		;;

	restart)
		do_stop
		do_start
		;;

	start-fw|start_fw)
		zapret_apply_firewall
		;;
	stop-fw|stop_fw)
		zapret_unapply_firewall
		;;

	restart-fw|restart_fw)
		zapret_unapply_firewall
		iptables -t nat -D POSTROUTING -o $IFACE_WAN -j MASQUERADE	
		zapret_apply_firewall
	    iptables -t nat -A POSTROUTING -o $IFACE_WAN -j MASQUERADE
		;;
	
	start-daemons|start_daemons)
		zapret_run_daemons
		;;
	stop-daemons|stop_daemons)
		zapret_stop_daemons
		;;
	restart-daemons|restart_daemons)
		zapret_stop_daemons
		zapret_run_daemons
		;;

	reload-ifsets|reload_ifsets)	
		zapret_reload_ifsets
		;;
	list-ifsets|list_ifsets)	
		zapret_list_ifsets
		;;
	list-table|list_table)	
		zapret_list_table
		;;
		
  *)
	N=/etc/init.d/$NAME
	echo "Usage: $N {start|stop|restart|start-fw|stop-fw|restart-fw|start-daemons|stop-daemons|restart-daemons|reload-ifsets|list-ifsets|list-table}" >&2
	exit 1
	;;
esac

exit 0

    Все, на этом правка скрипта zapret закончена, сохраняем и выходим из текстового редактора.

    В небольшая информация по используемым правилам iptables (точнее вариант, а так могут немного меняться в зависимости от конфигурации):

    Команда, которая перенаправляет исходящий и проходящий в сторону внешнего интерфейса $IFACE_WAN (eth3) трафик HTTP (TCP порт 80) на очередь NFQUEUE №200:

    iptables -t mangle -I POSTROUTING -o $IFACE_WAN -p tcp --dport 80 -m mark ! --mark 0x40000000/0x40000000 -j NFQUEUE --queue-num 200 --queue-bypass

    Команда перенаправляет исходящий и проходящий в сторону внешнего интерфейса $IFACE_WAN (eth3) трафик HTTPS (TCP порт 443) на очередь NFQUEUE №200:

    iptables -t mangle -I POSTROUTING -o $IFACE_WAN -p tcp --dport 443 -m connbytes --connbytes-dir=original --connbytes-mode=packets --connbytes 1:6 -m mark ! --mark 0x40000000/0x40000000 -j NFQUEUE --queue-num 200 --queue-bypass

    Команда перенаправляет исходящий и проходящий в сторону внешнего интерфейса $IFACE_WAN (eth3) трафик QUIC (UDP порт 443) на очередь NFQUEUE №210:

     iptables -t mangle -I POSTROUTING -o $IFACE_WAN -p udp --dport 443 -m connbytes --connbytes-dir=original --connbytes-mode=packets --connbytes 1:6 -m mark ! --mark 0x40000000/0x40000000 -j NFQUEUE --queue-num 210 --queue-bypass

    Также согласно комментарию автора данной утилиты для успешной работы с протоком QUIC через NFQWS на роутера Keenetic необходимо добавить маскарад на исходящий интерфейс WAN:

    iptables -t nat -A POSTROUTING -o $IFACE_WAN -j MASQUERADE

    Данные правила представлены для случая использования протокола IPv4, а в случае также использования протокола IPv6 правила там аналогичны, но используется команда ip6tables.

    При запуске скрипта zapret в режиме поддержки протокола QUIC будут подыматься два отдельных процесса NFQWS, первый будет обрабатывать трафик по протоколам HTTP и HTTPS на очереди NFQUEUE №200, а второй трафик протокола QUIC на очереди NFQUEUE №210.

  10. После сохранения файла zapret делаем ссылку на скрипт zapret в автозагрузку:

    ln -fs /opt/zapret/init.d/sysv/zapret /opt/etc/init.d/S90-zapret

  11. Далее необходимо создать скрипт, чтобы брандмауэр netfilter не забывал настроенные выше правила (иначе система быстро перезапишет наши правила). Делаем это также в командной строке с помощью текстового редактора:

    vi /opt/etc/ndm/netfilter.d/000-zapret.sh

    Вставляем в файл следующий код:

    #!/bin/sh
[ "$type" == "ip6tables" ] && exit 0
[ "$table" != "mangle" ] && exit 0
/opt/zapret/init.d/sysv/zapret restart-fw

    И даем право на исполнения скрипту 000-zapret.sh с помощью команды:

    chmod +x /opt/etc/ndm/netfilter.d/000-zapret.sh

    Данный скрипт будет вызывать наш ранее правленый скрипт zapret с параметром restart-fw, где мы прописали правила iptables.

  12. Аналогично создаем скрипт отключения проверки контрольной суммы пакетов:

    vi /opt/etc/init.d/S00fix

    Вставляем в файл следующий код:

    #!/bin/sh
start() {
    echo 0 > /proc/sys/net/netfilter/nf_conntrack_checksum
}
stop() {
    echo 1 > /proc/sys/net/netfilter/nf_conntrack_checksum
}
case "$1" in
    'start')
        start
        ;;
    'stop')
        stop
        ;;
    *)
        stop
        start
        ;;
esac
exit 0

    Также не забываем дать права на исполнения данному скрипту:

    chmod +x /opt/etc/init.d/S00fix

  13. И теперь в конце настроим конфиг NFQWS, находящийся по пути /opt/zapret/config.

    В командной строке - с помощью текстового редактора, или лучше с компьютера через сеть редактируем:

    vi /opt/zapret/config

  14. Необходимо внести следующие правки:

    Раскомментировать строчку

    WS_USER=nobody

    Для включения режима модификации NFQWS трафика протокола QUIC изменить MODE_QUIC на:

    MODE_QUIC=1

    Далее необходимо прописать параметры для запуска процессов NFQWS. Тут нужно подбирать под себя, какие параметры дадут нужный результат.

    В моем случае, для протоколов HTTP и HTTPS (с данными параметрами будет запущен первый процесс NFQWS):

    NFQWS_OPT_DESYNC="--dpi-desync=fake,disorder2 --dpi-desync-split-pos=1 --dpi-desync-ttl=6 --dpi-desync-fooling=badsum --dpi-desync-repeats=6 --dpi-desync-any-protocol --dpi-desync-cutoff=d4"

    И для протокола QUIC (с данными параметрами будет запущен второй процесс NFQWS):

    NFQWS_OPT_DESYNC_QUIC="--dpi-desync=fake,disorder2 --dpi-desync-repeats=6 --dpi-desync-any-protocol --dpi-desync-cutoff=d4"

    Мой готовый конфиг:

    # this file is included from init scripts
# change values here

# can help in case /tmp has not enough space
#TMPDIR=/opt/zapret/tmp

# redefine user for zapret daemons. required on Keenetic
WS_USER=nobody

# override firewall type : iptables,nftables,ipfw
FWTYPE=iptables

# options for ipsets
# maximum number of elements in sets. also used for nft sets
SET_MAXELEM=522288
# too low hashsize can cause memory allocation errors on low RAM systems , even if RAM is enough
# too large hashsize will waste lots of RAM
IPSET_OPT="hashsize 262144 maxelem $SET_MAXELEM"
# dynamically generate additional ip. $1 = ipset/nfset/table name
#IPSET_HOOK="/etc/zapret.ipset.hook"

# options for ip2net. "-4" or "-6" auto added by ipset create script
IP2NET_OPT4="--prefix-length=22-30 --v4-threshold=3/4"
IP2NET_OPT6="--prefix-length=56-64 --v6-threshold=5"
# options for auto hostlist
AUTOHOSTLIST_RETRANS_THRESHOLD=3
AUTOHOSTLIST_FAIL_THRESHOLD=3
AUTOHOSTLIST_FAIL_TIME=60
# 1 = debug autohostlist positives to ipset/zapret-hosts-auto-debug.log
AUTOHOSTLIST_DEBUGLOG=0

# number of parallel threads for domain list resolves
MDIG_THREADS=30

# ipset/*.sh can compress large lists
GZIP_LISTS=1
# command to reload ip/host lists after update
# comment or leave empty for auto backend selection : ipset or ipfw if present
# on BSD systems with PF no auto reloading happens. you must provide your own command
# set to "-" to disable reload
#LISTS_RELOAD="pfctl -f /etc/pf.conf"

# override ports
#HTTP_PORTS=80-81,85
#HTTPS_PORTS=443,500-501
#QUIC_PORTS=443,444

# CHOOSE OPERATION MODE
# MODE : nfqws,tpws,tpws-socks,filter,custom
# nfqws : nfqws for dpi desync
# tpws : tpws transparent mode
# tpws-socks : tpws socks mode
# filter : no daemon, just create ipset or download hostlist
# custom : custom mode. should modify custom init script and add your own code
MODE=nfqws
# apply fooling to http
MODE_HTTP=1
# for nfqws only. support http keep alives. enable only if DPI checks for http request in any outgoing packet
MODE_HTTP_KEEPALIVE=0
# apply fooling to https
MODE_HTTPS=1
# apply fooling to quic
MODE_QUIC=1
# none,ipset,hostlist,autohostlist
MODE_FILTER=none

# CHOOSE NFQWS DAEMON OPTIONS for DPI desync mode. run "nfq/nfqws --help" for option list
DESYNC_MARK=0x40000000
DESYNC_MARK_POSTNAT=0x20000000
NFQWS_OPT_DESYNC="--dpi-desync=fake,disorder2 --dpi-desync-split-pos=1 --dpi-desync-ttl=0 --dpi-desync-fooling=md5sig,badsum --dpi-desync-repeats=6 --dpi-desync-any-protocol --dpi-desync-cutoff=d4" 
#NFQWS_OPT_DESYNC_HTTP=
#NFQWS_OPT_DESYNC_HTTPS=
#NFQWS_OPT_DESYNC_HTTP6=
#NFQWS_OPT_DESYNC_HTTPS6=
NFQWS_OPT_DESYNC_QUIC="--dpi-desync=fake,disorder2 --dpi-desync-repeats=6 --dpi-desync-ttl=0  --dpi-desync-any-protocol --dpi-desync-cutoff=d4 --dpi-desync-fooling=md5sig,badsum"
#NFQWS_OPT_DESYNC_QUIC6=

# CHOOSE TPWS DAEMON OPTIONS. run "tpws/tpws --help" for option list
TPWS_OPT="--hostspell=HOST --split-http-req=method --split-pos=3 --oob"

# openwrt only : donttouch,none,software,hardware
FLOWOFFLOAD=donttouch

# openwrt: specify networks to be treated as LAN. default is "lan"
#OPENWRT_LAN="lan lan2 lan3"
# openwrt: specify networks to be treated as WAN. default wans are interfaces with default route
#OPENWRT_WAN4="wan vpn"
#OPENWRT_WAN6="wan6 vpn6"

# for routers based on desktop linux and macos. has no effect in openwrt.
# CHOOSE LAN and optinally WAN/WAN6 NETWORK INTERFACES
# or leave them commented if its not router
# it's possible to specify multiple interfaces like this : IFACE_LAN="eth0 eth1 eth2"
# if IFACE_WAN6 is not defined it take the value of IFACE_WAN
IFACE_LAN=br0
IFACE_WAN=eth3
#IFACE_WAN6="ipsec0 wireguard0 he_net"

# should start/stop command of init scripts apply firewall rules ?
# not applicable to openwrt with firewall3+iptables
INIT_APPLY_FW=1
# firewall apply hooks
#INIT_FW_PRE_UP_HOOK="/etc/firewall.zapret.hook.pre_up"
#INIT_FW_POST_UP_HOOK="/etc/firewall.zapret.hook.post_up"
#INIT_FW_PRE_DOWN_HOOK="/etc/firewall.zapret.hook.pre_down"
#INIT_FW_POST_DOWN_HOOK="/etc/firewall.zapret.hook.post_down"

# do not work with ipv4
#DISABLE_IPV4=1
# do not work with ipv6
DISABLE_IPV6=0

# select which init script will be used to get ip or host list
# possible values : get_user.sh get_antizapret.sh get_combined.sh get_reestr.sh get_hostlist.sh
# comment if not required
GETLIST=get_user.sh

    Также если ошиблись с именем внешнего интерфейса (WAN), то меняем вIFACE_WAN.

  15. На этом настройка роутера завершена и можно запускать в работу NFQWS и проверять работоспособность с помощью команды:

    /opt/zapret/init.d/sysv/zapret start

    Для перезагрузки NFQWS использовать команду:

    /opt/zapret/init.d/sysv/zapret restart

    Для остановки NFQWS использовать команду:

    /opt/zapret/init.d/sysv/zapret stop

  16. Также в случае, если есть проблема доступам к сайтам по доменным именам необходимо заменить в настройках роутера DNS-серверы провайдера на публичные. Прописываем IP адреса DNS - 8.8.8.8 и 8.8.4.4, и не забываем поставить галочку игнорировать DNS предлагаемые провайдером интернета:

    Настройки роутера для работы с публичными DNS-серверами

    Настройки роутера для работы с публичными DNS-серверами

    В случае проблем с доступностью или скоростью доступа к каким-то сайтам меняем параметры в NFQWS_OPT_DESYNC_QUIC и/или NFQWS_OPT_DESYNC, перезагружаем утилиту NFQWS с помощью команды и опять проверяем, и так делаем по циклу пока не получим нужный результат.

Автор: Keenet

Источник

* - обязательные к заполнению поля

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js