Всем привет! В первой статье из нашего цикла мы узнали, что такое DeepPavlov, какие модели библиотеки готовы к использованию без предварительного обучения и как запустить REST серверы с ними. Перед тем, как приступить к обучению моделей, мы расскажем о различных возможностях деплоймента моделей DeepPavlov и некоторых особенностях настройки библиотеки.
Договоримся, что все скрипты запуска библиотеки выполняются в environment Python с установленной библиотекой DeepPavlov (про установку см. первую статью, про virtualenv можно прочитать здесь). Примеры из этой статьи не требуют знания синтаксиса Python.
Режимы взаимодействия с NLP моделями DeepPavlov
На данный момент DeepPavlov поддерживает 4 способа взаимодействия с NLP моделями (как предобученными, так и созданными пользователями):
- REST сервер (режим riseapi) — основной инструмент интеграции моделей, о нём подробно рассказывалось в предыдущей статье. Документация.
- TCP или UNIX сокет сервер (режим risesocket) — если необходима низкоуровневая интеграция. Документация.
- Бот в Telegram (режим telegram) — демонстрационный режим, позволяет взаимодействовать с моделью через Telegram. Документация.
- Командная строка (режим interact) — демонстрационный и отладочный режим, позволяет взаимодействовать с моделью через командную строку. Модель в режиме взаимодействия через командную строку инициализируется следующей командой:
python -m deeppavlov interact <config_path>Параметр <config_path> (обязательный во всех четырёх режимах) в качестве значения может принимать либо полный путь к файлу конфига модели, либо имя файла конфига без расширения. В последнем случае, конфиг модели должен быть зарегистрирован в библиотеке.
Конфиги всех поставляемых с DeepPavlov моделей зарегистрированы в библиотеке. Перечень поставляемых моделей можно найти в разделе MODELS документации DeepPavlov, их конфиги можно найти тут.
Использование GPU
В любом из вышеперечисленных режимов инициализируются NLP модели, в основе которых лежат нейронные сети. Это делает их достаточно требовательными к вычислительным ресурсам. Повысить производительность работы моделей можно за счёт использования GPU. Для этого вам понадобится графическая карта nVidia с достаточным объёмом видеопамяти (зависит от запускаемой модели) и поддерживаемая версия фреймворка CUDA. Всю необходимую информацию по запуску моделей DeepPavlov на GPU вы сможете найти здесь.
Файлы настроек библиотеки
Все настройки библиотеки содержатся в трёх файлах:
- server_config.json — настройки REST и socket серверов, а так же коннектора к Telegram
- dialog_logger_config.json — настройки логирования запросов к моделям
- log_config.json — настройки логирования библиотеки
По умолчанию файлы настроек находятся в <deep_pavlov_root>/utils/settings, где <deep_pavlov_root> — это директория установки DeepPavlov (обычно это lib/python<X.X>/site-packages/deeppavlov в virtual environment). С помощью команды
python -m deeppavlov.settings
вы можете узнать точный путь к директории с файлами настроек. Также вы можете задать путь к удобной вам директории, указав его в переменной окружения DP_SETTINGS_PATH. После первого запуска вышеуказанной команды (сервера с любой обученной моделью DeepPavlov) файлы из директории по умолчанию будут скопированы в директорию из DP_SETTINGS_PATH. Команда
python -m deeppavlov.settings -dсбрасывает настройки путём копирования файлов настройки из директории по умолчанию поверх файлов в DP_SETTINGS_PATH.
Из настроек DeepPavlov следует обратить внимание на:
- server_config.json, параметр model_args_names:
Из прошлой статьи мы помним:
— аргументы REST API DeepPavlov именованные;
— любая модель в DeepPavlov идентифицируется именем её конфига.
Так вот, имена аргументов каждой модели по умолчанию берутся из её конфига.Структуру конфигов моделей мы подробно разберем в следующих статьях, сейчас лишь отметим, что имена аргументов в REST API можно переопределить следующим образом:
model_args_names: [“arg_1_name”, ..., “arg_n_name”]Последовательность имён аргументов соответствует последовательности, в которой аргументы определены в конфиге модели, пустая строка в качестве значения параметра model_args_names соответствует именам по умолчанию.
- log_config.json:
Обратите внимание на то, что для логирования uvicorn используется логгер, который настраивается отдельно. Про структуру конфига модуля logging Python можно прочитать здесь.
Запуск предобученных моделей в Docker
Любую предобученную модель DeepPavlov можно запустить в контейнере Docker в режиме REST сервиса. Подробные инструкции находятся в наших репозиториях на DockerHub: для CPU — здесь, для GPU — здесь. API моделей в контейнерах полностью соответствуют описанию из предыдущей статьи.
DeepPavlov Cloud
Чтобы упростить работу с предобученными NLP моделями из DeepPavlov, мы начали предоставлять их в режиме SaaS. Для использования моделей необходимо зарегистрироваться в нашем сервисе и получить токен в разделе Tokens личного кабинета. Документация по API находится в разделе Info. Под одним токеном можно отправить до 1000 запросов к модели.
На текущий момент сервис запущен в Альфа версии и его использование предоставляется бесплатно. Далее набор и формат предоставления моделей будет расширяться в соответствии с запросами пользователей. Форму для запросов можно найти внизу страницы Demo.
Сейчас в DeepPavlov Cloud доступны следующие модели:
- Named Entity Recognition (multilingual) — распознавание именованных сущностей;
- Sentiment (RU) — классификация тональности текста;
- SQuAD (multilingual) — ответ на вопрос к тексту фрагментом данного текста.
Заключение
В этой статье мы познакомились с особенностями конфигурирования и деплоя моделей DeepPavlov, узнали о Docker образах DP и возможности свободного доступа к моделям DP как к SaaS.
В следующей статье мы обучим простую модель DeepPavlov на своём датасете. И не забывайте, что у DeepPavlov есть форум – задавайте свои вопросы относительно библиотеки и моделей. Спасибо за внимание!
Автор: Moryshka
