Зачем
В интернете полно прекрасных статей про BERT. Но часто они слишком подробны для человека, который хочет просто дообучить модель для своей задачи. Данный туториал поможет максимально быстро и просто зафайнтюнить русскоязычный BERT для задачи классификации. Полный код и описание доступны в репозитории на github, есть возможность запустить все в google colab одной кнопкой.
Workflow
-
Данные для обучения
-
Модель
-
Helpers
-
Train
-
Inference
Данные для обучения
Для обучения использовались очищенные данные русскоязычного твиттера из датасета Читать полностью »