Рубрика «transfer learning»
Обучение Russian SuperGLUE моделей с помощью библиотеки DeepPavlov
2022-12-03 в 19:53, admin, рубрики: AI, BERT, deep learning, deeppavlov, natural language processing, nlp (natural language processing), open source, python, pytorch, transfer learning, искусственный интеллект, машинное обучение, нейронные сети, обработка текстов
Люди ломаются на логике, роботы — на всем понемногу. Экзамены по русскому для NLP-моделей
2020-06-10 в 9:00, admin, рубрики: BERT, deep learning, natural language processing, nlp, transfer learning, Алгоритмы, Блог компании Сбербанк, искусственный интеллект, лидерборд, машинное обучение, нейронные сети, обработка текстов, русский язык, Семантика, славянская группа языков, управление проектами, языкиЧтобы машины могли обрабатывать текст на русском и «понимать» его, в NLP используются универсальные языковые модели и трансформеры — BERT, RoBERTa, XLNet и другие — архитектуры от 100 миллионов параметров, обученные на миллиардах слов. Все оригинальные модели появляются обычно для английского, показывают state-of-the-art в какой-нибудь прикладной задаче и только спустя полгода-год появляются и для русского языка, без тюнинга архитектуры.
Чтобы корректнее обучать свою модель для русского или другого языка и адаптировать её, хорошо бы иметь какие-то объективные метрики. Их существует не так много, а для нашей локали и вовсе не было. Но мы их сделали, чтобы продолжить развитие русских моделей для общей задачи General Language Understanding.
Мы — это команда AGI NLP Сбербанка, лаборатория Noah’s Ark Huawei и факультет компьютерных наук ВШЭ. Проект Russian SuperGLUE — это набор тестов на «понимание» текста и постоянный лидерборд трансформеров для русского языка.
Читать полностью »
Передача знания и Нейронный машинный перевод на практике
2019-11-13 в 16:40, admin, рубрики: big data, colab, sockeye, transfer learning, Алгоритмы, машинное обучение, нейронные сети, нейронный перевод, чувашский языкНейронный машинные перевод (НМП, англ. Neural Machine Translation, NMT) развивается очень быстро. Сегодня, чтобы собрать свой переводчик, не нужно иметь два высших образования. Но чтобы обучить модель, нужен большой параллельный корпус (корпус, в котором предложению на исходном языке сопоставлен его перевод). На практике речь идет хотя бы об одном миллионе пар предложений. Есть даже отдельная большая область НМП, исследующая методы обучения языковых пар с малым количеством данных в электронном виде (англ. Low Resource NMT).
Мы собираем чувашско-русский корпус и параллельно смотрим, что можно сделать с имеющимся объемом данных. В этом примере использовали корпус из 90 000 пар предложений. Самый хороший результат на данный момент дал метод передачи знания (англ. Transfer Learning), о нем и пойдет речь в статье. Цель статьи — дать практический пример реализации, который легко можно было бы воспроизвести.Читать полностью »
Технологии больших данных в работе с бактериями микробиоты. Лекция в Яндексе
2017-06-18 в 18:50, admin, рубрики: complexity science, Hbase, natural language processing, text mining, transfer learning, антибиотики, биоинформатика, биоинформатические алгоритмы, Блог компании Яндекс, геном, геномика, гены, Исследования и прогнозы в IT, калории, микробиология, секвенирование, секвенирование геномаМы часто говорим о задачах, которые лежат на стыке той или иной классической науки и анализа данных. В сегодняшнем докладе эта идеология представлена воочию — большую часть доклада читает учёный, а о конкретных методах и инструментах рассказывает программист.
Под катом — расшифровка и основная часть слайдов.
Создаём нейронную сеть InceptionV3 для распознавания изображений
2017-02-14 в 14:15, admin, рубрики: cnn, deep learning, Google, image classification, python, transfer learning, Алгоритмы, глубокие сверточные нейронные сети, глубокое обучение, машинное обучение, нейронные сети, нейросети, обработка изображений, технологии будущего
Привет! Под катом пойдёт речь о реализации свёрточной нейронной сети архитектуры InceptionV3 с использованием фреймворка Keras. Статью я решил написать после ознакомления с туториалом "Построение мощных моделей классификации с использованием небольшого количества данных". С одобрения автора туториала я немного изменил содержание своей статьи. В отличие от предложенной автором нейронной сети VGG16, мы будем обучать гугловскую глубокую нейронную сеть Inception V3, которая уже предустановлена в Keras.
Вы научитесь:
- Импортировать нейронную сеть Inception V3 из библиотеки Keras;
- Настраивать сеть: загружать веса, изменять верхнюю часть модели (fc-layers), таким образом, приспосабливая модель под бинарную классификацию;
- Проводить тонкую настройку нижнего свёрточного слоя нейронной сети;
- Применять аугментацию данных при помощи ImageDataGenerator;
- Обучать сеть по частям для экономии ресурсов и времени;
- Оценивать работу модели.
При написании статьи я ставил перед собой задачу представить максимально практичный материал, который раскроет некоторые интересные возможности фреймворка Keras.
Читать полностью »
Deep Learning: Cочетание глубокой сверточной нейронной сети с рекуррентной нейронной сетью
2016-11-29 в 14:56, admin, рубрики: cnn, deep learning, Google, image classification, microsoft, transfer learning, Алгоритмы, Блог компании Microsoft, глубокие сверточные нейронные сети, глубокое обучение, машинное обучение, медицина будущего, медицинские технологии, нейронные сети, нейросети, обработка изображений, технологии будущегоПредставляем вам завершающую статью из цикла по Deep Learning, в которой отражены итоги работы по обучению ГСНС для изображений из определенных областей на примере распознавания и тегирования элементов одежды. Предыдущие части вы найдете под катом.
Deep Learning: Transfer learning и тонкая настройка глубоких сверточных нейронных сетей
2016-11-10 в 14:35, admin, рубрики: cnn, deep learning, Google, image classification, microsoft, transfer learning, Алгоритмы, Блог компании Microsoft, глубокие сверточные нейронные сети, глубокое обучение, машинное обучение, медицина будущего, медицинские технологии, нейронные сети, нейросети, обработка изображений, технологии будущегоВ предыдущей статье из цикла «Deep Learning» вы узнали о сравнении фреймворков для символьного глубокого обучения. В этом материале речь пойдет о глубокой настройке сверточных нейронных сетей для повышения средней точности и эффективности классификации медицинских изображений.
Нейропластичность в искусственных нейронных сетях
2015-03-20 в 7:19, admin, рубрики: big data, data mining, deep learning, inductive transfer, transfer learning, Алгоритмы, Блог компании Mail.Ru Group, глубокие сети, глубокое обучение, Компьютерное зрение, машинное обучение, нейронные сети, нейропластичность, свёрточная нейросеть 
Привет, давно не виделись. В этом посте мне хотелось бы рассказать о таком относительно новом понятии в машинном обучении, как transfer learning. Так как я не нашел какого-либо устоявшегося перевода этого термина, то и в названии поста фигурирует хоть и другой, но близкий по смыслу термин, который как бы является биологической предпосылкой к формализации теории передачи знаний от одной модели к другой. Итак, план такой: для начала рассмотрим биологические предпосылки; после коснемся отличия transfer learning от очень похожей идеи предобучения глубокой нейронной сети; а в конце обсудим реальную задачу семантического хеширования изображений. Для этого мы не будем скромничать и возьмем глубокую (19 слоев) сверточную нейросеть победителей конкурса imagenet 2014 года в разделе «локализация и классификация» (Visual Geometry Group, University of Oxford), сделаем ей небольшую трепанацию, извлечем часть слоев и используем их в своих целях. Поехали.
Читать полностью »