Ученые часто вдохновляется нашими или животными биологическими структурами: CNN, MLP, Backprop, и для многих других исследований можно найти сходства в реальном мире. Недавно вышла статья, которая делает то же самое, но для RAG (Retrieval-Augmented Generation). В некотором роде, это недостающая современным LLM долгосрочная память. Это понятно, а причем тут неокортекст, гиппокамп и другие сложные слова? Давайте посмотрим.
Рубрика «Transformers»
Hippo-RAG: Долговременная память для LLM, вдохновленная нейробиологией
2024-11-22 в 5:00, admin, рубрики: llm, machine learning, natural language processing, rag, retrieval, retrieval augmented generation, transformer, TransformersState Space Models. Mamba
2024-10-31 в 13:56, admin, рубрики: AI, chatgpt, deep learning, machine learning, neural networks, Transformers, глубокое обучение, машинное обучение, нейронные сети
Привет, Habr!
Ни для кого не секрет, что доминирующей на данный момент архитектурой в области Deep Learning являются трансформеры. Они произвели настоящий фурор и стали основой для самых известных LLMЧитать полностью »
VLM — арт эксперты
2024-10-31 в 6:15, admin, рубрики: art history, llama 3.2, llava, qwen2-vl, Transformers, Vision Transformer, vlm, искусственный интеллектВсем привет, меня зовут Арсений, я DS в компании Raft, и сегодня я расскажу вам про VLM.
Большие языковые модели уже стали частью нашей жизни и мы применяем, чтобы упростить современную рутину, а так же используем их для решения бизнес задач. Недавно вышло новое поколение vision transformer моделей, которые заметно упростили анализ изображений, из какой бы сферы эти изображения не были.
Особенно заметным был сентябрьский релизЧитать полностью »
Отличается ли внимание человека и модели-трансформера?
2024-08-30 в 11:36, admin, рубрики: eye-tracking, natural language processing, self-attention, TransformersДля того, чтобы понимать язык и делать различные выводы, человек рассуждает, опираясь на знания о мире и здравый смысл. Несмотря на то, что большие языковые модели достигли значительных успехов в обработке естественного языка, рассуждение на основе здравого смысла остаëтся одним из самых сложных навыков.
Наиболее распространëнным способом оценки способностей моделей рассуждать, опираясь на здравый смысл, является тест на основе схемы Винограда (The Winograd Schema ChallengeЧитать полностью »
Семантический поиск (homemade)
2024-08-07 в 5:15, admin, рубрики: AI, BERT, deep learning, machine learning, nlp, sentence transformer, Transformers, обработка естественного языка, семантический поиск
Основой семантического поиска может являться ML задача Sentence Similarity, а если быть еще конкретнее, то это Semantic Textual Similarity. Модели, обученные под эту задачу, способны оценивать насколько близки предложения по своему смыслу. Всё, что нам дальше остается, так это засунуть модель в некоторую поисковую систему, но тут давайте по порядку.
Как работают трансформеры: разбираем математику
2024-01-18 в 7:16, admin, рубрики: chatgpt, Transformers, матрицы, трансформеры
Infinityformer: новый подход к обработке длинных последовательностей большими языковыми моделями
2023-04-08 в 21:09, admin, рубрики: kandinsky art, llm, Transformers, искусственный интеллект, машинное обучение, нейронные сети, нейросеть
Inductive bias и нейронные сети
2021-11-26 в 9:21, admin, рубрики: inductive bias, Transformers, искусственный интеллект, машинное обучение, нейросети, обработка изображений, обучение нейронных сетей, теория нейронных сетейВ этой статье я расскажу, что такое inductive bias, зачем он нужен и где встречается в машинном обучении. Спойлер: везде. Любая нейросеть имеет inductive bias (даже та, что в человеческом мозге, хе-хе)
Также вы узнаете:
-
почему inductive bias — это очень хорошо
-
способы внедрить inductive bias в модели машинного обучения
-
какой inductive bias в сверточных нейросетях и как успех архитектуры Image Transformer связан с inductive bias
Ну что, поехали:
Нейросети для Natural Language Inference: логические умозаключения на русском языке
2021-10-10 в 12:35, admin, рубрики: BERT, natural language inference, natural language processing, natural language understanding, nli, nlp, nlu, python, Transformers, zero-shot classification, машинное обучение, обработка естественного языка, Программирование, СемантикаNLI (natural language inference) – это задача автоматического определения логической связи между текстами. Обычно она формулируется так: для двух утверждений A и B надо выяснить, следует ли B из A. Эта задача сложная, потому что она требует хорошо понимать смысл текстов. Эта задача полезная, потому что "понимательную" способность модели можно эксплуатировать для прикладных задач типа классификации текстов. Иногда такая классификация неплохо работает даже без обучающей выборки!
До сих пор в открытом доступе не было нейросетей, специализированных на задаче NLI для русского языка, но теперь я обучил целых три: Читать полностью »
BERT для классификации русскоязычных текстов
2021-07-10 в 9:09, admin, рубрики: BERT, huggingface, natural language processing, pytorch, Transformers, машинное обучениеЗачем
В интернете полно прекрасных статей про BERT. Но часто они слишком подробны для человека, который хочет просто дообучить модель для своей задачи. Данный туториал поможет максимально быстро и просто зафайнтюнить русскоязычный BERT для задачи классификации. Полный код и описание доступны в репозитории на github, есть возможность запустить все в google colab одной кнопкой.
Workflow
-
Данные для обучения
-
Модель
-
Helpers
-
Train
-
Inference
Данные для обучения
Для обучения использовались очищенные данные русскоязычного твиттера из датасета Читать полностью »