Всем привет! Меня зовут Дима. Я работаю в Поиске Okko и в этой статье хочу рассказать, насколько картиночные модели полезны для задачи Поиска и для чего мы используем их в наших пайплайнах.
Рубрика «nlp» - 3
Вместо тысячи слов: как картинки помогают в текстовом Поиске?
2024-09-17 в 11:17, admin, рубрики: CLIP, computer vision, CV, nlp, Okko, обложки, онлайн кинотеатр, поиск, поисковые алгоритмы, фильмыЧто такое Retrieval-Augmented Generation (RAG) в языковых моделях и как оно работает?
2024-09-06 в 14:33, admin, рубрики: AI, llm, nlp, rag, retrieval augmented generation, искусственный интеллектВ контексте разговоров о больших языковых моделях (LLM) все чаще возникает аббревиатура RAG – Retrieval-Augmented Generation, или если переводить на русский язык, то «поисковая дополненная генерация». В этом тексте попробуем в общих чертах разобраться, как работает RAG, и где он может быть применим на практических задачах.
Дисклеймер: это вольный перевод поста с портала Medium, который написал Сахин Ахмед. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на Читать полностью »
Топ-7 высокооплачиваемых профессий в сфере ИИ
2024-08-29 в 11:31, admin, рубрики: nlp, python, архитектор, большая зарплата, высокооплачиваемая работа, ИИ, Компьютерное зрение, машинное обучение, нейросети, промпт-инженерО том, как появление нейросетей влияет на рынок труда, говорят все. Потому что не говорить об этом невозможно. По мнению экспертов (и не только их), некоторые профессии скоро отправятся на свалку истории, а другие станут невероятно востребованными. Давайте разберёмся, что ждёт работодателей и соискателей в ближайшем будущем и каким специалистам в сфере ИИ, или AI, готовы платить больше всего.
Что в прошлом
Гайд по работе языковых моделей для начинающих
2024-08-20 в 15:32, admin, рубрики: BERT, gpt, llm, nlp, nlp (natural language processing), pytorch, TensorFlow, обработка естественного языка, языковая модель, языковые моделиДля того, чтобы распознавать естественную человеческую речь, используют специальные модели — языковые. Они умеют воспринимать содержание текста, продолжать предложения и вести осмысленный диалог.
Вместе с дата-сайентистом и биоинформатиком Марией Дьяковой подготовили подробный гайд о том, как устроены самые популярные языковые модели и что нужно знать, чтобы начать с ними работать.
Что можно узнать из текста в телеграмм-канале?
2024-08-19 в 18:16, admin, рубрики: nlp, анализ данных, анализ данных python, данные, кластер, машинное обучение, текст, тематическое моделирование, эмбеддингиПривет!
Два года назад я создал телеграмм-канал и начал постить туда всякое, что считал интересным. Изначально это было что-то вроде публичного дневника с регулярными и короткими заметками из моей студенческой жизни. После, я попробовал превратить этот канал в блог о современном искусстве, ну а пару месяцев назад понял, что не могу жить без любимой айтишечки и начал постить в канал новости из мира Data Science и ИИ.
Как простые NLP модели видят слова? | NLP | Пишем свой TF-IDF
2024-08-17 в 12:15, admin, рубрики: AI, deeplearning, jupyter notebook, machinelearning, math, nlp, numpy, pandas, python, tfidfvectorizerКак модели видят наш текст?
Когда начинаешь погружаться в сферу NLP, сразу задумываешься, как модели представляют себе наш текст/наши слова? Ведь не логично бы звучало, если модель обрабатывала наши слова, как обычную последовательность букв. Это было бы не удобно и не понятно(как проводить операции со словами?).
Есть разные методы преобразования слов. Один из самых известных для не самых сложных моделей: TF-IDF.
Как работает TF-IDF?
TF-IDF(Term Frequency-Inverse Document Frequency) — это метод, который преобразует слова в числовые векторы, что делает их более понятными для моделей машинного обучения.
Семантический поиск (homemade)
2024-08-07 в 5:15, admin, рубрики: AI, BERT, deep learning, machine learning, nlp, sentence transformer, Transformers, обработка естественного языка, семантический поиск
Основой семантического поиска может являться ML задача Sentence Similarity, а если быть еще конкретнее, то это Semantic Textual Similarity. Модели, обученные под эту задачу, способны оценивать насколько близки предложения по своему смыслу. Всё, что нам дальше остается, так это засунуть модель в некоторую поисковую систему, но тут давайте по порядку.
Кто знает, что значит GPT в названии ChatGPT, могут дальше не читать
2024-01-09 в 8:40, admin, рубрики: chatgpt, cnn, GAN, gpt, nlp, perceptron, RNN, нейронные сети, нейросети, трансформеры
В настоящее время искусственный интеллект (ИИ) стремительно развивается. Мы являемся свидетелями интеллектуальной мощи таких нейросетей, как GPT-4 Turbo от OpenAI и Gemini Ultra от GoogleЧитать полностью »
GigaChat расправляет плечи. Новая версия нейросетевой модели от Сбера
2023-10-19 в 8:01, admin, рубрики: GigaChat, large language model, linguistics, machine learning, nlp, большие языковые модели, искусственный интеллект, Компьютерная лингвистика
От полиглота к эксперту: модели mGPT для малых языков России и стран СНГ
2023-08-22 в 9:43, admin, рубрики: llm, low resource languages, mgpt, multilingual language models, nlp, малые языки россии, языковые модели
Не так давно мы рассказывали про то, как обучили модель-полиглот mGPT, которая говорит на 61 языке. Этим летом мы выложили большую мультиязычную модель (претрейн) mGPT-13B под открытой лицензией MIT.