Рубрика «attention»

в 15:05, , рубрики: attention, llms, natural language processing, nlp, Transformers, глубокое обучение, машинное обучение, механизм внимания, трансформеры

Знание механизма внимания и трансформеров - база любых собеседований на все грейды в NLP!

Статья не рассчитана на изучение тем с нуля, если вы еще не слышали ничего про attention, то лучше обратиться к полноценным лекциям.

Это чеклист и тренажёр, по которому стоит пройтись перед техническим интервью по NLP, чтобы закрыть пробелы и вспомнить необходимую базу.

Содержание:

  • Архитектура трансформера

  • Механизм внимания

  • Позиционные эмбеддинги

  • Токенизация

  • Трансформерные архитектуры (BERT, GPT и тд)

  • Полезные материалы

Читать полностью »

в 18:37, , рубрики: attention, FlashAttention, llm, Transformers, triton, большие языковые модели, внимание, машинное обучение, оптимизация производительности, трансформеры

в 9:57, , рубрики: attention, circuits, mechanistic-interpretability, OpenAI, sparse-transformer, архитектура-моделей, интерпретируемость, разреженные-модели, цепочки-вычислений

Команда AI for Devs подготовила перевод исследования OpenAI о том, как обучение разреженных моделей может сделать ИИ более прозрачным. Авторы показывают: если заставить модель использовать меньше связей, внутри неё появляются понятные цепочки вычислений, которые можно изучать и проверять. Это может стать шагом к созданию мощных, но интерпретируемых систем.

Читать полностью »

в 15:58, , рубрики: AI, attention, deep learning, machine learning, pytorch, research, Transformers, нейросети

В классическом self-attention каждый токен смотрит на другие токены, чтобы понять, что важно в данный момент.
Внимание распределяется мгновенно:

Momentum Attention: когда внимание получает инерцию - 1

Именно этот механизм сделал трансформеры тем, чем они стали.

Но вот в чём проблема - внимание не имеет памяти.
Читать полностью »

в 23:14, , рубрики: attention, cnn, RNN, uwb, искусственный интеллект, радар, радарные датчики, сверхширокополосная радиолокация, сшп, трансформеры

В данной статье речь пойдёт о том, как используя разные архитектуры нейронных сетей классифицировать данные полученные со сверхширокополосного радара " XETHRU by NOVELDA X4M02 290056-010 ". Моя работа основана на публикации " UWB-gestures, a public dataset of dynamic hand gestures acquired using impulse radar sensorsЧитать полностью »

в 20:18, , рубрики: attention, CV, swin transformer, машинное обучение, обработка изображений
Обзор архитектуры Swin Transformer - 1

Трансформеры шагают по планете! В статье вспомним/узнаем как работает visual attention, поймём, что с ним не так, а главное как его поправить, чтобы получить на выходе best paper ICCV21.

CV-трансформеры in a nutshell

Attention Is All You Need

Начнём издалека, а именно с 2017 года, когда A Vaswani et al. опубликовали знаменитую статью «Attention Is All You Need»Читать полностью »

в 9:28, , рубрики: attention, deep learning, keras, machine learning, neural networks, python, wunderfund, машинное обучение

О статьях по искусственному интеллекту на русском языке

Не смотря на то что механизм Attention описан в англоязычной литературе, в русскоязычном секторе достойного описание данной технологии я до сих пор не встречал. На нашем языке есть много статей по Искусственному Интеллекту (ИИ). Тем не менее, те статьи, которые удалось найти, раскрывают только самые простые модели ИИ, например, свёрточные сети, генеративные сети. Однако, по передовым новейшим разработками в области ИИ статей в русскоязычном секторе крайне мало.

Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js