Ученые часто вдохновляется нашими или животными биологическими структурами: CNN, MLP, Backprop, и для многих других исследований можно найти сходства в реальном мире. Недавно вышла статья, которая делает то же самое, но для RAG (Retrieval-Augmented Generation). В некотором роде, это недостающая современным LLM долгосрочная память. Это понятно, а причем тут неокортекст, гиппокамп и другие сложные слова? Давайте посмотрим.
Рубрика «transformer»
Hippo-RAG: Долговременная память для LLM, вдохновленная нейробиологией
2024-11-22 в 5:00, admin, рубрики: llm, machine learning, natural language processing, rag, retrieval, retrieval augmented generation, transformer, TransformersПродолжение исследования RNN
2024-10-16 в 16:03, admin, рубрики: gru, LSTM, msmr, python, RNN, SLR, SMR, TensorFlow, transformer, исследованиеС прошлой статьи я внёс несколько изменений:
1. Планировщик был сломан и не изменял скорость. Починил.
2. Остаточное соединение через умножение.
3. WindowedDense для выходной проекции.
4. Добавил clipnorm 1, cutoff_rate 0.4
Как обычно это всё добавляет стабильности и 1% точности.
WindowedDense по неизвестной мне причине добавляет SMR стабильность.
class SMR(layers.Layer):
def __init__(self, units):
super().__init__()
self.state_size = units
self.s_l = layers.Dense(units, use_bias=False)
def get_in_proj(self):
return WindowedDense(self.state_size, 16)
def call(self, i, states):
s = states[0]
s = self.s_l(s)
o = i * (s + 0.1)
return o, [o]Как я сделал веб-фреймворк без MVC — Pipe Framework
2021-02-23 в 11:03, admin, рубрики: api, backend, etl, extractor, loader, microframework, pipe, python, python3, transformer, werkzeug, Разработка веб-сайтовПроработав фулстек разработчиком около 10 лет, я заметил одну странность.
Я ни разу не встретил не MVC веб-фреймворк. Да, периодически встречались вариации, однако общая структура всегда сохранялась:
- Codeigniter — мой первый фреймворк, MVC
- Kohana — MVC
- Laravel — MVC
- Django — создатели слегка подменили термины, назвав контроллер View, а View Template'ом, но суть не изменилась
- Flask — микрофреймворк, по итогу все равно приходящий к MVC паттерну
Конечно, с моим мнением можно поспорить, можно продолжить перечислять, однако суть не в этом.
Трансформеры как графовые нейронные сети
2020-03-11 в 11:14, admin, рубрики: data mining, deep learning, graph neural networks, natural language processing, transformer, глубокое обучение, машинное обучение, обработка естественного языкаTL;DR: перевод поста Chaitanya Joshi "Transformers are Graph Neural Networks": схемы, формулы, идеи, важные ссылки. Публикуется с любезного разрешения автора.
Друзья-датасаентисты часто задают один и тот же вопрос: графовые нейронные сети (Graph Neural Networks) — прекрасная идея, но были ли у них хоть какие-то настоящие истории успеха? Есть ли у них какие-нибудь полезные на практике приложения?
Можно привести в пример и без того известные варианты — рекомендательные системы в Pinterest, Alibaba и Twitter. Но есть и более хитрая история успеха: штурмом взявшая промышленную обработку естественного языка архитектура Transformer.
В этом посте мне бы хотелось установить связи между графовыми нейронными сетями и трансформерами (Transformers). Мы поговорим об интуитивном обосновании архитектур моделей в NLP- и GNN-сообществах, покажем их связь на языке формул и уравнений и порассуждаем, как оба "мира" могут объединить усилия, чтобы продвинуть прогресс.
Transformer в картинках
2020-02-06 в 14:09, admin, рубрики: nlp, self-attention, transformer, внутреннее внимание, машинное обучениеВ прошлой статье мы рассматривали механизм внимания (attention) – чрезвычайно распространенный метод в современных моделях глубокого обучения, позволяющий улучшить показатели эффективности приложений нейронного машинного перевода. В данной статье мы рассмотрим Трансформер (Transformer) – модель, которая использует механизм внимания для повышения скорости обучения. Более того, для ряда задач Трансформеры превосходят модель нейронного машинного перевода от Google. Однако самое большое преимущество Трансформеров заключается в их высокой эффективности в условиях параллелизации (parallelization). Даже Google Cloud рекомендует использовать Трансформер в качестве модели при работе на Cloud TPU. Попробуем разобраться, из чего состоит модель и какие функции выполняет.
Впервые модель Трансформера была предложена в статье Attention is All You Need. Реализация на TensorFlow доступна как часть пакета Tensor2Tensor, кроме того, группа NLP-исследователей из Гарварда создали гид-аннотацию статьи с реализацией на PyTorch. В данном же руководстве мы попробуем максимально просто и последовательно изложить основные идеи и понятия, что, надеемся, поможет людям, не обладающим глубоким знанием предметной области, понять данную модель.
ASUS Transformer Pad: нетбук умер, да здравствует нетбук!
2015-02-03 в 14:05, admin, рубрики: android, Android 4.4, asus, pad, tf103gc, transformer, Блог компании Кибермаркет Юлмарт, всё равно никто не читает теги, гаджеты, доступный ноутбук, клавиатура, необычные девайсы, нетбук, Ноутбуки, обзор, планшет, планшетыВ далёком 2007 году на выставке Computex компания ASUS представила народу первый нетбук: семидюмовый Eee PC с простеньким процессором Intel Celeron M и «смешной» ценой в 250$. Несколько лет нетбуки были королями рынка недорогих устройств: различные диагонали, встроенные 3G-модули, объёмные батарейки, десятки вариантов от разных вендоров… На смену им пришли ультракомпактные ноутбуки, родителем форм и возможностей которых стал Macbook Air, правда, до «нетбучных» цены так и не упали. На дворе 2015, высокоскоростной интернет доступен каждому, 3G соединение и LTE есть на безлимитной основе за разумные деньги, а компания ASUS пытается повторить успех нетбуков, но на другой платформе.
ASUS TF300 — гибрид планшета, нетбука и просто классный девайс на OS Android. Можно ли полноценно жить с таким набором свойств?
Читать полностью »
Обзор ASUS Transformer Pad TF701T
2014-01-18 в 7:48, admin, рубрики: transformer, Блог компании ASUS Russia, Гаджеты. Устройства для гиков, планшеты, метки: transformer 
В своё время компания ASUS сформировала класс мобильных устройств-трансформеров, и с тех пор последовательно придерживается этого направления. Одним из свежих представителей трансформеров стал ASUS Transformer Pad TF701T. Это планшет с клавиатурной док-станцией, благодаря которой он превращается в полноценный ноутбук под управлением Android.
Читать полностью »
Новые акции
2012-11-01 в 9:17, admin, рубрики: asus, rog, transformer, акция, Блог компании ASUS Russia, игры, планшет, подарки, метки: asus, rog, transformer, акция, игры, планшет, подарки 
Анонсируем сразу две акции. Всем покупателям геймерских продуктов серии ROG презентуем бесплатную игру от компании Ubisoft. А с 1 по 14 ноября 2012 во всех фирменных магазинах* ASUS в Москве при покупке планшета ASUS, вы получите жесткий диск в подарок.
• При покупке планшета ASUS Transformer TF300T или ASUS Transformer TF300TG вы получаете в подарок жесткий диск AN200 на 500Gb.
• При покупке планшета ASUS Transformer TF700T вы получаете в подарок жесткий диск KR Edition 2.5 на 500Gb.
• При покупке планшета ASUS PadfoneTM вы получаете в подарок жесткий диск AN350 на 1Tb.
В рамках совместной акции компании ASUS и Ubisoft предлагают каждому покупателю соответствующих продуктов ASUS серии ROG возможность бесплатного скачивания цифровой версии игры от Ubisoft со страницы ASUS UBIShop, начиная с 31 октября 2012 года. Выбрать можно одну из пяти игр различных жанров, указанных ниже.
Читать полностью »
Новые «Трансформеры»
2012-04-05 в 11:05, admin, рубрики: asus, prime, transformer, Transformer Pad Infinity, Блог компании ASUS Russia, планшет, метки: asus, prime, transformer, Transformer Pad Infinity, планшетВ рамках Всемирного мобильного конгресса компания ASUS продемонстрировала обновлённую серию планшетных компьютеров Transformer. Выпуск сразу нескольких планшетов для ASUS уже привычное дело. В прошлом году появились первый Transformer, модели Eee Pad Slider и Eee Pad Slate. В декабре 2011 представили Eee Pad Transformer Prime TF201 – логичное развитие гибридного нетбука-планшета. Спустя всего несколько месяцев компания ASUS анонсирует выход ASUS Transformer Pad Infinity и ASUS Transformer Pad 300.
Специфика планшетов-трансформеров ASUS кроется в свободе выбора. Пользователь сам решает, какой именно вариант использования мобильного устройства будет наиболее удобным для него в данный момент. Новые модели серии ASUS Transformer еще больше расширяют возможность выбора, поскольку каждая из них оптимизирована под определенные сценарии использования. Устройства предназначены для разных групп пользователей, различаются начинкой, внешним видом и ценой.
