Аналитический центр red_mad_robot продолжает следить за архитектурными прорывами в мире AI. В этот раз — экспериментальная модель от команды Sakana AIЧитать полностью »
Рубрика «LSTM»
Continuous Thought Machine: как Sakana AI научила модель думать тиками
2025-06-06 в 16:44, admin, рубрики: AI, architecture, CIFAR-10, ctm, LSTM, ml, NLM, sakana, sakanaai
Анализ и прогнозирование погодных условий
2025-05-28 в 16:34, admin, рубрики: LSTM, Meteostat, postgresql, xgboost, прогнозирование погодыВведение в предметную область
Настоящее исследование посвящено комплексному анализу глобальных климатических изменений на основе исторических метеорологических данных за период с 1950 по 2024 год. Мы фокусируемся на шести ключевых странах, представляющих основные климатические зоны планеты.
Постановка задач анализа
Основные задачи исследования можно сформулировать следующим образом:
-
Сбор и предварительная обработка данных
-
Анализ климатических изменений
-
Прогнозирование климатических параметров
-
Визуализация результатов
Научные гипотезы исследования
Продолжение исследования RNN
2024-10-16 в 16:03, admin, рубрики: gru, LSTM, msmr, python, RNN, SLR, SMR, TensorFlow, transformer, исследованиеС прошлой статьи я внёс несколько изменений:
1. Планировщик был сломан и не изменял скорость. Починил.
2. Остаточное соединение через умножение.
3. WindowedDense для выходной проекции.
4. Добавил clipnorm 1, cutoff_rate 0.4
Как обычно это всё добавляет стабильности и 1% точности.
WindowedDense по неизвестной мне причине добавляет SMR стабильность.
class SMR(layers.Layer):
def __init__(self, units):
super().__init__()
self.state_size = units
self.s_l = layers.Dense(units, use_bias=False)
def get_in_proj(self):
return WindowedDense(self.state_size, 16)
def call(self, i, states):
s = states[0]
s = self.s_l(s)
o = i * (s + 0.1)
return o, [o]Рекуррентные нейронные сети наносят ответный удар
2024-10-05 в 20:55, admin, рубрики: gru, LSTM, рекуррентные нейронные сети, трансформерыРекуррентные нейронные сети (RNN), а также ее наследники такие, как LSTM и GRU, когда-то были основными инструментами для работы с последовательными данными. Однако в последние годы они были почти полностью вытеснены трансформерами (восхождение Attention is all you need), которые стали доминировать в областях от обработки естественного языка до компьютерного зрения. В статье "Were RNNs All We NeededЧитать полностью »
Как лучше обучать RNN для прогнозирования временных рядов?
2022-11-26 в 19:27, admin, рубрики: deep learning, gru, LSTM, python, RNN, искусственный интеллект, машинное обучение, финансы в ITПривет!
Два последних года я в рамках магистерской диссертации разбирался с тем, как лучше использовать рекуррентные нейронные сети для прогнозирования временных рядов, и теперь хочу поделиться моим опытом с сообществом.
Я разделил свой рассказ на несколько блоков:
-
Что такое RNN
-
Рекуррентные нейроны
-
Методы обработки временных рядов
-
Стратегии прогнозирования
-
Добавление факторов в RNN
-
Глобальные модели RNN
Интервальное прогнозирование временных рядов с помощью рекуррентных нейронных сетей с долгой краткосрочной памятью…
2020-06-06 в 15:56, admin, рубрики: keras, LSTM, python, time-series forecasting, машинное обучение, прогнозирование временных рядов, рекуррентная нейронная сетьПродолжение цикла публикаций статей про прогнозирование временных рядов. На повестке – перевод статьи How to Develop Multi-Step LSTM Time Series Forecasting Models for Power Usage.
Читать полностью »
Рекуррентные нейронные сети (RNN) с Keras
2020-02-11 в 17:07, admin, рубрики: big data, keras, LSTM, python, TensorFlow, искусственный интеллект, машинное обучение, рекуррентная нейронная сетьПеревод руководства по рекуррентным нейросетям с сайта Tensorflow.org. В материале рассматриваются как встроенные возможности Keras/Tensorflow 2.0 по быстрому построению сеток, так и возможности кастомизации слоев и ячеек. Также рассматриваются случаи и ограничения использования ядра CuDNN позволяющего ускорить процесс обучения нейросети.
Ищем аномалии и предсказываем сбои с помощью нейросетей
2019-12-02 в 14:27, admin, рубрики: devops, dtw, LSTM, MLP, RNN, автокодировщик, глубокое обучение, искусственный интеллект, Криста, машинное обучение, нейронные сети, нейросети, поиск аномалий, предиктивное обслуживание
Промышленная разработка программных систем требует большого внимания к отказоустойчивости конечного продукта, а также быстрого реагирования на отказы и сбои, если они все-таки случаются. Мониторинг, конечно же, помогает реагировать на отказы и сбои эффективнее и быстрее, но недостаточно. Во-первых, очень сложно уследить за большим количеством серверов – необходимо большое количество людей. Во-вторых, нужно хорошо понимать, как устроено приложение, чтобы прогнозировать его состояние. Следовательно, нужно много людей, хорошо понимающих разрабатываемые нами системы, их показатели и особенности. Предположим, даже если найти достаточное количество людей, желающих заниматься этим, требуется ещё немало времени, чтобы их обучить.
Что же делать? Здесь нам на помощь спешит искусственный интеллект. Речь в статье пойдет о предиктивном обслуживании (predictive maintenance). Этот подход активно набирает популярность. Написано большое количество статей, в том числе и на Хабре. Крупные компании вовсю используют такой подход для поддержки работоспособности своих серверов. Изучив большое количество статьей, мы решили попробовать применить этот подход. Что из этого вышло?
Автоматическое определение эмоций в текстовых беседах с использованием нейронных сетей
2019-08-12 в 12:12, admin, рубрики: big data, data mining, emocontext, emotion detection, FastText, glove, keras, LSTM, python, semeval, semeval-2019, TensorFlow, word embeddings, word2vec, Блог компании Mail.Ru Group, векторное представление слов, долгая краткосрочная память, машинное обучение, рекуррентная нейронная сеть
Одна из основных задач диалоговых систем состоит не только в предоставлении нужной пользователю информации, но и в генерации как можно более человеческих ответов. А распознание эмоций собеседника – уже не просто крутая фича, это жизненная необходимость. В этой статье мы рассмотрим архитектуру рекуррентной нейросети для определения эмоций в текстовых беседах, которая принимала участие в SemEval-2019 Task 3 “EmoContext”, ежегодном соревновании по компьютерной лингвистике. Задача состояла в классификации эмоций (“happy”, “sad”, “angry” и “others”) в беседе из трех реплик, в которой участвовали чат-бот и человек.
В первой части статьи мы рассмотрим поставленную в EmoContext задачу и предоставленные организаторами данные. Во второй и третьей частях разберём предварительную обработку текста и способы векторного представления слов. В четвёртой части мы опишем архитектуру LSTM, которую мы использовали в соревновании. Код написан на языке Python с использованием библиотеки Keras.
Читать полностью »