Трансформеры сегодня – золотой стандарт нейросетей, и, особенно, больших языковых моделей. Они стали первой по-настоящему масштабируемой архитектурой, то есть с ними впервые стало возможно гарантировано наращивать перформанс моделей за счет увеличения количества данных и параметров, не упираясь в потолок производительности железа или запоминающей способности нейросети.
Рубрика «трансформеры»
Что, если не трансформеры: какие альтернативы главной архитектуре нейросетей у нас есть в 2024 году
2024-11-18 в 13:23, admin, рубрики: llm, глубокое обучение, искусственный интеллект, трансформерыРекуррентные нейронные сети наносят ответный удар
2024-10-05 в 20:55, admin, рубрики: gru, LSTM, рекуррентные нейронные сети, трансформерыРекуррентные нейронные сети (RNN), а также ее наследники такие, как LSTM и GRU, когда-то были основными инструментами для работы с последовательными данными. Однако в последние годы они были почти полностью вытеснены трансформерами (восхождение Attention is all you need), которые стали доминировать в областях от обработки естественного языка до компьютерного зрения. В статье "Were RNNs All We NeededЧитать полностью »
Всем про LLM. Как рассказать про трансформеры одинаково хорошо и индустриалам, и исследователям
2024-10-03 в 8:44, admin, рубрики: computational linguistics, distillation, image processing, llm, quantization, tabular data, time series, преподавание, трансформерыПривет. Меня зовут Вика, я работаю в AIRI, преподаю в Школе Анализа Данных и Сколтехе и вместе со своими коллегами занимаюсь обработкой естественного языка, изображений и видео, а также иными задачами, где могли бы пригодиться трансформерные модели. Трансформерные архитектуры — очень мощное орудие, которые может быть применено почти во всех сферах DL, и интереснейший концепт, в котором много потенциала для исследования. А, главное, их очень легко применить к технологиям, которые способны изменить нашу жизнь здесь и сейчас.
Как работают трансформеры: разбираем математику
2024-01-18 в 7:16, admin, рубрики: chatgpt, Transformers, матрицы, трансформеры
Кто знает, что значит GPT в названии ChatGPT, могут дальше не читать
2024-01-09 в 8:40, admin, рубрики: chatgpt, cnn, GAN, gpt, nlp, perceptron, RNN, нейронные сети, нейросети, трансформеры
В настоящее время искусственный интеллект (ИИ) стремительно развивается. Мы являемся свидетелями интеллектуальной мощи таких нейросетей, как GPT-4 Turbo от OpenAI и Gemini Ultra от GoogleЧитать полностью »
Объясняем простым языком, что такое трансформеры
2023-10-27 в 9:36, admin, рубрики: ml, mlops, ИИ, машинное обучение, нейросети, нейросеть, трансформеры
Облако предлагает много возможностейЧитать полностью »
Об экшн-трансформере как следующем этапе развития модели трансформер и не только
2023-02-22 в 9:00, admin, рубрики: Adept, python, ruvds_статьи, Блог компании RUVDS.com, искусственный интеллект, машинное обучение, нейросети, трансформеры, экшн-трансформер
В последний год многие интересующиеся технологиями искусственного интеллекта замерли в ожидании и следят за развитием интересного стартапа. Он собирается предложить миру новый способ взаимодействия с компьютером и радикально усовершенствовать этот процесс...Читать полностью »
Как работает DeepMind AlphaFold2?
2022-01-08 в 18:50, admin, рубрики: AlphaFold2, DeepMind, биоинформатика, биология, Биотехнологии, машинное обучение, механизм внимания, нейронные сети, трансформеры, Фолдинг белков
Как развитие алгоритмов сжатия остановилось 20 лет назад, или о новом конкурсе на 200 тысяч евро
2021-08-02 в 7:02, admin, рубрики: computer science, data science, deep learning, pytorch, TensorFlow, Алгоритмы, алгоритмы сжатия, арифметическое сжатие, искусственный интеллект, машинное обучение, Научно-популярное, нейросети, призы, Программирование, сжатие данных, скорость прогресса, соревнования, теорема Шеннона, трансформеры
В октябре прошлого года я опубликовал статью «О талантах, деньгах и алгоритмах сжатия данных», где с юмором описал, как «изобретают» новые алгоритмы сжатия люди, не имеющие достаточно навыков для реализации своих идей. А заодно рассказал про существующие конкурсы по новым алгоритмам, в том числе двигавшийся тогда к завершению конкурс алгоритмов сжатия с призовым фондом 50 тысяч евро.
Пост набрал 206 «плюсов», вышел на 2 место топа недели и вызвал оживленную дискуссию, в которой мне больше всего понравился комментарий: «Коммерческого интереса эффективность по сжатию алгоритмов сжатия без потерь сегодня не представляет, в силу отсутствия принципиально более эффективных алгоритмов. Деньги сегодня — в сжатии аудио-видео. И там и алгоритмы другие. Тема сжатия без потерь удобна именно лёгкостью верификации алгоритма, и не слегка устарела. Лет на 20.»
Поскольку я сам уже 20 лет в области сжатия видео, с ее бурным развитием мне спорить сложно. А вот что сжатие без потерь развиваться перестало… Хотя логика тут понятна каждому. Я до сих пор пользуюсь ZIP, все мои друзья пользуются ZIP с 1989 года — значит, ничего нового не появляется. Так ведь? Похоже рассуждают сторонники плоской земли. ))) Я не видел, знакомые не видели, и даже некоторые авторитеты утверждают, значит, это так!
О том, как Intel просили меня не прекращать читать курс по сжатию, ибо людей нет новые алгоритмы делать, я в прошлый раз писал. Но тут и Huawei в ту же дуду дует! Вместо того, чтобы раздать призы и должности победителям, а затем успокоиться, поскольку развитие давно встало, эти эксцентричные люди посчитали конкурс крайне успешным и запустили новый с призовым фондом 200 тысяч EUR.
Развивались ли алгоритмы сжатия без потерь в последние 20 лет? Чем закончился прошлый конкурс и на сколько опередили baseline? Сколько денег получили русские таланты, а сколько зарубежные? И есть ли вообще жизнь на Марсе в сжатии без потерь?
Кому интересно — добро пожаловать под кат! Читать полностью »