Рубрика «трансформеры» - 2
Как работает DeepMind AlphaFold2?
2022-01-08 в 18:50, admin, рубрики: AlphaFold2, DeepMind, биоинформатика, биология, Биотехнологии, машинное обучение, механизм внимания, нейронные сети, трансформеры, Фолдинг белковКак развитие алгоритмов сжатия остановилось 20 лет назад, или о новом конкурсе на 200 тысяч евро
2021-08-02 в 7:02, admin, рубрики: computer science, data science, deep learning, pytorch, TensorFlow, Алгоритмы, алгоритмы сжатия, арифметическое сжатие, искусственный интеллект, машинное обучение, Научно-популярное, нейросети, призы, Программирование, сжатие данных, скорость прогресса, соревнования, теорема Шеннона, трансформеры
В октябре прошлого года я опубликовал статью «О талантах, деньгах и алгоритмах сжатия данных», где с юмором описал, как «изобретают» новые алгоритмы сжатия люди, не имеющие достаточно навыков для реализации своих идей. А заодно рассказал про существующие конкурсы по новым алгоритмам, в том числе двигавшийся тогда к завершению конкурс алгоритмов сжатия с призовым фондом 50 тысяч евро.
Пост набрал 206 «плюсов», вышел на 2 место топа недели и вызвал оживленную дискуссию, в которой мне больше всего понравился комментарий: «Коммерческого интереса эффективность по сжатию алгоритмов сжатия без потерь сегодня не представляет, в силу отсутствия принципиально более эффективных алгоритмов. Деньги сегодня — в сжатии аудио-видео. И там и алгоритмы другие. Тема сжатия без потерь удобна именно лёгкостью верификации алгоритма, и не слегка устарела. Лет на 20.»
Поскольку я сам уже 20 лет в области сжатия видео, с ее бурным развитием мне спорить сложно. А вот что сжатие без потерь развиваться перестало… Хотя логика тут понятна каждому. Я до сих пор пользуюсь ZIP, все мои друзья пользуются ZIP с 1989 года — значит, ничего нового не появляется. Так ведь? Похоже рассуждают сторонники плоской земли. ))) Я не видел, знакомые не видели, и даже некоторые авторитеты утверждают, значит, это так!
О том, как Intel просили меня не прекращать читать курс по сжатию, ибо людей нет новые алгоритмы делать, я в прошлый раз писал. Но тут и Huawei в ту же дуду дует! Вместо того, чтобы раздать призы и должности победителям, а затем успокоиться, поскольку развитие давно встало, эти эксцентричные люди посчитали конкурс крайне успешным и запустили новый с призовым фондом 200 тысяч EUR.
Развивались ли алгоритмы сжатия без потерь в последние 20 лет? Чем закончился прошлый конкурс и на сколько опередили baseline? Сколько денег получили русские таланты, а сколько зарубежные? И есть ли вообще жизнь на Марсе в сжатии без потерь?
Кому интересно — добро пожаловать под кат! Читать полностью »
Как Яндекс применил генеративные нейросети для поиска ответов
2021-06-10 в 8:00, admin, рубрики: gpt-3, natural language processing, y1, yalm, алиса, Блог компании Яндекс, искусственный интеллект, команда алисы, команда яндекс.поиска, машинное обучение, обновление поиска, поиск, поисковые технологии, трансформеры, яндексТолько что мы представили новую версию поиска Y1. Она включает в себя комплекс технологических изменений. В том числе улучшения в ранжировании за счёт более глубокого применения трансформеров. Подробнее об этом направлении мой коллега Саша Готманов уже рассказывал в нашем блоге. В новой версии модель стала мощнее: количество параметров возросло в 4 раза. Но сегодня мы поговорим о других изменениях.
Когда человек вводит запрос в поисковик, он ищет информацию или способ решения своей задачи. Наша глобальная цель — помогать находить такие ответы, причём сразу в наиболее ёмком виде, чтобы сэкономить людям время. Этот тренд на ускорение решения пользовательских задач особенно заметен в последние годы. К примеру, теперь многие пользователи задают свои вопросы не текстом в поиске, а голосовому помощнику. И тут нам на помощь пришли огромные генеративные нейросети, которые способны перерабатывать, суммаризировать и представлять в ёмком виде тексты на естественном языке. Пожалуй, самой неожиданной особенностью таких сетей стала возможность быстро обучаться на всё новые задачи без необходимости собирать большие датасеты.
Сегодня мы поделимся опытом создания и внедрения технологии YaLM (Yet another Language Model), которая теперь готовит ответы для Поиска и Алисы. В этом мне помогут её создатели — Алексей Петров petrovlesha и Николай Зинов nzinov. Эта история основана на их докладе с Data Fest 2021 и описывает внедрения модели в реальные продукты, поэтому будет полезна и другим специалистам в области NLP. Передаю слово Алексею и Николаю.
Трансформеры в Поиске: как Яндекс применил тяжёлые нейросети для поиска по смыслу
2020-11-25 в 9:01, admin, рубрики: BERT, yati, Блог компании Яндекс, искусственный интеллект, команда яндекс.поиска, машинное обучение, поиск яндекса, поисковые технологии, Разработка веб-сайтов, трансформеры, яндексПривет. Меня зовут Саша Готманов, я руковожу группой нейросетевых технологий в поиске Яндекса. На YaC 2020 мы впервые рассказали о внедрении трансформера — новой нейросетевой архитектуры для ранжирования веб-страниц. Это наиболее значимое событие в нашем поиске за последние 10 лет.
Сегодня я расскажу читателям Хабра, в чём заключается иллюзия «поиска по смыслу», какой путь прошли алгоритмы и нейросети в ранжировании и какие основные сложности стоят перед теми, кто хочет применить для этой задачи трансформеры и даже заставить их работать в рантайме.
Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ
2020-10-22 в 7:00, admin, рубрики: AIJourney, GPT-2, gpt-3, natural language processing, Блог компании SberDevices, Блог компании Сбер, генеративные модели, искусственный интеллект, машинное обучение, нейронные сети, трансформерыПоследнее десятилетие в области компьютерных технологий ознаменовалось началом новой «весны искусственного интеллекта». Впрочем, ситуацию в индустрии в наши дни можно, наверное, охарактеризовать уже не как весну, а полноценное «лето ИИ». Судите сами, за последние неполные 10 лет только в области обработки естественного языка (Natural language processing, NLP) произошли уже две настоящие технологические революции. Появившаяся в результате второй из них модель GPT-3 произвела настоящий фурор не только в технологических медиа, но стала знаменитой далеко за пределами научного сообщества. Например, GPT-3 написала для издания «The Guardian» эссе о том, почему ИИ не угрожает людям. GPT-3 сочиняет стихи и прозу, выполняет переводы, ведёт диалоги, даёт ответы на вопросы, хотя никогда специально не училась выполнять эти задачи. До недавних пор все возможности GPT-3 могли по достоинству оценить лишь англоязычные пользователи. Мы в Сбере решили исправить эту досадную оплошность. И сейчас расскажем вам, что из этого получилось.
Пытаясь композировать некомпозируемое: поднимаем всё
2020-01-26 в 14:37, admin, рубрики: haskell, композиции, трансформеры, функторы, функциональное программирование, эффектыРекомендуется прочитать первую статью, если вы еще этого не сделали. Эта статья будет покороче, меньше сконцентрирована на деталях и больше — на возможностях.
Согласно Стивену Дилю, наряду с зависимыми типами, ускорением компиляции и уменьшением порогом вхождения; алгебраические эффекты являются одной из самых главных задач, которые будут решены в будущем для Haskell.
Будущее не за горами, поэтому приступать нужно уже сейчас.
Читать полностью »
Что может китайский планшет на Atom на примере Chuwi Hi10 Plus
2017-09-28 в 0:36, admin, рубрики: Chuwi, гаджеты, Ноутбуки, планшеты, трансформерыУ меня часто спрашивают, что приобрести в качестве портативного компьютера для простой офисной работы, фильмов и серфинга. После пары десятков устройств разных марок я советую посмотреть в сторону планшетов или «ноутбуков» Chuwi: по китайским меркам они выполнены качественно, обладают большим коммьюнити и значительно дешевле ноутбуков той же производительности из оффлайн-магазинов. Примером послужит мой текущий Hi10 Plus.
Эта статья появилась для того, чтобы каждый раз не отвечать на одни и те же вопросы, разобрать основные проблемы подобных устройств, и обсудить достаточность таких устройств для обычного пользователя. Кажется, Atom + IPS-дисплей и док-клавиатура лучше связки AMD-E1 + TN в обычном формате. Или нет?
Монадные трансформеры для практикующих программистов
2017-04-21 в 10:20, admin, рубрики: scala, монады, трансформеры, функциональное программированиеПрикладное введение в монадные трансформеры, от проблемы к решению
Представьте, что вы сидите за рабочим столом, допиваете кофе и готовитесь к написанию кода на Scala. Функциональное программирование оказалось не так страшно, как его малюют, жизнь прекрасна, вы усаживаетесь поудобнее, сосредотачиваетесь и начинаете писать новый функционал, который нужно сдать на этой неделе.
Всё как обычно: несколько лаконичных однострочных выражений (да, детка, это Scala!), несколько странных ошибок компилятора (о, нет, Scala, нет!), лёгкое сожаление о том, что вы написали такой запутанный код… И вдруг вы сталкиваетесь со странной проблемой: выражение for
не компилируется. «Ничего страшного», — думаете вы: «сейчас гляну на StackOverflow», как вы это делаете ежедневно. Как все мы это делаем ежедневно.
Но сегодня, похоже, неудачный день.
Массовая битва бульдозеров-погрузчиков в Китае
2016-04-19 в 8:27, admin, рубрики: бульдозер, игры, Киберпанк, китай, погрузчик, строители, трансформеры, метки: бульдозер, погрузчик
Адское сражение тяжёлой строительной техники произошло в одном из китайских городов и было записано на видео прохожими. В сражении приняли участие шесть бульдозеров-погрузчиков с обеих сторон. Два из них оказались перевёрнутыми после атаки с фланга.
Читать полностью »
Alcatel и Huawei представили свои первые гибридные планшеты
2016-02-21 в 15:44, admin, рубрики: Alcatel, huawei, windows, гаджеты, гибриды, планшеты, трансформерыВ этом году на MWC в Барселоне две компании выпустили свои первые гибридные планшеты — Alcatel и Huawei. Но если Alcatel Plus 10 с точки зрения железа весьма средний, хотя может раздавать 4G LTE по Wi-Fi 15 пользователям, то 12-дюймовый Huawei MateBook — это мощный гаджет массой 635 граммов на Intel Core M 3,1ГГц, с 8ГБ оперативной памяти и SSD на 512 ГБ.