Мой коллега Никита Габдуллин работает в Отделе перспективных исследований ИТ-компании «Криптонит». Он автор библиотеки Loss Landscape Analysis (LLA) и научной статьи о ней, препринт которой доступен на английском языке. Здесь мы подробнее рассказываем о самой библиотеке, в то время как научная публикация в основном посвящена исследованию разных свойств ландшафтов функций потерь. Также в русскоязычной статье мы допускаем некоторые лингвистические вольности, которые не приняты в академической среде, но упрощают восприятие текста.
Рубрика «обобщение»
Loss Landscape Analysis — новая библиотека для анализа точности обучения и оценки обобщающей способности нейросетей
2025-01-28 в 12:00, admin, рубрики: analysis, landscape, loss, анализ, визуализация, машинное обучение, нейронные сети, нейросети, обобщение, функция потерьПсихология II. Мышление
2024-11-02 в 13:38, admin, рубрики: абдукция, анализ, дедукция, закон, индукция, обобщение, понятие, синтез, суждение, умозаключенияМогут ли трансформеры «думать»
2024-09-01 в 11:56, admin, рубрики: generalization, gpt, грокинг, задачи рассуждения, обобщение, общий искусственный интеллект, память ИИ, память трансформеров, трансформаторНедавние исследования показывают, что модели трансформеров способны почти безошибочно решать задачи, требующие нескольких логических шагов. Например, из утверждения А вывести Б и дойти логически до В. И что удивительно, это достигается без использования Chain-of-Thought или особых промптов — только классический GPT-2. Давайте посмотрим, как трансформеры «думают» при решении задач рассуждения, и напишем для этого код с использованием библиотеки Hugging Face.