Привет!
В этом туториале разобран метод для анализа внутренних представлений "логит-линза" (Logit Lens).
В результате практики по туториалу, вы:
Изучите подход и концепцию Logit Lens;
Реализуете Logit Lens для Visual Transformer;
Познакомитесь с анализом результатов применения логит-линзы.
Приступим! Как всегда, весь код будет на гитхаб — step by step.
Метод Logit Lens был предложен на Lessworng в 2020 году на примере модели GPT-2.
Сразу к карте? Если вы предпочитаете действовать, а не читать, вот ссылка на Mind Map . Она доступна для изучения прямо сейчас. А если хотите понять контекст и узнать больше о каждой модели — добро пожаловать под кат!
Вспомните, как мы в школе раз за разом рисовали треугольники, строили высоты, искали точки пересечения прямых и пытались доказать, что «углы равны». Тогда казалось, что геометрические задачи — дело либо для одарённых умов, либо для супертерпеливых людей с линейкой и транспортиром.
Ученые часто вдохновляется нашими или животными биологическими структурами: CNN, MLP, Backprop, и для многих других исследований можно найти сходства в реальном мире. Недавно вышла статья, которая делает то же самое, но для RAG (Retrieval-Augmented Generation). В некотором роде, это недостающая современным LLM долгосрочная память. Это понятно, а причем тут неокортекст, гиппокамп и другие сложные слова? Давайте посмотрим.
Ни для кого не секрет, что доминирующей на данный момент архитектурой в области Deep Learning являются трансформеры. Они произвели настоящий фурор и стали основой для самых известных LLMЧитать полностью »
Всем привет, меня зовут Арсений, я DS в компании Raft, и сегодня я расскажу вам про VLM.
Большие языковые модели уже стали частью нашей жизни и мы применяем, чтобы упростить современную рутину, а так же используем их для решения бизнес задач. Недавно вышло новое поколение vision transformer моделей, которые заметно упростили анализ изображений, из какой бы сферы эти изображения не были.
Особенно заметным был сентябрьский релизЧитать полностью »
Для того, чтобы понимать язык и делать различные выводы, человек рассуждает, опираясь на знания о мире и здравый смысл. Несмотря на то, что большие языковые модели достигли значительных успехов в обработке естественного языка, рассуждение на основе здравого смысла остаëтся одним из самых сложных навыков.
Наиболее распространëнным способом оценки способностей моделей рассуждать, опираясь на здравый смысл, является тест на основе схемы Винограда (The Winograd Schema ChallengeЧитать полностью »
Основой семантического поиска может являться ML задача Sentence Similarity, а если быть еще конкретнее, то это Semantic Textual Similarity. Модели, обученные под эту задачу, способны оценивать насколько близки предложения по своему смыслу. Всё, что нам дальше остается, так это засунуть модель в некоторую поисковую систему, но тут давайте по порядку.
