В своём последнем посте я говорил об одной загадке: все большие языковые модели (LLM) ужасно играют в шахматы. Все, за исключением gpt-3.5-turbo-instruct
Читать полностью »
Рубрика «llm» - 8
Почему LLM так плохо играют в шахматы (и что с этим делать)
2024-11-29 в 10:10, admin, рубрики: gpt 3.5-turbo, gpt 4.0, gpt-4 omni, gpt-4o, llama, llama 3.1, llm, большие языковые модели, шахматыЗабудьте про рутину: AI-ассистент для оценки кандидатов и подбора персонала
2024-11-29 в 7:15, admin, рубрики: llm, rag, искусственный интеллект, оценка персонала, подбор персонала, резюме, телеграм-бот, телеграм-ботыВ мире, где технологии стремительно развиваются, HR-специалисты и рекрутеры сталкиваются с новыми вызовами. Отбор кандидатов, оценка их навыков и компетенций, а также составление тестовых заданий — все это требует значительных временных и человеческих ресурсов.
Но что, если можно было бы автоматизировать значительную часть этих процессов, сохранив при этом высокий уровень точности и персонализации?
От слов к делу: Практические кейсы применения NLP в Ингосстрахе
2024-11-28 в 10:07, admin, рубрики: AI, data science, llm, machine learning, nlp, бенчмаркиКогда говорят про ИИ в страховании, все обычно представляют классический ML и вероятностные модели (они конечно же имеются у нас в большом количестве). Страховая отрасль богата всевозможными данными (телеметрия с авто, внешние условия, данные с сайтов и партнёров, и прочее). Все эти большие данные нужны для создания лучших предложений клиентам в рамках кастомизируемых и вариативных страховых продуктах.
Именно с ними работают математики, которых, чтобы было веселее, в страховании называют сложно выговариваемыми словами «актуарии» и «андеррайтеры».
Почти все бенчмарки для измерения ИИ — ужасны. Колонка MIT Technology Review
2024-11-28 в 7:45, admin, рубрики: AI, llm, бенчмарки, ИИ, искусственный интеллект, критерии оценкиМногие из самых популярных бенчмарков для моделей ИИ устарели или плохо разработаны.
Дисклеймер: это вольный перевод статьиЧитать полностью »
Человек и LLM: как построить метрики для оценки моделей
2024-11-28 в 7:02, admin, рубрики: llm, ml, ml-метрики, бенчмарки, машинное обучение, метрики, нейросети, оценка качества, языковые моделиПривет, меня зовут Ирина Барская, и я руководитель службы аналитики и исследований в Яндексе. А это значит, что я и моя команда каждый день думаем, как оценивать качество работы генеративных моделей, какие при этом смотреть метрики, как вообще понять, хорошая ли модель у нас получилась.
Как заставить ИИ на базе LLM писать полноценные приложения на HTML + CSS + JavaScript
2024-11-27 в 11:19, admin, рубрики: AI, chatgpt, html, javascript, llm, miniapp, OpenAI, telegrambot, webЗачем вообще это делать?
Во первых это настоящий вызов современным LLM моделям и очень интересно как разные модели будут справляться с такой задачей.
Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей
2024-11-26 в 12:32, admin, рубрики: AI метрики, DeepEval, GEval, LangSmith, llm, LLM тестированиеКак убедиться, что ваша LLM не выдаст полную чепуху в самый неподходящий момент? Как проверить, что она действительно понимает контекст, а не просто генерирует красивые, но бессмысленные фразы? И самое главное — как сделать это эффективно, не тратя недели на ручную проверку тысяч ответов?
Введение
Как мы создали LLM-модель Cotype Nano
2024-11-26 в 8:24, admin, рубрики: llm, nlp, opensource, ИИ, искусственный интеллект, нейрон, нейросеть, обработка естественного языка, открытый код, языковые моделиНа связи группа фундаментальных исследований MTS AI. В этой статье мы расскажем про дроп трех маленьких моделей Cotype-Nano, Cotype-Nano-4bit и Cotype-Nano-CPU. Расскажем, как нам удалось достичь 1 места на RuGeneralArena в своей весовой категории.
Почему мы решили создать маленькие LLM
Люди и LLM похожи больше, чем вы думаете. У нас тоже есть системный промпт, контекст и всё остальное
2024-11-26 в 7:54, admin, рубрики: llm, искусственный интеллект, мозг, Научно-популярноеЛюди и модели похожи больше, чем вы думаете. Собственно, это и не удивительно, ведь модели для этого и создаются. В идеале они должны когда-нибудь стать вообще неотличимыми от людей. Но как это проявляется сейчас, на данном этапе их развития? И в чем конкретно мы так похожи на них, или они на нас? Подойдем к этому вопросу в терминах, свойственных самим LLM.
Как мы сделали продукт с Chat GPT для написания резюме
2024-11-26 в 7:15, admin, рубрики: chatgpt, llm, resume, ии-агенты, резюме, телеграм-ботПривет! Мы команда ResumeAI и сегодня расскажем, как наша личная боль с написанием резюме вдохновила нас создать чат-бота, который решает эту проблему за 10 минут. Ключевой частью нашего решения стала интеграция с LLM, которая позволяет делать резюме максимально качественным и персонализированным.