Большие языковые модели прочно засели в новостном пространстве, позволяя изменить подход к огромному количеству задач и дразня новой технологической революцией. Однако основной прогресс LLM сейчас происходит в компаниях, фокусирующихся на предоставлении LLM как сервиса, используя специфические технические и инфраструктурные решения. Это оставляет энтузиастам, собирающим своего собственного локального цифрового помощника, малые модели с открытыми весами. И модели эти, как кажется, будут отставать от старших братьев.
Рубрика «llm» - 4
Стоит ли ждать ChatGPT-o1 дома?
2024-10-22 в 15:00, admin, рубрики: llm, machine learning, natural language processing, нейросетиЧто не так со статьей про ИИ-юристов от Романа Янковского?
2024-10-18 в 13:15, admin, рубрики: legaltech, llm, ИИ, ИИ-юрист, искусственный интеллектВ недавней статье Роман Янковский высказал интересные мысли о влиянии ИИ на юриспруденцию. Статья Романа под названием «Что не так с ИИ-юристами» имела как сторонников, так и несогласных.
Я решил написать ответ на статью, где постараюсь развить некоторые из поднятых Романом вопросов и пригласить юридическое сообщество к обсуждению прикладной пользы LLM.
Я решил, что справедливо будет прокомментировать его статью публично.
LLaMator: Red Teaming фреймворк для тестирования уязвимостей LLM
2024-10-18 в 10:16, admin, рубрики: framework, llm, red teaming, джейлбрейкинг, Промт-инъекции, Уязвимости LLM, Чат-ботыПривет! В этом материале мы, команда LLaMaстеры — студенты 1 курса магистратуры ИТМО AI Talent Hub, представляем фреймворк LLaMator, победивший на хакатоне AI Product Hack в кейсе от компании Raft. Наша задача — создать инструмент для тестирования уязвимостей интеллектуальных систем, например, чат-бота для консультирования клиентов автосалона, на базе больших языковых моделей (LLM).
Машинное обучение. Дайджест интересных новостей
2024-10-18 в 7:41, admin, рубрики: deep learning, llm, python, искусственный интеллектДайджест по машинному обучению подготовлен для вас командой телеграм канала Machine Learning Interview.
✔️ Релиз PyTorch 2.5.
Выпуск PyTorch® 2.5 представляет новый бэкэнд CuDNN для SDPA, обеспечивающий ускорение до 75% на GPU NVIDIA H100 и новее. Оно активировано по умолчанию.
Сокращено время холодного запуска torch.compile благодаря региональной компиляции, которая позволяет собирать nn.Module без перекомпиляции.
Бэкэнд TorchInductor CPP получил поддержку FP16, обертку CPP, режим AOT-Inductor и режим максимальной автонастройки.
AILink для Wolfram и плагины для ChatGPT
2024-10-17 в 20:12, admin, рубрики: AI, chatgpt, llm, Wolfram Alpha, wolfram language, wolfram mathematica, искусственный интеллект, нейросети, чат-бот, Чат-боты
Я сделал небольшой клиент для Wolfram Language, который умеет вызывать OpenAI API и другие API, которые на него похожи. Сам активно пользуюсь им и хочу рассказать о том, как легко создать ассистента на основе OpenAI API и добавить в него свои собственные плагины.
Зачем я это делаю?
Machine Learning: Медицинский дайджест за период 07.10 — 13.10 2024 г
2024-10-17 в 8:15, admin, рубрики: data science, deep learning, llm, большие языковые модели, медецинаБольшой медицинский Machine learning дайджест подготовлен командой телеграм канала Machine Learning Interview.
Модели машинного обучения и бенчмарки
🟩 ONCOPILOT: Интерактивная модель для сегментации опухолей на основе КТ и измерения по RECIST 1.1.
Краткий обзор LLM бенчмарков
2024-10-17 в 7:15, admin, рубрики: Chatbot Arena, github copilot, GLUE, helm, llm, LLM Arena
Когда мы говорим о бенчмаркинге LLM в какой-то предметной области, то имеем в виду две разные концепции: бенчмарки моделей LLM и бенчмарки систем LLM. Бенчмаркинг моделей LLM заключается в сравнении базовых моделей общего назначения (например, GPT, Mistral, Llama, Gemini, Claude и так далее). Нам не следует вкладывать ресурсы в их сравнение, потому что: 1. Для них существуют публикуемые таблицы лидеров, 2. В использовании этих моделей существует множество нюансов (например, изменчивость модели, промт, сценарий использования, качество данных, конфигурация системы), что снижает полезность обсуждения их высокоуровневых параметров, 3. Важнее точности модели могут быть другие факторы: локальность данных, соответствие требованиям защиты конфиденциальности, поставщик облачных услуг, степень возможности кастомизации (например, fine-tuning или повторного обучения).
Что мы должны обсуждать, так это бенчмаркинг систем LLM. Это осмысленный и важный процесс, при котором мы рассматриваем применение конкретных моделей LLM (вместе с промтом и конфигурацией системы) в наших конкретных сценариях использования. Нам следует курировать датасеты из конкретных предметных областей, задействовать в их разметке и людей, и LLM для создания «золотого» датасета, позволяющего оценивать вносимые нами постоянные улучшения. Можно даже рассмотреть возможность публикации «золотых» датасетов бенчмарков.
Читать полностью »
rustsn — Open Source проект генерации кода и взаимодействия с уже существующем через LLM
2024-10-16 в 15:39, admin, рубрики: llm, Rust, генерация кодаЯ работал над созданием инструмента под названием rustsn, который позволяет генерировать, компилировать и тестировать код с использованием LLM (Large Language Models). Изначально идея заключалась в том, чтобы автоматизировать процесс написания небольших фрагментов кода — так называемых сниппетов — для разных языков программирования на основе объяснений, предоставленных пользователем. Этот инструмент стал развиваться и обрастать новыми возможностями, такими как генерация полного кода для приложений и объяснение существующего кода на основе векторных представлений (эмбеддингов).
Когда я только начинал работу над Читать полностью »
Распределение IQ: как программисту выживать в мире, рассчитанном на дураков?
2024-10-16 в 10:00, admin, рубрики: AI, IQ, llm, интеллект, нормальное распределение, распределение
LLM для HR-Tech: как мы делали ИИ-ассистента для автоматизации форматирования резюме
2024-10-16 в 5:15, admin, рубрики: hrtech, llm, автоматизация бизнес-процессов, ИИ, Чат-ботыВведение