Рубрика «localai»

в 19:16, , рубрики: AI, CUDA, embeddings, llm, localai, mlx, mps, vlm

Интро

Если вам интересен мир ИИ и вы хотите не просто делать fit, predict на удаленной ВМ, а изучать что-то локально, экспериментировать и упрощать себе жизнь, запуская модели прямо на своем девайсе — скорее всего, вам понадобится достаточно мощное железо.

Эта статья - попытка ответить на вопрос эффективности железа для популярных AI задач: LLM, VLM, эмбэддинги.

Она будет полезна как ML/AI Инженерам, так и просто Энтузиастам, которые выбирают себе железо для локального инференса gpt-oss.

TL;DR:

в 7:36, , рубрики: actix, AI, docker, llm, localai, natural language processing, ngrok, OpenAI, Rust

Привет! 👋

Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion. Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI. Без OpenAI, без облаков — всё на своём железе.

Цель проекта — не революция в AI, а именно учебное и увлекательное погружение в Rust, асинхронность, Telegram API и локальные LLM-модели. Такой себе “бот-компаньон”, но больше для разработчика, чем пользователя :)

Если вам интересно:

  • Как соединить Telegram-бота с локальной LLM

  • Как запускать Rust-проекты в Docker

  • Как построить REST API и обрабатывать вебхукиЧитать полностью »

в 9:01, , рубрики: anythingllm, chatgpt, copilot, FraudGPT, gpt4all, IBM, IBM z16, Khoj, llamafile, localai, meta, Mount Diablo, Ollama, ruvds_статьи, Telum II, Twinny, WatsonX, WormGPT, дата-центр, мейнфреймы, обман, самохостинг, цод, человечество
Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе - 1
Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник

Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах, а потом помогать конкурентам.

В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU, серверы и мейнфреймы.
Читать полностью »

в 11:30, , рубрики: chatgpt, codellm, genai, localai, Ollama, OpenAI, rag, retrieval augmented generation, techradar, Whisper

Привет, Хабровчане!

Меня зовут Андрей Беляев, и я занимаюсь расширением возможностей организаций, внедряя ИИ-помощников.

Сегодня я расскажу, как наша R&D-лаборатория, «лампово» называемая «Гараж», исследовала потенциал больших языковых моделей, проверяла бизнес-гипотезы и технические решения и в итоге запустила процесс создания корпоративной экосистемы GenAI, а также технологической платформы в ее основе.

Читать полностью »

в 19:57, , рубрики: anythingllm, llama, localai
Простой способ развернуть локальный LLM - 1

Локальное развертывание LLM: обзор open-source решений

Введение

Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js