Компилятор — привычный инструмент для многих разработчиков, но не все сталкивались в работе с тензорным видом. Их частые пользователи — специалисты по машинному обучению и дата-инженеры. В этой статье совершим экскурсию в «зоопарк» тензорных компиляторов, понаблюдаем за их «поведением» и выберем самых функциональных «зверушек». А еще поделимся ссылкой на бесплатный курс о построении и использовании тензорных компиляторов для ускорения вывода глубоких нейронных сетей, который разработан сотрудниками института ИТММ ННГУ им. Н. И. Лобачевского.
Рубрика «OpenVINO»
Тензорные компиляторы: что это за «звери» и где они «обитают»
2024-12-25 в 7:12, admin, рубрики: apach tvm, glow, OpenVINO, XLA, глубокие нейросети, инференс, машинное обучение, тензорные компиляторы, тензорыGPU для дата-центров
2024-08-28 в 9:00, admin, рубрики: AI, AMD Ryzen AI 300, AMD XDNA, Core Ultra, GB200, gpu, Grace Blackwell Superchip, Instinct MI300X, Instinct MI325X, Intel AI Boost, MediaTek, npu, Nvidia B200, Nvidia GH100, Nvidia H100, Nvidia H200, OpenVINO, Qualcomm Hexagon, Qualcomm Snapdragon X, ruvds_статьи, TPU, ИИ
Серверный узел с восемью GPU-ускорителями AMD Instinct MI325X (2,3 ТБ видеопамяти, 8×750 Вт)
Современные дата-центры уже не такие, как прежде. Раньше на типичный сервер поставили бы 144-ядерный CPU, много RAM и десяток HDD/SSD. Но теперь приоритеты меняются, в первую очередь из-за высокого спроса на машинное обучение (ML) и приложения LLM. Хотя аппетит к памяти только вырос, но процессоры нужны другие.
И крупным корпорациям, и маленьким компаниям нужно железо для обсчёта ИИ-приложений. Это GPU-ускорители, NPU (Neural Processing Unit) и TPU (Tensor Processing Unit), AI-чипы нового поколения. Нужны серверы с GPU. Открываются даже специализированные GPU-облака на растущем спросе.
Читать полностью »
Neural Network Optimization: океан в капле
2023-03-16 в 14:51, admin, рубрики: cезон machine learning, neural networks, OpenVINO, tensorrt, Блог компании Doubletapp, дистилляция, искусственный интеллект, квантование, кластеризация, машинное обучение, нейронные сети, обработка изображений, Серверная оптимизацияВсех приветствую, меня зовут Антон Рябых, работаю в Doubletapp. Вместе с коллегой Данилом Гальпериным мы написали статью про важный этап в процессе обучения нейронных сетей и получения необходимых нам результатов — оптимизацию модели. Зачем нужно оптимизировать модель, если и так все работает? Но как только вы начнете разворачивать модель на устройстве, которое будет ее обрабатывать, перед вами встанет множество проблем.
Как запихать нейронку в кофеварку
2020-10-27 в 6:34, admin, рубрики: devops, Edge TPU, Google Edge, Google TPU, gyrfalcon, inference, MNN, myriad, ncnn, ONNX, ONNX runtime, ONNX.js, opencv, OpenVINO, pytorch, Pytorch mobile, Tencent cnn, TensorFlow, Tensorflow lite, tensorrt, TorchScript, triton, Анализ и проектирование систем, Блог компании Recognitor, Компьютерное железо, машинное обучениеМир машинного обучения продолжает стремительно развиваться. Всего за год технология может стать мейнстримом, и разительно измениться, придя в повседневность.
За прошедший год-полтора, одной из таких технологий, стали фреймворки выполнения моделей машинного обучения. Не то, что их не было. Но, за этот год, те которые были — стали сильно проще, удобнее, мощнее.
В статье я попробую осветить всё что повылезало за последнее время. Чтобы вы, решив использовать нейронную сеть в очередном калькуляторе, знали куда смотреть.
Читать полностью »
Быстрый старт в видеоаналитику: Опыт использования OpenVINO Toolkit в хакатонах
2020-10-17 в 14:37, admin, рубрики: MirITeam, Open Model Zoo, OpenVINO, Блог компании Intel, видеоаналитика, искусственный интеллект, машинное обучение, нгту, нейросети, обработка изображений, хакатон, Хакатоны
Всем привет! Мы активные студенты НГТУ им. Р.Е. Алексеева, и мы хотим рассказать о своем опыте участия в хакатонах и создании IT-решений с использованием набора инструментов Intel – OpenVINO (Open Visual Inference & Neural Network Optimization) – отличной палочки-выручалочки при разработке систем видеоаналитики.
Для начала расскажем немного о себе. Мы студенты 3 курса ИРИТ, кафедра «Информатика и систем управления» – Татьяна Бородина, Тимофей Карклин, Александр Зенкин и Владимир Салтыков. С 1 курса мы активно участвуем в различных конкурсах IT-сферы, создав команду MirITeam[Прим. модератора: ссылка убрана, чтобы не нарушать правила. Google it.] – команду молодых и целеустремленных ребят. Мы разрабатываем стартапы в области компьютерного зрения и видеоаналитики, выступаем на научных конференциях и очень любим Хакатоны, их атмосферу и дух соревнования, где быстро нужно разработать хорошее, качественное решение, привнести в него «изюминку», и успешно (из опыта – это очень и очень важно) защитить свой проект перед жюри. Это ценный опыт реализации инновационных идей, получения новых знаний и качеств и, конечно же, командного сотрудничества.
Поделимся впечатлениями о последнем хакатоне, где мы участвовали –региональном этапе Всероссийского конкурса «Цифровой прорыв», где в рамках кейса ПАО «Ростелеком» мы занялись разработкой системы мониторинга за поведением студента во время экзамена год назад и предположить не могли, что это будет актуально и даже прикольно – сами выступаем в рамках испытуемых.
RPi-няня
2020-08-28 в 7:15, admin, рубрики: diy или сделай сам, face detection, machine learning, movidius, OpenVINO, Raspberry Pi, Блог компании Recognitor, искусственный интеллект, машинное обучение, обработка изображенийПериодически меня подмывает сделать что-то странное. Очевидно бесполезную вещь, которая не оправдывает себя по объему вложенных средств, и через полгода после создания пылиться на полке. Но зато полностью оправдывает себя по количеству эмоций, полученному опыту и новым рассказам. На Хабре даже есть две моих статьи про такие эксперименты: Алкоорган и умная кормушка для птиц.
Что ж. Пришло время рассказать о новом эксперименте. Как собрал, что из этого вышло и как повторить.
К новому проекту меня подтолкнуло событие, в каком-то смысле, банальное — родился сын. Я заранее устроил себе отпуск на месяц. Но ребёнок оказался тихим — было свободное время. И спящий рядом деть.
Дома много разных embedded-железок для computer vision. В итоге решил сделать видео-няню. Но не такую унылую, которыми завалены все магазины. А что-то поумнее и поинтереснее.
Читать полностью »
GoLang и OpenCV (OpenVino && Cuda)
2020-02-07 в 12:18, admin, рубрики: CUDA, Go, gocv, golang, intel, Nvidia, OpenVINO, Работа с видеоВсем доброго времени суток. На хабре (да и вообще в интернете) уже не мало статей о работе с OpenCV на Go.
Готовый код — это конечно интересно, а более подробную информацию об установке драйверов приходится собирать по кусочкам — постараюсь объединить все нужные телодвижения в одну статью.

У меня имеется ноутбук с Ubuntu 18.04 на борту,
- CPU: intel
- GPU: Intel/Nvidia
Nvidia и Intel пытаются превзойти друг друга, а я постараюсь одновременно использовать все преимущества OpenVino и Cuda.
Сразу предупреждаю, для использования Cuda нужно минимально Compute capability (version) 5.3, посмотреть для своей видеокарты можно тут
OpenVINO хакатон: распознаем голос и эмоции на Raspberry Pi
2020-02-03 в 8:09, admin, рубрики: Hackathon, intel, OpenVINO, Интернет вещей, искусственный интеллект, машинное обучение, Разработка на Raspberry Pi, хакатон, Хакатоны30 ноября — 1 декабря в Нижнем Новгороде прошел OpenVINO хакатон. Участникам предлагалось создать прототип продуктового решения с использованием Intel OpenVINO toolkit. Организаторами был предложен список примерных тем, на которые можно было ориентироваться при выборе задачи, но финальное решение оставалось за командами. Кроме этого, поощрялось использование моделей, которые не входят в продукт.
В статье расскажем про то, как мы создавали свой прототип продукта, с которым в итоге заняли первое место.
Компьютерное зрение всем, даром
2019-11-18 в 13:41, admin, рубрики: c++, diy или сделай сам, neural compute stick, opencv, OpenCV.js, OpenVINO, paspberry pi, php-opencv, python, stereopi, stm32, Блог компании Издательский дом «Питер», обработка изображений20 лет назад, в 1999 году, компания Kyocera выпустила первый мобильный телефон с цифровой камерой – Visual Phone VP-210. С тех пор, благодаря невероятно большому и растущему рынку мобильных устройств связи, ПЗС-матрицы цифровых камер совершили невероятный скачок по всем параметрам. Чувствительность, диапазон, размер, энергопотребление, но что ещё важнее – цена.
В наших реалиях модуль камеры, вообще-то весьма технологически сложное устройство, может стоить всего несколько долларов. Это кардинально меняет взгляд на многие процессы и задачи. Ранее сложной задачей было заполучить камеру, технически удовлетворяющую минимальным требованиям. Пройдя такое испытание, решение вопросов обработки изображений казалось лишь приятными хлопотами. Теперь же вопрос софта, который будет обрабатывать информацию с камеры, стоит более остро. Планка физического и экономического доступа к технологии упала так низко, что коснулась границы компетентности пользователя.
Давайте на реальных примерах рассмотрим, насколько сложно (или просто) сейчас работать с изображениями и какие задачи под силу айтишнику иной специализации.
Читать полностью »