Всем привет! Меня зовут Павлов Денис, я .NET backend разработчик в компании DD Planet.
В статье расскажу о реализации загрузки и обработки видеофайлов с использованием Minio в качестве хранилища и FFmpeg для обработки видео.
Рубрика «обработка видео»
Загрузка и обработка видеофайлов посредством Minio, REST и FFmpeg
2024-11-15 в 7:15, admin, рубрики: .net, C#, ffmpeg, minio, загрузка чанками, интеграции, лицензии ffmpeg, обработка видео, развертывание ffmpeg, разработкаКак мы оцифровали футбольные матчи с помощью CV
2024-02-27 в 7:09, admin, рубрики: computer vision, sportech, Алгоритмы, анализ данных, обработка видео, спорт, стриминг, яндекс
Привет! Меня зовут Владимир Цуканов, я СТО спортивного направления в Яндекс Плюсе. Мы занимаемся съёмкой, обработкой и стримингом спортивных событий. В этом посте я расскажу о работе с технической съёмкой и анализом футбольных матчей.
Разбитое стекло & пиксел
2021-11-27 в 22:54, admin, рубрики: C#, MediaPlayerElement, Visual Studio, обработка видео, обработка изображений, ПрограммированиеПриехал ко мне брат. Отдохнуть, повидать родственников, посмотреть на родной город. А ему на машине заднее стекло разбили. Прямо во дворе нашего дома. Неприятно.
Алгоритм Real-Time-Person-Removal при помощи библиотеки Tensorflow.js удаляет людей из видео в реальном времени
2020-02-23 в 15:10, admin, рубрики: github, javascript, TensorFlow, обработка видео, Работа с видео, скрытие человека
Веб-разработчик, программист, технический консультант и аналитик с творческим подходом Джейсон Мэйс (Jason Mayes) создал и выложил на GitHub свой алгоритм, разработанный с помощью библиотеки TensorFlow.js и JavaScript. С его помощью Джейсон смог научить нейросеть анализировать контур человека, а потом убирать его фигуру из видеопотока в режиме реального времени, например, при трансляции с веб-камеры в браузере, оставляя и дополняя в случае необходимости в кадре только объекты на заднем плане. Особенно интересно смотреть на то, как человек прошелся по какой-то мягкой поверхности, но его нет на видео, а следы появились.
Читать полностью »
Как я создал фильтр, не портящий изображение даже после миллиона прогонов — часть 2
2019-09-25 в 9:06, admin, рубрики: H.264, HEVC, lanczos, Алгоритмы, видеокодеки, обработка видео, обработка изображений, Работа с видео, сжатие видео, фильтры изображений
В первой части этого поста я рассказал, как многократное применение стандартных halfpel-фильтров создаёт искажённые изображения, а затем показал новый фильтр, не имеющий данной проблемы.
Он был немного более размытым и это устроит не всех. Однако он был лучше своих альтернатив — на самом деле именно этот фильтр использовался в оригинальной версии Bink 2. Из-за постоянной нагрузки на работе мне никогда не удавалось вернуться к нему снова и исследовать его подробнее.
Но теперь, когда я нашёл время для возврата к этому фильтру и написания статьи о нём, мне наконец стоит задаться вопросом: существует ли менее размывающий фильтр, который всё же сохраняет свойство «бесконечной стабильности»?
Предупреждение о спойлерах: правильный ответ — «вероятно, нет» и «определённо, есть». Но прежде чем мы дойдём до того, почему на этот вопрос есть два ответа и что они означают, давайте получше подготовим испытательный стенд.
Читать полностью »
Как я создал фильтр, не портящий изображение даже после миллиона прогонов
2019-09-24 в 6:25, admin, рубрики: H.264, HEVC, lanczos, Алгоритмы, видеокодеки, обработка видео, обработка изображений, Работа с видео, сжатие видео, фильтры изображенийЗавершив создание веб-архитектуры для нашего нового веб-комикса Meow the Infinite, я решил, что самое время написать несколько давно назревших технических статей. Данная статья будет посвящена фильтру, разработанному мной несколько лет назад. Он никогда не обсуждался в области сжатия видео, хотя мне кажется, что это стоит сделать.
В 2011 году я разработал “half-pel filter”. Это особый вид фильтра, который берёт входящее изображение и максимально убедительно отображает, как бы выглядело изображение при сдвиге ровно на полпикселя.
Вероятно, вы задаётесь вопросом, зачем вообще может понадобиться такой фильтр. На самом деле, они достаточно часто встречаются в современных видеокодеках. Видеокодеки используют подобные фильтры, чтобы брать фрагменты предыдущих кадров и использовать их в последующих кадрах. Более старые кодеки перемещали данные кадра только по целому пикселю за раз, однако новые кодеки пошли дальше и для лучшей передачи мелких движений позволяют выполнять сдвиг на половину или даже на четверть пикселя.
При анализе поведения алгоритмов компенсации движения в традиционных halfpel-фильтрах, Джефф Робертс выяснил, что при многократном применении к последовательным кадрам они быстро деградируют, заставляя другие части видеокомпрессора ипользовать для исправления артефактов больше данных, чем необходимо. Если отключить эти исправления и взглянуть на «сырые» результаты halfpel-фильтра, то такое исходное изображение:
превращается вот в такое:
всего спустя одну секунду видео. Как и должно, оно сдвинуто в сторону, потому что каждый кадр сдвигал изображение на полпикселя. Но результат выглядит не как перемещённая версия исходного изображения, он серьёзно искажён.
Читать полностью »
Министерство обороны США попытается решить проблему deepfake
2019-08-12 в 14:06, admin, рубрики: Deepfake, искусственный интеллект, машинное обучение, обработка видео, обработка изображений, Работа с видео
Управление перспективных исследовательских проектов Министерства обороны США (DARPA) ищет средства для быстрого обнаружения deepfake в условиях «растущей угрозы крупномасштабных дезинформационных атак».
На прошлой неделе Управление объявило о том, что 28 августа проведёт день соискателей. Цель мероприятия — дать больше информации о программе Semantic Forensics (SemaFor). Программа, по словам DARPA, будет разрабатывать способы обхода некоторых слабых сторон современных deepfake-инструментов.
«Методы обнаружения, которые использовались раньше, часто можно обмануть из-за их ограниченных ресурсов, — говорится в объявлении DARPA. — Однако существующие алгоритмы автоматического генерирования и манипулирования мультимедиа в значительной степени подвержены семантическим ошибкам».
Читать полностью »
Разработчики центра Samsung в Сколково научили нейросеть рендерить видео из любой точки
2019-07-31 в 14:13, admin, рубрики: искусственный интеллект, машинное обучение, нейросети, обработка видео, обработка изображений, Работа с видео
Три исследователя Samsung AI Center в Сколково разработали нейросеть, способную воспроизводить фотореалистичные сцены из видео с нового угла зрения.
Система использует набор точек, которые представляют собой геометрический аналог сцены из видео. Сеть обрабатывает облако точек так, чтобы в итоге получилось изображение с другой точки обзора. Такой подход можно использовать для моделирования изображений из видео без построения сетки.
Как сообщил Дмитрий Ульянов, один из авторов разработки, в комментарии The Next Web, «идея состоит в том, чтобы научиться визуализировать сцену с любой точки зрения».
Читать полностью »
Нейросеть удаляет объекты с видео, заменяя их фоном
2019-07-22 в 12:08, admin, рубрики: github, искусственный интеллект, машинное обучение, нейросети, обработка видео, Работа с видео
На GitHub появилось приложение video-object-removal, которое удаляет объекты с видео. Для этого достаточно выделить нежелательный объект, нарисовав рамку вокруг него, как на фото. Приложение само отследит и удалит информацию внутри рамки, а затем восстановит изображение, чтобы заполнить «дыру».
Утилита использует нейросеть, которая обрабатывает видео покадрово, заменяя ненужный объект фоном. Пока что этот метод обработки видео не идеален: на месте удалённого объекта может остаться след. Все зависит от фона — чем он проще и однороднее, тем «чище» получается результат.
Читать полностью »
Своя видео-платформа — ffmpeg и качество кодирования видео. Part 2
2019-01-31 в 18:34, admin, рубрики: ffmpeg, h264, H265, VP8, VP9, YouTube, медийная реклама, обработка видео, обработка изображений, перекодирование видео, Программирование, Работа с видео
Lenna любит хорошо выглядеть — фотомодель в конце концов. Ходят легенды, что добавление её в заголовок статьи, связанной с обработкой визуальных данных даёт +5 к шансу на плюсы.
Продолжаю раскрывать особенности работы видео сервисов. Сегодня заметки про параметры кодирования и их выбор.
Первая часть
Большинство кодеков предлагают достаточно сбалансированные значения по умолчанию, позволяя получить нормальный результат без долгого подбора параметров. Однако, когда речь идёт о большом архиве видеоматериала, об ограничениях на битрейт, соображениях совместимости с оборудованием клиента и разумном желании сохранить качество оригинала, всё становится интереснее.
К сожалению, волшебной кнопки «скодировать совсем хорошо» не предусмотрено. Как и аналога caniuse для параметров кодирования. Придётся разбираться в особенностях работы кодеков.
Читать полностью »