Одни из самых перспективных решений среди генеративных моделей принадлежат к классу LDM (latent diffusion models): Stable Diffusion, Wan, Flux и многие другие. Превращение шума в изображение происходит в два этапа: сперва диффузионная модель создаёт латент, который затем декодируется в изображение намного большего размера. За декодирование и формирование латентного пространства в большинстве моделей этого класса отвечает токенизатор изображений. Таким образом, качество этой модели напрямую влияет на результаты генерации.
Рубрика «сжатие видео»
K-VAE токенизатор от Сбера
2025-11-14 в 13:27, admin, рубрики: diffusion, VAE, генеративные модели, сжатие видео, сжатие изображенийКак я гифку с помощью ИИ сжимал
2025-01-03 в 18:58, admin, рубрики: ffmpeg, figma, gif, gif-анимация, python, автоматизация, графический дизайн, искусственный интеллект, нейросети, сжатие видео
Вступление
Привет! Я графический дизайнер. Занимаюсь созданием сайтов, иллюстраций, немного работаю с видео и в качестве хобби увлекаюсь 3D. Я никогда не считал себя программистом. Да, я умею читать код, понимаю его логику, но вот так, чтобы самостоятельно сесть и написать что‑то с нуля... до недавнего времени это казалось мне чем‑то запредельным.
Проблема
Аппаратное кодирование HEVC в FFmpeg — как быстро вникнуть и начать уже сейчас?
2024-11-11 в 9:01, admin, рубрики: ffmpeg, HEVC, ruvds_статьи, аппаратное кодирование видео, гайд, кодирование видео, сжатие видео, сжатие данных
В прошлой статье, посвящённой изучению кодирования на HEVC в FFmpeg, мы разобрали большинство функций работы с видео и научились эффективно сжимать видео или ускорять процесс кодирования для различных задач, преимущественно в программном кодировании. На этот раз моё внимание привлекла тема аппаратного кодирования (ГПУ) в FFmpeg. Мне не понравился не только поверхностный, но и откровенно плохой подход к теме в других статьях — некоторые авторы, сами того не замечая, предлагают программное кодирование вместо аппаратного. Поэтому я решил конкретно зарыться в этой теме и затем поделиться своими находками с вами.
Буду рассматривать аппаратные кодеки Nvidia, AMD и Intel.Читать полностью »
Кодирование с кодеком HEVC простым языком — гайд на FFmpeg. Высокое качество, но низкий вес
2024-09-29 в 11:51, admin, рубрики: ffmpeg, HEVC, ruvds_статьи, видео, гайд, кодирование видео, сжатие видео, сжатие данных
Казалось бы, довольно простой вопрос: «Чем сжать видео?». На ум сразу приходят Handbrake, Movavi Converter или ещё что-нибудь пострашнее. Однако когда речь заходит о более гиковском подходе с упором на максимальное качество и экономию места, такие программы сложно назвать инструментами. Равно как и для обратной ситуации, когда картинку нужно сильно сжать и сохранить в целостности большую часть полезной информации. Все эти программы только лишь предоставляют набор наиболее общих конфигов для обычной съёмки и 2D.
В этой статье мы изучим, как при помощи самого большого сборника свободных библиотек FFmpeg научиться кодировать видео самому именно под ваши задачи.Читать полностью »
Хакинг метрик качества видео или как с приходом ИИ все становится намного сложнее
2022-11-22 в 8:02, admin, рубрики: computer science, data science, deep learning, JPEG AI, PSNR, SSIM, Super Resolution, VMAF, искусственный интеллект, машинное обучение, метрики качества видео, Научно-популярное, Программирование, сжатие видео, сжатие данных
Как я создал фильтр, не портящий изображение даже после миллиона прогонов — часть 2
2019-09-25 в 9:06, admin, рубрики: H.264, HEVC, lanczos, Алгоритмы, видеокодеки, обработка видео, обработка изображений, Работа с видео, сжатие видео, фильтры изображений
В первой части этого поста я рассказал, как многократное применение стандартных halfpel-фильтров создаёт искажённые изображения, а затем показал новый фильтр, не имеющий данной проблемы.
Он был немного более размытым и это устроит не всех. Однако он был лучше своих альтернатив — на самом деле именно этот фильтр использовался в оригинальной версии Bink 2. Из-за постоянной нагрузки на работе мне никогда не удавалось вернуться к нему снова и исследовать его подробнее.
Но теперь, когда я нашёл время для возврата к этому фильтру и написания статьи о нём, мне наконец стоит задаться вопросом: существует ли менее размывающий фильтр, который всё же сохраняет свойство «бесконечной стабильности»?
Предупреждение о спойлерах: правильный ответ — «вероятно, нет» и «определённо, есть». Но прежде чем мы дойдём до того, почему на этот вопрос есть два ответа и что они означают, давайте получше подготовим испытательный стенд.
Читать полностью »
Как я создал фильтр, не портящий изображение даже после миллиона прогонов
2019-09-24 в 6:25, admin, рубрики: H.264, HEVC, lanczos, Алгоритмы, видеокодеки, обработка видео, обработка изображений, Работа с видео, сжатие видео, фильтры изображенийЗавершив создание веб-архитектуры для нашего нового веб-комикса Meow the Infinite, я решил, что самое время написать несколько давно назревших технических статей. Данная статья будет посвящена фильтру, разработанному мной несколько лет назад. Он никогда не обсуждался в области сжатия видео, хотя мне кажется, что это стоит сделать.
В 2011 году я разработал “half-pel filter”. Это особый вид фильтра, который берёт входящее изображение и максимально убедительно отображает, как бы выглядело изображение при сдвиге ровно на полпикселя.
Вероятно, вы задаётесь вопросом, зачем вообще может понадобиться такой фильтр. На самом деле, они достаточно часто встречаются в современных видеокодеках. Видеокодеки используют подобные фильтры, чтобы брать фрагменты предыдущих кадров и использовать их в последующих кадрах. Более старые кодеки перемещали данные кадра только по целому пикселю за раз, однако новые кодеки пошли дальше и для лучшей передачи мелких движений позволяют выполнять сдвиг на половину или даже на четверть пикселя.
При анализе поведения алгоритмов компенсации движения в традиционных halfpel-фильтрах, Джефф Робертс выяснил, что при многократном применении к последовательным кадрам они быстро деградируют, заставляя другие части видеокомпрессора ипользовать для исправления артефактов больше данных, чем необходимо. Если отключить эти исправления и взглянуть на «сырые» результаты halfpel-фильтра, то такое исходное изображение:
превращается вот в такое:
всего спустя одну секунду видео. Как и должно, оно сдвинуто в сторону, потому что каждый кадр сдвигал изображение на полпикселя. Но результат выглядит не как перемещённая версия исходного изображения, он серьёзно искажён.
Читать полностью »
Нейросеть обучили самостоятельно дополнять изображения
2016-04-16 в 9:11, admin, рубрики: Magic Pony Technology, ИИ, искусственный интеллект, нейросеть, потоковое видео, сжатие видео, сжатие изображений, метки: Magic Pony Technology 
Пример работы нейросети
Английский стартап Magic Pony Technology утверждает, что разработал революционную технологию «моделирования» изображений, которая значительно повышает разрешение фотографий и видео в реальном времени.
Обученная нейросеть не просто интерполирует пиксели, а добавляет недостающие детали. Разработчики говорят, что так можно автоматически генерировать элементы для реалистичных виртуальных миров, например.
Читать полностью »
Метод фрагментарного сжатия видеопотока
2015-03-07 в 18:52, admin, рубрики: Алгоритмы, деревья секущих, сжатие без потерь, сжатие видео, энтропия Я решил представить на суд уважаемого хабрасообщества свою разработку — метод фрагментарного сжатия видеопотока. Особенностью предлагаемого метода является полное соответствие сжатого видеопотока исходному, то есть метод осуществляет сжатие без потерь.
Читать полностью »
В мозге обнаружен механизм видеокомпрессии
2013-12-24 в 23:28, admin, рубрики: Биотехнологии, кодек, Работа с видео, сжатие видео, метки: кодек, сжатие видео 
Оказывается, мозг осуществляет эффективную компрессию сигнала, который поступает от органов зрения. Учёные из института невральных вычислений при Рурском университете (Германия) доказали, что зрительная кора подавляет избыточную информацию и сохраняет энергию, передавая лишь изменения между картинками. Примерно такие же методы используются в современных видеокодеках.
Читать полностью »