В рамках презентации 4 апреля новых моделей 8K и 4K QLED-телевизоров главный инженер подразделения визуальной информации Samsung Карлос Мин поделился некоторыми техническими подробностями. Новейшие телевизоры с разрешением 8K на данном этапе сталкиваются с теми же трудностями, с которыми в свое время сталкивались и 2K, и 4K телевизоры — отсутствие на раннем этапе достаточного контента в нужном разрешении.
Для решения этой проблемы давно используется технология апскейлинга — искусственного повышения разрешения. У этой технологии по сравнению с реальным сигналом нужного разрешения есть родовые недостатки: отсутствие определенной информации, падение детализации, размазывание граней, появление шумов и размытие линий. Как объяснил Карлос Мин, это взаимосвязанные проблемы, с которыми не удается бороться поодиночке: повышаем резкость — растут шумы, удаляем шумы — падает детализация.
В новых 8K QLED-телевизорах Samsung использует новый процессор обработки сигналов Quantum processor 8K, оптимизированный для нейросетей и обработки задач искусственного интеллекта. Для решения задач апскейлинга новый процессор использует базу из миллионов пар элементов изображений в обычном разрешении и 8K. Технология получила название Machine Learning Super Resolution (MLSR). Для получения изображений низкого разрешения, понятно, используются картинки 8K. Причем не просто понижается разрешение, но и добавляются шумы, размытости, а также выполняются циклы компрессии/декомпрессии с различным уровнем качества для добавления характерных артефактов.
Эти пары разделяются на классы, и уже к этим классам применяется собственная математика на основе нейросетей. И затем эти алгоритмы записываются в базы данных. И во время обработки сигнала низкого разрешения новый процессор выискивает в базе соответствующий нужному фрагменту математический алгоритм. Причем данная технология хорошо работает с разными источниками сигнала вплоть до воспроизведения потокового видео.
По понятным причинам облачная обработка потокового видео невозможна, поэтому Samsung встроила коэффициенты базового обучения в процессор Quantum для локальной обработки непосредственно в телевизоре. Идея сопоставления изображений может казаться простой, однако построение базы данных объектов и моделей автоматической оптимизации вычислительных ядер для каждого объекта — это огромная работа, благодаря которой теперь Samsung поддерживает масштабирование изображений вплоть до разрешения 8К.
Так как нейросети обучаются в процессе работы, то алгоритмы будут постоянно улучшаться, и качество изображения будет все лучше — надо только не забывать обновлять программное обеспечение телевизора.
Искусственный интеллект используется и для обработки звука. Процессор сам распознает тип контента и автоматически выставляет звуковые пресеты: спорт, кинотеатр, концерт и прочие. Если в контенте преобладают диалоги, то алгоритмы искусственного интеллекта будут стараться оптимизировать звучание для повышения разборчивости речи. При просмотре спортивных мероприятий искусственный интеллект будет обрабатывать звук таким образом, чтобы создать эффект присутствия. При просмотре музыкального контента движок будет подчеркивать басы, а в экшн-сценах — добавлять динамичность. Реально полезная штука.
Ну, а мне больше всего понравился режим Ambient Mode. Большой телевизор значительную часть времени выглядит просто черным куском стекла на стене, что, конечно, не украшает квартиру. Теперь в выключенном состоянии телевизоры Samsung QLED 2019 способны воспроизводить фотографии и работы современных художников и дизайнеров. Мне лично больше приглянулись фирменные заставки, которые меняют цветовую палитру специально под вашу квартиру и смотрятся очень стильно. Телевизор сам способен распознать преобладающие цвета по фотографии комнаты. Инженеры Samsung утверждают, что в режиме Ambient телевизор потребляет в «десятки» раз меньше электроэнергии, чем во включенном состоянии. В общем, я бы купил такой телевизор только бы ради этой одной функции.
