В последние пару лет продвижение виртуальной реальности несколько забуксовало из-за сочетания дорогого оборудования, невысокой производительности, отсутствия достаточного количества контента и прочих сложностей. В настоящее время отрасль застряла в сценарии «яйцо или курица», когда нехватка пользователей сдерживает инвестиции в разработку высококачественных игр и других цифровых материалов. Для выхода из тупика нужны более мощные и доступные аппаратные платформы VR.
ARM нацелилась решить некоторые существующие технические проблемы VR, представив свой первый дисплейный процессор, разработанный специально для VR: Mali-D77. Этот блок призван взять на себя некоторые задачи обработки VR, которые сейчас лежат на графическом процессоре, высвободив ресурсы последнего для повышения частоты кадров, а также должен снизить эффект морской болезни, наблюдаемый у некоторых пользователей VR-гарнитур.
В значительной степени Mali-D77 развивает блок Mali-D71 2017 года. Он имеет тот же декодер сжатия, поддержку HDR и блоки управления цветом. Тем не менее, новый дизайн был оптимизирован для разрешений 3K с частотой до 120 кадров/с и разрешений 4K с частотой до 90 кадров/с.
Основные изменения касаются интеграции двух совершенно новых аппаратных ускорителей для VR-задач. Mali-D77 позволяет проводить аппаратную коррекцию искажений объектива и поддерживает технологию Asynchronous Timewarp, вместо того чтобы запускать эти алгоритмы на графическом процессоре. Это позволяет высвободить около 15 % ресурсов ГП. Вдобавок снижаются требования к полосе пропускания на 40 % и уменьшается потребляемая мощность на 180 мВт.
Алгоритм коррекции линз требуется в VR-гарнитурах, чтобы компенсировать кривизну объективов шлемов. Бочкообразные искажения применяются к каждому визуализированному кадру. Традиционно это делается средствами GPU. Кроме того, Mali-D77 выполняет коррекцию хроматических аберраций с использованием аналогичного метода обратного искажения. Благодаря этому на углах кадра не будет наблюдаться расхождение цветов.
Технология Asynchronous Timewarp немного более сложна. ARM использует процессор дисплея, чтобы вращать, наклонять и деформировать изображение с целью компенсировать движения пользователя и сделать VR-окружение более естественным, плавным и качественным. Разрыв реакции между движениями тела и визуальным обновлением картинки в шлеме является основной причиной возникновения у пользователей эффекта тошноты и укачивания, и Mali-D77 может очень помочь в этом отношении.
Данные о смещении по осям X, Y, Z поступают непосредственно в Mali-D77 от ЦП, полностью минуя стадию ГП. Это совершенно другой принцип работы Asynchronous Timewarp, который требует от разработчиков использования нового набора инструментов и методов разработки. К счастью, инженеры ARM тесно сотрудничают с такими организациями, как OpenXR, поэтому наверняка появятся API и инструменты упрощённой разработки.
В целом, ARM Mali-D77 — разумное и логичное развитие идеи гетерогенных вычислений, помогающее решить некоторые из самых серьёзных проблем виртуальной реальности (особенно актуальные для мобильных шлемов). Есть ещё масса препятствий вроде точности отслеживания движений, беспроводной связи и так далее, но Mali-D77 — важный шаг в правильном направлении.
