Отчёт стартапа, занимающегося приложением для улучшения фотосъёмки с iPhone
iPhone XS против iPhone X – изменения в камере на уровне железа
В последней версии нашего приложения мы сделали новую функцию, выводящую подробную информацию о том, на что способна камера вашего телефона. Пользователи, получившие раньше других доступ к iPhone XS, поделились с нами этой информацией, что позволило нам подробно описать спецификации железа.
Проведя анализ, мы можем выдать более подробный обзор того, что нового можно увидеть в камере iPhone XS, и больше подробностей о её технических возможностях, чем Apple пожелала раскрыть на презентации.
Это именно спецификации железа – притом, что Apple в основном концентрировалась на таких программных улучшениях, как Smart HDR и новый портретный режим.
Что нового?
Переделанные широкоугольные линзы
Линзы у iPhone XS and XS Max, использующиеся для большей части снимков, подверглись изменению, получив фокусное расстояние, эквивалентное 26 мм. Это на 2 мм меньше, чем у предыдущих моделей, iPhone 8 Plus и iPhone X, обладавших широкоугольными линзами на 28 мм.
Пользователь нашей программы и iPhone XS прислал нам фото, где видно разницу:
Новый сенсор
Наше приложение не может узнать размер сенсора, но все данные указывают на то, что в iPhone XS установлен новый сенсор. Джон Груббер подтвердил, что новый сенсор iPhone XS на 30% больше – а Apple утверждает, что размер пикселей на новом сенсоре для широкоугольной камеры составляет теперь 1,4 мкм, что на 0,2 мкм больше, чем у предыдущих.
Увеличение времени экспозиции до 1 секунды
iPhone XS и XS Max способны держать секундную экспозицию. Предыдущие iPhone могли держать экспозицию до 1/3 с. Эта способность может позволить делать всякие крутые фотографии с долгой экспозицией.
Увеличение диапазона ISO
Новый датчик – новый диапазон ISO, чуть шире, чем у iPhone XS. ISO теперь простирается от 24 ISO до 2304 ISO, что обеспечивает немного больше чувствительности при плохом освещении. Лучший из предыдущих датчиков iPhone выдавал только 2112 ISO.
Телеобъектив увеличил ISO на 240, теперь его максимальное значение не 1200, а 1440, что говорит о небольших подстройках сенсора. Возможно, это означает, что при том же уровне освещённости мы увидим меньше шума.
Изменения минимальной экспозиции
Увеличилась длительность минимальной экспозиции: на широкоугольной камере и телеобъективе эта величина поменялась с 1/91000 с на 1/22000 с и 1/45000 с, соответственно. Непонятно, что из этого следует – надо тестировать.
Сравнение полных списков технических подробностей:
Программные изменения
Мне было интересно, почему презентация от Apple концентрировалась на изменениях в программном обеспечении камеры, а не на её железе. Протестировав камеры iPhone XS, я понял, почему.
У iPhone XS не просто увеличен датчик: у него полностью переработана камера, и крупнейшим изменением стало то, что он полагается на вычислительную фотографию.
Умная камера
В Apple умны. Они видят, что от впихивания всё большего количества электроники в сенсор величиной с ноготь результатов получается всё меньше. Фотография – это наука о захвате света, она ограничена оптикой и физикой.
Единственный способ обойти законы физики – это "вычислительная фотография". Мощные чипы в современных iPhone позволяют компании сделать кучу фоток – некоторые из которых делаются ещё до того, как вы нажимаете на кнопку затвора – и слить их в одну идеальную.
iPhone XS сделает фото с увеличенной и уменьшенной экспозицией, сделает быстрые фотографии для заморозки движения и сохранит чёткость по всему кадру, и даже возьмёт лучшие части всех этих кадров, чтобы создать одно изображение. Вот, что вы получите от камеры iPhone XS, и вот что делает её такой эффективной в ситуациях, когда вы обычно теряете детали из-за смешанного света или сильного контраста.
Это не небольшая подстройка Auto HDR на iPhone X. Это полностью новая функция, кардинальное отличие от фотографий всех предыдущих айфонов. В каком-то смысле, совершенно новая камера.
Что это за «мягкий фильтр» для селфи?
Его не существует. Не хочу сказать, что люди что-то придумывают, чтобы продвинуться на YouTube, но заявлениям из интернета не стоит слепо верить.
Людям кажется, что iPhone XS смягчает изображение, по двум причинам:
- Улучшенное, более агрессивное уменьшение количества шума из-за слияния различных экспозиций.
- Слияние экспозиций уменьшает резкость, устраняя контраст между светом и тенью, получающийся на разных участках кожи.
Тут важно понять, как воспринимает чёткость, и как художники заставляют вещи казаться чётче.
Всё работает не так, как в комедийных сериалах типа CSI, где детективы кричат «улучшить!» на экран. Нельзя добавить утерянных деталей. Однако можно обмануть , добавив небольшие контрастные участки.
Проще говоря, тёмная или светлая рамка рядом с контрастным светом или тёмной формой. Локальный контраст заставляет вещи казаться более чёткими.
Для улучшения контрастности надо сделать светлые области светлее рядом с границей, а тёмные области темнее рядом с границей.
iPhone XS сливает изображения с разными экспозициями и уменьшает яркость ярких областей и делает менее тёмными тени. Детали остаются, но нам кажется, что изображение менее контрастное, потому что потерян локальный контраст. На фото выше кожа кажется более гладкой потому, что свет не такой резкий.
Наблюдательные люди заметят, что это влияет не только на кожу. Шероховатые текстуры и практически всё тёмное – от кошек до углей – выглядит более гладким. Это работает уменьшение количества шума. iPhone XS делает это агрессивнее, чем предыдущие айфоны.
Зачем нужно уменьшать количество шума?
Испытав iPhone XS вместе с X, мы обнаружили, что XS предпочитает более высокую скорость затвора и увеличенный уровень ISO. Иначе говоря, он делает фото быстрее, но из-за этого появляется шум.
iPhone X RAW
iPhone XS RAW
В формате RAW можно заметить, что у iPhone XS (справа) шума гораздо больше. В этом формате не происходит удаления шума. Почему же кадр XS должен быть таким шумным?
Помните ту презентацию с последовательностью кадров, показывающую, как работает камера айфона?
Если только у вас не бионические протезы, вы не сможете так долго держать телефон без движения. Чтобы получить чёткие и идеально выровненные изображения в таком количестве, айфону надо делать фотки очень быстро. Это требует более высокой скорости затвора – а это значит, что на изображении будет больше шума.
Его надо как-то удалить, и это накладывает свои ограничения: вместе с шумом удаляется немного деталей и локального контраста.
iPhone XS RAW – детали в отражении более «гладкие»
Smart HDR
Но по большому счёту более гладкими становятся селфи – особенно лица!
Да. Железо фронтальной камеры хуже работает в низком освещении, чем у основной. У камеры для селфи маленький сенсор размером с ноготь мизинца, поэтому в него попадает меньше света, а значит, больше шума и больше удаления шума.
В результате получается более гладкое изображение, и Smart HDR вкупе с конвейером вычислительной фотографии сглаживает его сильнее, чем раньше.
Обратная сторона медали в том, что селфи, которые обычно получаются хуже в смешанном или резком свете (а такова большая часть освещения) уже не размываются, и в большинстве случаев выглядят лучше, только немного более сглаженными.
Хорошие новости в том, что Apple может и это немного подстроить, если людям покажется, что сглаживание работает слишком сильно, но поскольку тут стоит выбор между плохим освещением с шумом и слишком большим сглаживанием, логично, что версия 1.0 склоняется к сглаживанию.
По поводу заявлений о том, что ПО по-особенному относится к лицам: я фотографировал лимон, шероховатую бумагу и делал селфи, и уровень сглаживания везде был одинаковым.
Так что, камера iPhone XS хуже?
Нет, камера его не хуже, чем у iPhone X. У iPhone XS камера лучше. У неё выше динамический диапазон, но это связано с некоторыми компромиссами в ПО. Если вам не нравится делать вещи новомодными способами, не волнуйтесь.
Подобный снимок нельзя было сделать на предыдущих айфонах
То, что делает Apple, лучше практически для всех случаев: обычные пользователи получат фото лучше, там будет больше деталей на свету и в тенях, без всякого редактирования. Профессионалы смогут вернуть контраст, немного подредактировав фотки; обратное уже не получится: в контрастном изображении детали уже потеряны.
Теперь можно делать селфи и фото при резком освещении, боговом освещении или другом, не выравнивающем свете, и получить приемлемый результат. Это прямо волшебство!
Есть только две небольшие проблемы.
Проблема подлинности
Камеры всё больше превращаются из простых инструментов в «умные устройства», использующие различные сложные операции для объединения нескольких изображений в одну, и мы задаёмся вопросом, смотрим ли мы на «неотредактированное» изображение.
Возьмём это фото Йосемитского национального парка:
Оно отредактировано. Чтобы правильно экспонировать ландшафт, фотограф использовал долгую экспозицию. Затем снял звёзды с более короткой экспозицией, иначе бы они превратились в следы. Затем объединил два фото в одно. Технически говоря, это подделка.
Вернёмся к iPhone: Smart HDR берёт разные экспозиции и сливает их вместе, чтобы получить больше деталей в тени и на свету. В этом есть определённая степень подделки. Сторонники чистоты фотографий могут возмутиться по этому поводу.
iPhone XS, Smart HDR
iPhone XS
iPhone X
Без Smart HDR очень сложно сделать HDR вручную так, чтобы изображение не выглядело подделкой. Есть целый сабреддит, посвящённый хреновым HDR.
У среднего изображения, с отключённым Smart HDR, всё ещё большой динамический диапазон, но оно кажется не таким «автоподстроенным».
Так теперь работает камера на айфонах. Готов поспорить, что и в будущем она будет работать именно так.
Да, и это применимо к видоискателю любого приложения, делающего фотографию. Apple улучшает динамический диапазон на лету, прямо в видео, поэтому вы всегда будете видеть «изменённое» изображение.
Проблемы с RAW
С практической точки зрения проблемы начинаются вот с чего: iPhone XS делает экспонирование совсем не так, как iPhone X. А это имеет огромное значение при съёмке в RAW.
Возьмём такой снимочек:
iPhone X RAW
iPhone XS RAW
Вы сразу заметите, что второе фото передержано. Начав редактировать файл iPhone XS RAW, вы увидите, что светлые части изображения утеряны.
Углубившись в детали, вы увидите вторую проблему: iPhone X делал экспозицию в 1/60 с и ISO 40, а iPhone XS делал экспозицию с 1/120 с и ISO 80. Мы подозреваем, что для получения наилучшего фото для Smart HDR, камере просто приходится использовать меньшую экспозицию и более высокие значения ISO.
Мы делаем приложение для камеры, чтобы получать фотографии в RAW, поэтому это очень плохо. RAW не только не получает преимуществ от слияния нескольких фото – фотографии iPhone получаются очень шумными на уровне ISO 200. Это шаг в неправильном направлении.
Ещё больше ухудшает ситуацию то, что сенсора iPhone XS шум получается чуть более активным и цветным, чем у iPhone X.
Такой шум не так-то просто убрать на постобработке. Это не мягкая зернистость плёнки, которую мы наблюдали у iPhone X и iPhone 8 в RAW.
На сегодня получается, что если снимать RAW на iPhone XS, придётся переключаться в ручной режим и уменьшать экспозицию. Иначе ваш RAW получится хуже, чем JPEG от Smart HDR. От этого страдают все сторонние приложения для камеры. Как ни странно, RAW файлы от iPhone X выглядят гораздо лучше, чем от iPhone XS.
Наше решение: Smart RAW
К счастью, это можно поменять. После выхода iPhone XS мы, работая по ночам и выходным, придумали решение того, как извлечь максимум из большего по размеру сенсора и его глубоких пикселей.
Мы сделали Smart RAW – функцию, использующую новую сенсорную технологию в iPhone XS, и делающую фотографии в RAW лучше, чем это мог бы сделать iPhone X. Smart RAW не использует никакие функции Smart HDR – он наоборот их избегает, чтобы вам практически не нужно было убирать шум.
Теперь, когда мы обошли проблемы с экспозицией iPhone XS, в файлах Smart RAW можно обнаружить удивительное количество деталей. Давайте посмотрим на фотографию с концерта First Aid Kit и сравним варианты с использованием Smart RAW и без него:
Без Smart RAW
Smart RAW
Гораздо лучше, чем у iPhone X. Вот несколько сравнений RAW-изображений, сделанных с iPhone XS и iPhone X.
Результаты удивительны: меньше шума, больше деталей.
Лучшая особенность Smart RAW: благодаря подстройке сенсора iPhone XS, мы получаем максимум качества в изображениях, больше, чем когда бы то ни было. При переходе от iPhone X к iPhone XS происходит удивительное увеличение разрешения и качества.
Smart RAW против Smart HDR
Вас может заинтересовать, как эту функцию можно сравнить с Smart HDR, поскольку съёмка в RAW подразумевает отсутствие HDR. Я сделал сложный по условиям экспозиции снимок, использовав Smart HDR и наш новый RAW:
Smart HDR
RAW
Без редактирования они получаются почти одинаковыми; возможно, Smart HDR чуть получше.
Но RAW – это только отправная точка. Вот те же фотки после редактирования:
Smart HDR
RAW после редактирования
Такого динамического диапазона, как у Smart HDR, мы не получили – обратите внимание, как там небо становится более голубым – но подошли довольно близко. Мне больше нравится, как выглядит RAW после редактирования – чуть наутральнее.
Но главное преимущество: детали.
Я предпочитаю снимать в RAW из-за чёткости деталей, и на iPhone XS с его более крупными пикселями деталей стало больше, чем раньше. Прекрасный пример – листья у дерева справа вверху:
И так получается с большинством фотографий. Снимая в RAW, потом приходится поработать над снимком, но результаты часто того стоят. Конечно, в этом изображении очень много света – необходимо проверить, что получается после захода солнца.
В ситуациях с недостатком света существует компромисс. Чем меньше света, тем больше шума. iPhone XS вместе с Smart HDR в штатном приложении для съёмки прекрасно справляется с такими снимками, но иногда у него получаются не самые чёткие фотки.
На фотографиях с недостатком света всегда будет много шума. Smart HDR агрессивно его прячет, теряя в детализации. Если вам нужно больше деталей и не мешает небольшой шум, попробуйте наш Smart RAW:
Слева Halide Smart RAW, справа iPhone Smart HDR
Присутствует шум в тенях, а кожа выглядит более грубой из-за меньшего размытия светлых и тёмных пятен, но детализация потрясающая, по сравнению с изображениями, сделанными в штатном режиме.
Smart RAW всё ещё находится в режиме тестирования, и потребуется набрать очень много фотографических свидетельств того, что он идеально работает во всех ситуациях.
Итоги
У iPhone XS появилась совершенно новая камера. Это не просто другой сенсор, это совершенно новый подход к фотографии, новый для iOS. Поскольку она так сильно полагается на слияние экспозиций и вычислительную фотографию, её изображения могут сильно отличаться от тех, что сделаны в тех же условиях на другие айфоны.
Но, поскольку в отличие от предыдущих камер, её преимущества в качестве основаны на ПО, можно ожидать их улучшения и изменения. Это всего лишь первая версия iOS 12 и Smart HDR.
Нам же, разработчикам, нужно обновлять приложения, чтобы в полной мере воспользоваться преимуществами нового сенсора в iPhone XS и XS Max. Поскольку он так сильно отличается, к нему нельзя относиться, как к сенсору любого другого айфона, иначе вы получите неудовлетворительные результаты.
Если вас не очень устраивают некоторые аспекты этого дивного нового мира вычислительной фотографии или особенности обработки изображений от Apple, вы можете отключить активную HDR-обработку в настройках камеры, или снимать в RAW.
Для отключения необходимо зайти в Settings → Camera, и отключить там Smart HDR. После этого откройте камеру и в верхнем меню появится новая настройка HDR. Нажмите на неё, чтобы отключить HDR.
Автор: SLY_G
