Мы так привыкли к тому, что наши смартфоны автоматически улучшают каждое изображение. Яркие цвета, вытянутые тени и гладкая кожа — все это стало нормой в цифровом мире, но что на самом деле видит матрица камеры до того, как алгоритмы приступят к работе?
Мы приняли решение провести эксперимент, отключив автоматические улучшения iPhone и оценив результаты. Полученная картинка значительно отличается от стандартной картинки в Instagram. Фотографии иногда оказываются неожиданно детализованными, их поверхность выглядит более плоской, а цвета менее яркие.
Этот опыт заставляет нас задуматься о том, как мы воспринимаем реальность через объектив камеры. Где граница между фотографией и цифровой иллюзией? И не потеряли ли мы что-то важное, доверившись бездумной автоматике? Давайте взглянем на мир глазами «честной» камеры вместе.
Обычно процессор в iPhone «сшивает» фотографии пиксель за пикселем
За последние годы в стандартном приложении камеры iPhone появилось множество настроек, но ни одна из них не является по-настоящему технической. Они часто выдают непредсказуемый результат.
Сразу после съемки алгоритмы, встроенные в iPhone, самостоятельно дообрабатывают фотографию; в результате мы получаем почти полностью разукрашенную версию отпечатка реальности, а не отпечаток реальности.
На презентации Apple было озвучено как минимум три рекламных названия различных технологий, которые пользователи не могут контролировать и отключить:
◈ Smart HDR объединяет несколько фотографий разной яркости в одну, чтобы «вытянуть» слишком светлые и тёмные области, а также осветляет силуэты людей и животных. Это относится к iPhone XS.
◈ Глубокое слияние снимает восемь фотографий до нажатия на кнопку спуска и одну после, а затем с помощью нейроядер объединяет их лучшие участки в один кадр, чтобы сохранить детали и уменьшить шум. применяется к iPhone от 11 до 13.
◈ Благодаря использованию Deep Fusion на более ранних стадиях склейки Photonic Engine получает информацию с кадров, из которых формируется конечная фотография, до их сжатия, что делает результат еще более детализированным и менее шумным. используется для iPhone 14.
Все это очень простые механизмы работы алгоритмов, которые обрабатывают данные с камеры, и Apple, скорее всего, не раскроет эти детали, потому что они слишком технически сложны.
Я был легкомыслен, когда изучал все эти описания и схемы работы для Process Zero. Похоже, что Apple работает над описанием основных методов обработки фотографий для продажи нового iPhone.
Технологии действительно работают на практике. Несмотря на то, что кадры на iPhone иногда кажутся искусственными, в отношении деталей и шума без алгоритмов это также невозможно.
Каким образом «процесс ноль» в приложении Halide?
Приложение Halide отключает всю обработку, которую Apple наращивала годами
Halide Mark II можно скачать в App Store бесплатно, но попользовался им не дадут без подписки или пробного периода длиной в неделю.
Покупка навсегда стоит 1790 рублей или 4990 рублей за год использования. Это дорого, но я бы не обращал внимания на эту мыльницу, если бы не Process Zero.
В отличие от стандартного приложения iPhone, это приложение позволяет пользователям управлять выдержкой, светочувствительностью и фокусом вручную, а также переключать между камерами. Он также может создавать портреты на любом iPhone, но я не попытался использовать эту функцию.
Кроме того, есть автоматический режим с простой коррекцией экспозиции; это оказалось полезным при сравнении с обычными фото-алгоритмами iPhone и Proсess Zero.
Интерфейс приложения Halide
После того, как снимок сохраняется в настоящем RAW, Process Zero интерпретирует данные в наиболее естественном виде.
Это тайна. Несмотря на то, что встроенный режим съемки ProRAW присутствует в встроенном приложении Камера на iPhone с приставкой Pro, он технически уже адаптирован к алгоритмам фотографии Apple и просто «запекается», что делает его менее агрессивным. На самом деле, единственным способом снимать традиционные RAW-фотографии без HDR на любом современном iPhone является использование сторонних приложений.
Таким образом, приложение полностью отключает улучшайзеры и фирменную цепочку процессов, которые обычно изменяют изображение на iPhone после нажатия кнопки съемки.
RAW-файлы в формате .dng всегда нужно интерпретировать. В приложении Halide в режиме Process Zero для этого своя процедура, которая бережно сохраняет шум, нейтральные цвета и светотень
Этот режим принудительно переводит любую камеру iPhone в режим «башмака» и сохраняет кадр, основанный на оптических характеристиках фотомодуля. Со всеми шумами, пересветом, низкой контрастностью и слабой детализацией, без выравнивания свето-теневого рисунка, интеллектуального подсвечивания людей и анализа динамического диапазона.
По сути, разница между снимками, сделанными с помощью iPhone, и снимками, сделанными с помощью Proсess Zero, ощущается так же, как разница между цифровой и плёночной фотографией.
Таким образом, изображение оживляет естественные оптические и сенсорные артефакты.
Или до предела ухудшают то, что можно было бы сохранить с помощью обычного приложения камеры.
В целом, оцените разницу самостоятельно.
Вот так атмосферно может снимать iPhone, если вырезать все его фильтры
Фото без алгопитмов на левом и результат стандартной камеры iPhone на правом
Без использования фильтров в режиме Process Zero
Process Zero
Настенная камера iPhone
Process Zero
Настенная камера iPhone
У макрорежима открылось второе дыхание 
Process Zero. Иногда при тех же настройках фото получается темнее, потому что не подсвечивает режимом HDR 
Стандартная камера iPhone. Фото ярче, но выглядит искусственно 
Process Zero
Настенная камера iPhone
Process Zero
Настенная камера iPhone
Фото без алгопитмов на левом и результат стандартной камеры iPhone на правом
Фото без алгоритмов 
Результат из стандартной камеры iPhone 
Фото без алгоритмов 
Результат из стандартной камеры iPhone
Фото без алгопитмов на левом и результат стандартной камеры iPhone на правом
Фото без алгоритмов 
Результат из стандартной камеры iPhone 
Фото без алгоритмов. Единственный кадр, который никак не отличается от снятого в стандартном режиме 
Результат из стандартной камеры iPhone
Когда вы видите фотографии без обработки, вы первоначально думаете, что вам нужно добавить сочности и контрастности, потому что они выглядят паcтельными и мягкими.
Однако кадры, которые выдает iPhone в стандартном приложении, показались мне искусственными и передетелизированными. Это похоже на откат, а не на возвращение к высоким технологиям.
При съемке в режиме Proсess Zero было замечено, что растения и мех животных выглядят более естественно.
Когда я держу в руках эту камеру, кажется, что она имеет полнокадровую матрицу. Я думаю, что это результат хорошей оптики и хорошей стабилизации, которые позволяют матрице получать большое количество стабильной информации при достаточном свете.
Красивый звук Halide, который сохраняется при обработке RAW-файлов, частично помогает в этом. В фотографиях он бывает разным, но пока вы снимаете в темноте, iPhone выглядит по-аналоговому хорошо в этом режиме.
Когда листвы растут, они остаются натуральными, но обычные фотографии превращают их в набор пережженных белых полос, которые даже издалека выглядят ужасно.
Обычно, чтобы избежать проблем, я снимал в режиме ProRAW, но как показано в вышеупомянутых примерах, изображение на три головы получается более естественным, чем даже несжатый формат Apple.
Таким образом, когда вы сравниваете текст, вы можете увидеть преимущества умных алгоритмов. Поскольку Deep Fusion и Photonic Engine удаляют шум и собирают детали сразу с нескольких фотографий, надписи остаются намного более читаемыми, чем на фотографиях, сделанных в обычном режиме. Процесс Zero не может собрать столько данных, сколько склейка нескольких кадров.
Фотографии, сделанные в тёмных условиях или с контрастным светом, почти всегда становятся противоположными.
Я принял решение исследовать возможности камеры iPhone без всех автоматических улучшений, которые включены по умолчанию. Снял стандартные сцены: улицу, портрет, интерьер. Сразу же изображение становится менее ярким и менее контрастным, а детали теряются, особенно в тонах. Хотя цвета не яркие, они естественны. Резкость меняется. В целом это выглядит как фотография с обычной камеры, а не флагманская. Кроме того, это заставляет нас задуматься о том, насколько реальное восприятие мы получаем через смартфон? Получается, почти всё, что нам нравится в снимках, — это работа алгоритмов, а не сама камера.
Но иногда качество жуткое. Apple делает чудо, когда выкручивает детали в тёмных условиях
Process Zero
Настенная камера iPhone
Фото без алгопитмов находится слева, а изображение, полученное с обычной камеры iPhone, находится справа. Примером является основная камера.
Фото без алгоритмов. Основной модуль 
Результат из стандартной камеры iPhone. Основной модуль 
Process Zero
Настенная камера iPhone
Фото без алгопитмов находится слева, а изображение, полученное с обычной камеры iPhone, находится справа. Примером является основная камера.
Фото без алгопитмов находится слева, а изображение, полученное с обычной камеры iPhone, находится справа. иллюстрация с телефото камеры
Фото без алгоритмов. Основной модуль. Из-за ярких вывесок окружение без освещения превратилось в сплошную темноту 
Результат из стандартной камеры iPhone. Основной модуль. Режим HDR делает сцену полноценной 
Фронтальный модуль выполняет процесс нуля.
Фронтальная съемка стандартная
Процесс нуля в основном модуле
Стандартный снимок основной моды
Фото без алгопитмов находится слева, а изображение, полученное с обычной камеры iPhone, находится справа. Примером является основная камера.
Принудительная фотосъемка на телефото модуль с помощью Halide, но с использованием алгоритмов Apple
По мере стемневания Proсess Zero превратился в тыкву. В такой ситуации почти каждая сцена становится контрастной, и кажется, что в обычных условиях без HDR невозможно обойтись.
В одной части фотографии фонарь, лампочка, окно, фары и другое искусственное освещение ярко горит, что требует съемки с высокой выдержкой и низкой светочувствительностью. В другой части слишком темно, что низкая выдержка выжигает светлые области.
В режиме Proсess Zero высокая светочувствительность всегда создает ужасные звуки, которые ни одно приложение «на посте» не может исправить. По сравнению с двумя другими камерами основная камера имеет в четыре раза больший сенсор.
Какие преимущества имеет фотография в этом режиме и почему она ценна?
Напомню, что три влияющих друг на друга ползунка формируют яркость фотографии: диафрагма (F/x), выдержка (1/x секунд) и светочувствительность (x ISO).
У каждого есть свои особенности. Например, диафрагма влияет на степень размытия, выдержку на смазанность и чёткость, а также светочувствительность на количество шума.
Чем меньше сенсор камеры, тем ярче можно поставить диафрагму при сохранении небольших размеров. Однако при том же показатели ISO фотография будет более шумной, поэтому его можно уменьшить.
Поскольку диафрагма мобильных камер почти всегда фиксированная, остальные два параметра могут влиять на яркость изображения.
Поскольку их алгоритмы почти никогда не совпадают с реальными оптическими и электронными характеристиками, iPhone не позволяет им выбирать и регулировать их вручную. Тем не менее, данные о выдержке и ISO сохраняются на всех снимках, сделанных с помощью Apple Camera.
В то же время Proсess Zero дает фотографам возможность контролировать будущие результаты, как это привыкли делать фотографы с обычными камерами.
Это показывает, почему очень яркие линзы с диафрагмой F/1.5 и F/2.8 необходимы для мобильных камер. Мы бы вообще не смогли фотографировать, если бы тут стояло что-то вроде F/5.6 с возможностью выкрутить до F/20, как на фотоаппаратах с полнокадровой матрицей.
Неудивительно, что Apple несколько лет подряд утверждала, что качество фотографий на iPhone улучшилось на пятьдесят, сто и полсотни процентов при съемке в условиях низкой освещённости. Алгоритмы SmartHDR создают условия для мобильной съемки, а не исправляют их.
Таким образом, я пришел к неожиданному выводу.
Каковы результаты? Когда камера iPhone работает в «чистом» режиме, она выдает очень реалистичные изображения. С плавными переходами света и тени, которые ближе к тому, что видит человеческий глаз, кадры становятся более естественными. Это тот самый случай, когда «недоработка» софта становится правдой.
Тем не менее, эта честность ставит перед нами интересный вопрос: мы настолько привыкли к безупречным, буквально «прилизанным» фотографиям в социальных сетях, что натуральные фотографии могут показаться нам скучными или даже некачественными. Автоматические улучшения незаметно повысили ожидания от каждой фотографии.
Получается, что между правдой и красотой стоит выбор, а точнее, между безупречным, но немного бездушным идеалом, созданным алгоритмами, и естественной красотой реального мира. Возможно, иногда стоит отключить «улучшайзеры», чтобы вспомнить, как выглядят настоящие лица, закаты и моменты жизни без прикрас.
