765
Главная / Блог / Статьи, новинки, решения / Новые технологии фотографии - биннинг и ToF

Новейшие технологии в фотографии - гигапиксельные матрицы, биннинг и ToF

Хотим обратить внимание фотографов на новую технологию, которая приходит в фотоиндустрию - биннинг пикселей, благодаря которой матрицы на 1000-2000 Мп скоро станут реальностью, ИСО уйдет в прошлое, а зеркалки полностью отомрут.

Как это работает сейчас.

Все мы знаем, что чем больше матрица по размеру и чем крупнее пиксель, тем меньше шума она дает и тем выше можно задрать ИСО. Поэтому полнокадровые фотоаппараты делают высококачественные фото с относительным минимумом шумов даже в темноте, что очень ценится у фотографов. И наоборот ругают "мыльницы" и телефоны с маленьким размером матрицы и огромным количеством близкорасположенных (и от этого сильно шумящих) пикселей, которые дают мыло и шумы. Как это работает? Свет попадает на матрицу, после чего (упрощенно) матрица отдает сигнал - яркость и цвет (RGB). Пиксель той же яркости и цветности формиируется на фото, так с матрицы получается изображение. Соответственно 1 пиксель матрицы = 1 пикселю на фото (при съемке без уменьшения кадра и без цифрового зума). Если же уменьшить матрицу и размер пикселя, то получим шумы и искажения из-за дифракции. Что касается ИСО, по сути ИСО это усиление сигнала с матрицы. Чем больше усиливаем, тем больше шумов. Базовое значение ИСО - 100, все остальное это усиление и шумы.

Как это будет работать.

А что если пренебречь правилами и сделать относительно небольшую матрицу на 1000 Мп. Она будет жутко шуметь и давать искажения. Но мы объединим к примеру 100 соседних пикселей в один виртуальный (квадрат или шестиугольник, и можем динамически менять количество объединенных пикселей). И получим с него усредненное изображение по яркости и цветам. И все, шуметь там нечему т.к. один пиксель усредняется с сотни. Получаем очень чистое и яркое изображение. И чем больше пикселей в одном виртуальном пикселе, тем лучше качество картинки и выше светочувствительность, но меньше физический размер фотографии. Но при матрицах 1000-2000 Мп это не так актуально. По сути это будут стандартные 30-50 Мп фотографии но за счет суммирования яркости с сотни пикселей можно будет спокойно снимать на 100 ИСО и обычных выдержках даже ночью. Картинка будет очень резкая, четкая и с огромным динамическим диапазоном.

Немного изменим технологию и сделаем разные виды пикселей. Одни отвечают строго за цветность картинки (воспринимают RGB цвет, возможно это будут отдельные наноматрицы из 3х пикселей, каждый пиксель воспринимает только свой цвет), другие отвечают за яркость (по сути давая ч/б изображение). Смешивая информацию с 4 пикселей, получаем чистый пиксель правильного цвета и яркости совершенно без шумов. Далее такие наноматрицы можно объединять в виртуальный пиксель и в зависимости от освещения менять число работающих яркостных и цветных пикселей. Днем их мало, например 10 яркостных и 10 цветных образуют один виртуальный пиксель. Ночью, когда света мало, мы подключаем 100 яркостных и 50 цветных пикселей, в итоге светочувствительность одного виртуального пикселя увеличивается в 10 раз но падает разрешение фото (при 1000 Мп матрице это некритично). Количество и тип пикселей автоматически выбирает процессор в зависимости от освещенности. Также могут быть ручные настройки - экспозиция +- Ev - меняем количество работающих яркостных пикселей. Цветность - меняем количество работающих цветных пикселей. В итоге такой матрице совершенно не нужно ИСО т.к. не нужно ничего усиливать, мы просто добавляем новые пиксели в виртуальный пиксель, увеличивая чувствительность и уменьшая физический размер фотографии. Яркость фото меняем ползунком. Соответственно выдержку даже ночью можно ставить достаточно короткую - это компенсируется количеством пикселей.

В итоге получаем яркие насыщенные четкие фото без шумов при любой освещенности. Для этого используются самые обыкновенные матрицы, просто с большим количеством и с маленьким размером пикселя. Зеркалки станут попросту не нужны т.к. там нет смысла реализовывать биннинг пикселей. Думаю что лет через 10 все профессиональные и многие непрофессиональные фотики будут работать по этой технологии. Аналогично реализуется эта технология и в видеосъемке. Т.е. 8к (а позже 16к) ночью без шумов, задержек и с четкими цветами станет реальностью.

Вторая особенность технологии - использование времяпролетных (ToF) камер для съемки. Времяпролетная ToF камера – это специальный сенсор, способный излучать свет (обычно ИК) и регистрировать скорость его отражения от объекта. Зная время отражения и скорость света (а она стабильна и в воздухе составляет около 300 тыс. км/с) можно вычислить точное расстояние до объекта, подобно лазерному дальномеру. В результате вместо цветного и яркостного изображения формируется так называемое дальностное изображение (дальностный портрет). Используется для создания изображений, которые в качестве пикселей содержат оценки расстояний от камеры до конкретных точек наблюдения. Именно так работает FaceID у Айфона и времяпролетные камеры у наиболее продвинутых устройств. Как же это поможет при съемке? Камера анализирует объект в 3D и составляет объемную карту, например лица + меряет глубину сцены по пикселям. Далее зная все расстояния и расположения, объект очень точно отделяется от фона а фон размывается, но в точности по оптическим алгоритмам, в зависимости от глубины, причем так, что даже стиль боке можно выбрать (например, как у конкретного объектива). Получаем снимок с размытым фоном с эффектом боке, который будет мало отличим от того что делает оптика (в самом ближайшем будущем). Причем можно выбирать тип объектива для размытия - как у Гелиоса или как у 85мм 1,2L - все можно сымитировать. И вот все вместе и составляет основу новой технологии съемки.

Данная технология описана весьма упрощенно, на самом деле обработка информации с подобных матриц требует мощнейших процессоров и хитрых алгоритмов. Но данная технология уже применяется в современных смартфонах с 108 Мп матрицами. Хоть и в довольно зачаточном виде. Походу скоро вся цифра, даже профессиональная, перейдет на нее.

Назад
Напишите нам Блог