quad bayer что это

Царство иллюзорных мегапикселей

Даже самые строгие скептики соглашаются, что для реализации фотопотребностей среднестатистического пользователя возможностей современного смартфона даже среднего уровня вполне достаточно. Тем не менее, гонка за мегапикселями продолжается: то и дело появляются анонсы новых сенсоров для смартфонов и аппаратов на базе оных.

Так, летом 2018 года японская компания Sony представила первый на тот момент в мире CMOS-сенсор для смартфонов с поддержкой эффективного разрешения 48 млн пикселей – IMX586. Гаджетов с ним вышло довольно много – в качестве примера достаточно вспомнить ASUS ZenFone 6, Honor View 20 (бренд Huawei) и Xiaomi Mi 9, и конце 2019-го был анонсирован скорый выход следующего поколения датчиков – для смартфонов IMX686. Ожидается, что новый модуль будет обладать разрешением 64 Мп, а первым смартфоном на его базе станет Redmi K30 (бренд Xiaomi).

Параллельно с Sony новые фотомодули успела выпустить южнокорейская компания Samsung, предлагающая сенсоры с поддержкой 48 Мп (S5KGM2), 64 Мп (S5KGW1) и даже 108 Мп (S5KHMX). В частности, первые смартфоны с 48-Мп камерами появились еще в декабре 2018 года – интересно, что многие из них не были флагманами, а тянули скорее на увесистых середнячков. Сегодня таких смартфонов уже десятки. При этом цены на них даже снижаются, а технические характеристики (по крайней мере заявляемые на уровне маркетинговых отделов) растут не по дням, а по часам.

За счет каких технологий это стало возможным? Как прирост мегапикселей влияет на качество фотографий? Можно ли считать эти мегапиксели в полной мере настоящими? Какие достоинства и недостатки таят в себе смартфоны с новыми фотосенсорами? Попробуем разобраться.

Магия светофильтров

Уместить больше пикселей на сенсоре можно либо за счет уменьшения размеров самого пикселя, либо за счет увеличения площади сенсора. Так что количество эффективных мегапикселей – это всегда компромисс между этими показателями. В новых сенсорах Sony и Samsung для смартфонов чаще всего используются матрицы со стороной пикселя 0,8 мкм, хотя существуют варианты и с 0,7 и 0,9 мкм. На момент написания этих строк самый маленький пиксель (0,7 мкм) используется в матрице Samsung S5KGH1. При этом сами матрицы в самых современных модулях в среднем составляют 6-10 мм в диаметре. Максимальный размер сенсора ограничен требованиями со стороны производителей смартфонов, так что развернуться особо некуда: тренд на «лопаты» прошел, а для крупных сенсоров в обычных смартфонах места нет.

В новых матрицах действительно больше реальных (а не виртуальных, как некоторым кажется) пикселей, но маркетинг (и не только) кроется в деталях. Главный вопрос – как именно используются «избыточные» пиксели? И вот тут начинается самое интересное. Дело в том, что без использования светофильтров фотодиоды способны воспринимать лишь черно-белое изображение, поэтому и в старых, и в новых матрицах для получения полноценных цветных изображений каждый фотодиод покрывается соответствующим светофильтром, а уже позже с помощью программных алгоритмов происходит восстановление цветовой палитры изображения.

В матрицах смартфонов используется так называемый фильтр Байера – массив цветных фильтров, где каждому пикселю соответствует один из трех основных цветов RGB-модели – красный, зеленый, синий. Цвета чередуются в определенном порядке, при этом зеленых элементов вдвое больше, чем остальных, ибо человеческий глаз наиболее чувствителен именно к зеленому свету. Таким образом, например, в обычной 12-мегапиксельной матрице можно насчитать 6 млн зеленых пикселей и по 3 млн красных и синих. Чтобы выяснить цветовой оттенок каждой ячейки необходимо обработать информацию как минимум от девяти соседних фотодиодов. Этот базовый подход был разработан инженером Брюсом Байером в 1976 году.

В новых CMOS-матрицах (2018-2019 гг.) инженеры решили немного доработали фильтр Байера. В Sony его называют Quad Bayer, а в Samsung – TetraCell (это одно и то же, только в первом слово «четыре» написано по-латински, а во втором – по-гречески): каждый покрывает сразу четыре физических пикселя в виде квадрата 2×2 (а не один, как в оригинале). При этом порядок чередования цветов и базовая структура не отличаются.

Достоинства

Особая, учетверенная структура расположения светофильтров увеличивает адаптационные возможности новых матриц при работе в различных сценариях. Но чем меньше пиксель, тем меньше света он способен собрать, следовательно, при съемке ночью это может привести к ухудшению качества фото. Поэтому в условиях плохой освещенности сенсоры с поддержкой Quad Bayer/TetraCell работают в режиме «больших пикселей»: так как фильтр одного цвета покрывает сразу четыре соседних ячейки-пикселя, то камера работает с подобным блоком как с одним большим пикселем.

Другой сценарий – съемка в солнечный день. В таком случае на первый план выходит максимальное разрешение, достигаемое за счет минимально возможного размера пикселя: матрица переключается (автоматически или вручную) в режим работы с пикселем 0,8 мкм и после соответствующей цифровой обработки сигнала способна получить заявленные 48 Мп. Будут ли такие снимки в четыре раза более четкими и детализированными, чем сделанные на 12-Мп сенсоры? Да, будут лучше, но точно не в четыре раза. Чтобы качество фото выросло прямо пропорционально росту мегапикселей, необходимо соответствующее увеличение размеров сенсора, но в реальности они увеличиваются незначительно либо остаются такими же. А ведь есть еще разрешающая способность оптики и множество других параметров, про которые производители совсем «позабыли».

Третий очевидный сценарий для матрицы с поддержкой Quad Bayer/TetraCell –ъемка HDR за один кадр. Такую матрицу можно условно разделить на две части: одна снимает фото с короткой выдержкой, а другая в тот же момент времени – с длинной. Напомню: обычно, чтобы получить простейший HDR-кадр, необходимо снять две фотографии с разной выдержкой и объединить их. В случае с Quad Bayer это можно делать быстрее и менее затратно с точки зрения ресурсов смартфона. Однако HDR-съемка не будет доступна в максимальном для матрицы разрешении, так как основана на использовании режима Quad Bayer/TetraCell.

Недостатки

Частично о них мы уже поговорили в предыдущих разделах. В частности, нужно понимать, что эффективность работы сенсоров для смартфонов во многом зависит от ограничений, обойти которые сегодня не в состоянии никто и никак. Помимо упомянутых ранее размеров пикселя и матрицы, стоит отметить невозможность установки на смартфоны нормальной оптики. Именно поэтому на рынке появляются технологии типа Quad Bayer/TetraCell, с помощью которых инженеры и программисты пытаются выжать максимум полезной информации из данных, получаемых сенсором на пределе технических возможностей.

Безусловно, физически меньший размер пикселей, благодаря которому удалось повысить качество дневных снимков, в целом скорее является недостатком, ведь от этого страдает общая светочувствительность матрицы, растет влияние взаимных шумов и прочих негативных артефактов. Да, пиксели настоящие, и чисто номинально мы действительно можем говорить о реальных 48 и более мегапикселях, однако способ работы с ними вынуждает делать оговорки в каждом предложении. В частности, учетверенный вариант фильтра Байера значительно усложняет работу с цветовой палитрой кадра на уровне алгоритмов обработки снимка. Это касается как дневных, так и ночных режимов. В режиме крупнопиксельной 12-Мп камеры (ночной режим) матрица как бы обманывает систему за счет Quad Bayer/TetraCell, а в дневном режиме с маленьким пикселем, для того чтобы извлечь всю нужную информацию с матрицы и правильно интерпретировать ее, придется потратить больше вычислительных ресурсов смартфона, что увеличивает время получения кадраНе стоит также забывать, что в ночном режиме мы имеем дело не с цельным крупным пикселем, а с трансформером, собирающимся из четырех отдельных. Именно поэтому в некоторых смартфонах с поддержкой 48 Мп по умолчанию активирован режим 12 Мп, так как по сути на данный момент он более универсальный.

Выводы

Дополнительные программные фильтры помогут выжать из этой технологии максимум, после чего мы будем вынуждены вновь вернуться к риторическому вопросу о степени натуральности кадров, снятых камерами современных смартфонов. Проблема заключается в том, что производители смартфонов и фотосенсоров для них приблизились к той черте, когда улучшить качество фотографии за счет технических доработок матрицы не представляется возможным. Почти все современные нововведения в этой области в большей степени касаются программных алгоритмов обработки изображения, а не «железа». Поэтому при выборе смартфона с новым или старым сенсором, лучше всего ориентироваться на свой бюджет. Если вопрос цены не слишком критичен, советую взять устройство на базе новых сенсоров – безусловно, с точки зрения пользователя кадры будут лучше, чем у предыдущих поколений, хотя бы за счет новых алгоритмов обработки. Если разница в деньгах существенна, спокойно берите гаджет с «честными» 12 мегапикселями (без поддержки Quad Bayer/TetraCell) – скорее всего, ваши снимки будут не хуже. В гонке за смартфонными пикселями смысла мало.

Источник

Почему нас обманывают, предлагая 48 МП, 64 и 108 МП камеры? Обзор всех сенсоров и их разоблачение

Камерофоны 2019

Гонка мегапикселей

Абсурдность использования 48 МП камер

Три и более фотомодулей

Наличие множества камер там, где это не нужно

Что не так с сенсорами на 48, 64 и 108 МП

На самом деле желание производителей сделать мобильную фотографию лучше, дело похвальное. И идея с использованием большого числа мегапикселей также имеет право на жизнь. Даже реализовано все примерно на достойном уровне, но в чем же тогда проблема? Почему мы не получаем качество фото выше в 4 раза по сравнению с 12 МП, 16 МП и 27 МП камерами? Ответ на этот вопрос не то чтобы прост, но ничего мудреного там нет. Тут играет роль и программное обеспечение, и линзы (особенно линзы), и сама структура 48, 64 и 108 МП матриц. Более детально об этом мы расскажем в экспресс обзоре каждого из сенсоров, но самыми главными злодеями во всей этой истории являются маркетологи. Это они рассказывают, что вы получите качество снимков в 4 раза лучше, опираясь исключительно на разрешение сенсоров, забывая о ПО, качестве линз, структуре сенсоров. Это они вводят пользователей в заблуждение, а так как большинство не вникает в особенности мобильных фотомодулей, то им не остается ничего, как верить красивым сказкам. Конечно, со временем люди станут более подкованными в этих делах, но тогда маркетологи будут рассказывать нам уже совсем другие сказки.

Сенсор Samsung S5KGM1 на 48 МП

Первый сенсор, на котором начали спекулировать производители, маркетологи, а в конце и продавцы смартфонов. Дебютировал данный сенсор в аппарате Redmi Note 7 в начале 2019 года. Тогда представители Xiaomi уверяли, что увеличив количество пикселей в 4 раза, пользователи получат едва ли не в 4 раза лучше картинку: выше детализацию, динамический диапазон, лучшую светочувствительность и т.д.

Но несмотря на то, что сенсор Samsung S5KGM1 предлагает 48 МП, по умолчанию Redmi Note 7 и прочие снимают в разрешении 12 МП. Выжать од полтинник миллионов пикселей можно только при использовании ручных Pro-настроек в приложении Камера. А почему так? Почему фотографии не стали лучше в 4 раза, зачем все эти объединения пикселей, где обман?

Сенсор Sony IMX586 Exmor RS на 48 МП

Сенсор Samsung S5KGM2 на 48 МП

Это все тот же сенсор S5KGM1, только, как и в случае с сониевским IMX586, появилась технология дескремблирования цветных ячеек и возможность выдачи полноценных 48 МП. И хотя качество фото по сравнению с GM1 подросло, все равно ни о какой революции или хотя бы превосходстве над IMX586 речи не идет вовсе.

Сенсор Samsung S5KGW1 на 64 МП

При этом сенсор не лишился всех тех проблем, которые наблюдаются у 48 МП датчиков изображения. Мыльность картинки никуда не исчезла, а прироста качества не то что в 4 раза, даже в 1,5-2 раза не наблюдается.

Сенсор Sony IMX686 на 64 МП

Сенсор Samsung ISOCELL Bright HMX на 108 МП

Сенсор OmniVision OV48C на 48 МП

Эту новенькую фотоматрицу, представленную на CES 2020 мы решили расположить отдельно, а не между самсунговскими и сониевскими датчиками. Все потому, что компания OmniVision не просто скопировала решение конкурентов, а предложила что-то новенькое, а именно:

Но как будет вести себя датчик в реальной жизни, никто не знает. На бумаге снова все красиво, но совпадет ли это все с реальностью. Если честно, то не верится в подобный вариант развития событий. Впрочем, если при все тех же «болячках», что и у Sony с Samsung, OmniVision OV48C все сможет дать более светлые, яркие и насыщенные снимки за счет огромных пикселей и демозаичного аппаратного алгоритма.

Источник

Почему в камерах смартфонов много пикселей: польза или маркетинг

Содержание

Содержание

В век цифровых технологий все компании в мобильной индустрии придерживаются девиза 3 Б «больше, быстрее, безрамочнее». Процессоры становятся более производительными и энергоэффективными, уже выходя за рамки гаджетов. Площадь экрана все увеличивается и увеличивается, покрывая всю лицевую часть и стремится к заветным 100 %, а в случае Xiaomi Mi Mix Alpha выходит за рамки фронтальной части смартфона, переходя на корпус.

Вот и мегапикселей в камерах все больше и больше, как, впрочем, и самих модулей. Есть ли польза от такого количества пикселей или же это всего лишь маркетинг? На данный момент уже есть модули на 48 Мп, 64 Мп, 108 Мп и даже готовится на 150 Мп от Samsung. Но такие значения характерны для бюджетных и среднеценовых смартфонов. В премиальном сегменте больше 48 МП у камер вы не встретите. Исключениями являются Huawei P 40 Pro с 50 МП и Samsung S 20 Ultra с 108 МП, что наводит на мысль: а почему во флагманах нет таких «крутых» фотомодулей?

Общие понятия о характеристиках камер

Разрешение камеры

Разрешение камеры измеряется в пикселях (точках). Чем больше мегапикселей, тем больше деталей будет на фотографии, это хорошо проявляется при увеличении фото — четкость и детализация будут возрастать. При увеличении Мп в сенсоре должна либо возрастать площадь матрицы, либо должно быть сокращения размера пикселя.

Размер объектива

Чем больше размер объектива, тем больше света он может физически пропустить через себя. Не стоит забывать про качество исполнения линз, если их прозрачность далека от идеала и элементы недостаточно подогнаны, хороших фотографий можно не ждать.

Зум — способность фотокамеры увеличивать изображение во время съемки с предварительной фокусировкой. Существует два вида зума: цифровой (софтверный) и оптический.

Стабилизация изображения

Так же как и зум, стабилизация бывает цифровой и оптической. Цифровая стабилизация считается программной, а вот оптическая приводится в действие с помощью маленьких гироскопов, которые физически перемещают объектив камеры во избежание каких-либо движений, это и обеспечивает снимок высокой четкости.

Матрица

Матрица — это ряд светочувствительных фотодиодов с нанесенным на них тончайшим фильтром. Размер матрицы напрямую влияет на количество пропускаемого света, это ведь важно для качества изображения, опять же чем больше света способна пропустить матрица, тем качественней будет конечная фотография.

Диафрагма

Говоря по-простому, диафрагма — это «отверстие в объективе», которое пропускает свет в матрицу. Диафрагма регулирует световой поток, что дает возможность изменять глубину резкости. Чем ниже данный показатель, тем лучше детализация фотографии в темноте и выше скорость съемки.

Иногда производители камер для смартфонов интегрируют переменную диафрагму, например, Samsung S9 и S9+. Это должно было хорошо сказаться на фотографиях, но оказалось — при маленькой матрице переменная диафрагма попросту лишняя и маркетинговая уловка.

Дополнительные модули

Существует несколько видов: широкоформатный (ширик), телеобъектив (телевик), черно-белый, цветной и с эффектом боке.

Программное обеспечение

Софтверная часть занимает львиную долю работы с фото, поскольку уже не единожды смартфоны Google Pixel с одним 12 МП модулем доказали, что качественную картинку можно получить с помощью анализа и подбора оптимальных настроек. Именно ПО позволяет максимально раскрыть потенциал камеры.

Bayer

На сегодняшний день известно несколько основных структурированных технологий размещения светофильтров пикселей в камере: Bayer, Quad Bayer, TetraCell и NanoCell.

NonaCell в камерах от Samsung не путать с Nanocell от LG в телевизорах.

Bayer — это двумерный массив цветофильтров, покрытых фотодиодами матрицы. В классическом фильтре Байера применяются светофильтры трех основных цветов RGB. Как видно на первом рисунке, количество зеленого цвета больше, чем у красного и синего цветов. Также разрабатывались другие светофильтры, но данный фильтр Bayer широко распространен.

Принцип работы светофильтра Bayer

Quad Bayer/Tetracell

Quad Bayer — это структура размещения светофильтров пикселей в модуле камеры и разбивание пикселя на группы по четыре субпикселя. То есть соседние субпиксели в квадрате 2х2 накрываются общим светофильтром RGB, а точнее — GR-GB.

Принцип работы Quad Bayer

Quad Bayer/TetraCell — удешевляет процесс производства модулей камер для смартфонов благодаря «разбивке» пикселей и их группировке под одним большим покрытием, что ведет к увеличению разрешения. Если бы производитель хотел «честные» 48 мегапикселей, то ему бы пришлось утончать тех процесс, а тут всего лишь используется тоже самое покрытие в 12 мегапиксельной версии.

Quad Bayer это термин активно используемый в камерах Sony, TetraCell тоже самое только от Samsung.

Но все таки имеются и плюсы данных технологий:

Это работает только при хорошей оптимизации и, зачастую, во флагманских устройствах.

Nonacell

Отдельного упоминания стоит NonaCell от компании Samsung. Этот тот же Bayer, только с формированием группы субпикселей 3х3. Данная структура будет применяться в 150 МП модулях камер, но пока неизвестно, будут ли улучшения по сравнению с предшественником.

Сравнение Tetracell и Nonacell

На этой картинке виден изначальный размер субпикселя 0,8µm, на Tetracell 2х2-1,6µm и Nonacell 3х3-2,4µm. Так же идет «искусственное» увеличение пикселей, не ведущее к заметному повышению качества изображения.

NonaCell — это усовершенствованная версия Tetracell, формирующая группы 3х3 субпикселя.

Специфика камер со структурой Quad Bayer/Tetracell/Nonacell делает их интересным решением на рынке сенсоров. Как говорилось выше, данные структуры хорошо себя показывают при достаточной освещенности, в темное время суток, также при однокадровом HDR, который позволяет уменьшить время съемки. Но все это работает только при условии качественного ПО, что доказывают 12 МП модули флагманов «яблочка» и «корпорации добра».

Так уж повелось маркетологи приучили нас мерить качество фотографий мегапикселями и это выливается в хорошую картину: 48 МП = 12 МП, 64 МП= 16 МП, 108 = 27 МП, а 150 МП = 16,6 МП.

Источник

48 мегапикселей для смартфона

Сравнение обычного изображения с разрешением 12 мегапикселей (слева) и кадра, снятого с нового сенсора IMX586 с разрешением 48 мегапикселей (справа)

Компания Sony представила IMX586 — первый в мире КМОП-сенсор для смартфонов с эффективным разрешением в 48 миллионов пикселей. Это значит, что сенсор сможет фиксировать кадры размером 8000×6000 пикселей без программной интерполяции! Раньше такой размер был доступен только на дорогих профессиональных камерах, и то не на всех.

Ну а снимать видео со скромным разрешением 4K (4096×2160) для такого сенсора проще простого. Он это делает на скорости 90 кадров в секунду.

Технические характеристики сенсора весьма впечатляют. Судя по всему, камеры на 48 мегапикселей очень скоро станут главным козырем топовых смартфонов. Компания обещает начать массовые поставки IMX586 уже в сентябре 2018 года.

Как Sony добилась такого кардинального увеличения разрешения? Что ж, без определённых хитростей здесь не обошлось. IMX586 сочетает в себе две ключевые технологии:

Физический размер сенсора составляет 1/2″ или 6,4×4,8 мм. Это большой размер — самый большой, какой только ставят в смартфоны, за редким исключением. Обычно в телефонах используют сенсоры формата 1/3″, то есть почти вдвое меньшего размера. Но 48 мегапикселей никак не втиснешь в 1/3″, а вот с форматом 1/2″ такой фокус получился.

Если посчитать на калькуляторе, то можно прикинуть физический размер каждого из 48 миллионов светочувствительных элементов на сенсоре 6,4×4,8 мм. Получаются пиксели со стороной около 0,8 микрометра.

Теперь об оригинальном цветовом фильтре Quad Bayer. Его работа показана на диаграмме выше. Он работает так, что у каждого блока 2×2 пикселей одинаковый цветовой фильтр. Это позволяет по-разному обрабатывать данные, в зависимости от условий.

В условиях плохого освещения данные с четырёх фотоэлементов объединяются — и они работают фактически как единый элемент с размером стороны 1,6 мкм. В этом случае разрешение сенсора снижается в четыре раза и он «превращается» в стандартный сенсор на 12 мегапикселей, только наверное с меньшим уровнем теплового шума.

Ну а в условиях хорошего освещения, когда тепловой шум незаметен, а энергии фотонов более чем достаточно, сенсор работает в полную силу, каждый фотоэлемент независимо от других фиксирует сигнал — и в результате получается качество, которое показано на КДПВ от Sony. Но это всё-таки не совсем честные 48 миллионов пикселей, а некое приближение к ним после цифровой обработки сигнала. Очень интересно будет посмотреть, как этот сенсор работает на самом деле и насколько в реальности заметна разница между кадрами на 12 и 48 МП. Если всё работает как обещано, то такой смартфон можно использовать как своеобразный «бинокль» — не фотографировать, а многократно зуммировать картинку на экране, чтобы разглядеть невидимые глазу детали далёких объектов.

В своём пресс-релизе Sony говорит, что у нового сенсора динамический диапазон в четыре раза больше, чем у обычных сенсоров. По мнению экспертов, здесь используется такая же система, как в сенсоре IMX294, где часть пикселей работает с неполной выдержкой, защищаясь от засветки, но в то же время записывая детали в тенях. По крайней мере, структура фильтра Quad Bayer хорошо подходит для такого метода работы.

Получается, что сенсор работает в трёх режимах: низкая освещённость (12 МП),
высокое разрешение (48 МП) или увеличенный динамический диапазон в высококонтрастных сценах. Это интересный подход, который чем-то напоминает технологию Fujifilm Super CCD EXR.

Скорее всего, новый сенсор сначала увидит свет в смартфоне Sony, а потом и в смартфонах других производителей. С высокой вероятностью его поставят в Sony Xperia XZ3, запланированном к выходу в сентябре.

Источник