quad pixel что это
Почему в iPhone до сих пор стоят 12 Мп камеры?
Заметили, что мегапикселей стало как-то очень много? В Samsung готовят матрицы разрешением 600 Мп, уже есть — 108 Мп, а вот в iPhone, по-прежнему, 12 Мп. Почему так?
Вы наверное думаете, что всё дело в Deep Fusion и других волшебных алгоритмах. Отчасти, да. Но дело не только в них.
А что если я вам скажу, что в iPhone гораздо больше мегапикселей, чем мы думаем. А в Samsung, наоборот, гораздо меньше. Смотря как посчитать эти мегапиксели. Что это еще за заговор такой? Давайте разберемся!
Традиционная структура
Первый момент. Если внимательно посмотреть на современные ультра-мегапиксельные матрицы на 48, 64 или даже 108 Мп (а Samsung официально анонсировал, что работает над 600 Мп сенсором), то становится понятно, что разрешение матрицы стало вещью относительной. Почему я так говорю?
Традиционно, каждый пиксель на матрице состоял как минимум из 3 вещей:
И получается что если в пикселе есть эти три компонента, его можно назвать полноценным. И в матрицах с такими дополнениями пикселя мы всегда получаем честное разрешение: если матрица 12 МП, то и фотография будет 12 МП. Но разве можно делать как-то иначе?
Quad Bayer
Оказывается, можно. Долгое время у производителей матриц была проблема. Они никак не могли сделать пиксель меньше 1 мкм. А значит они не могли при том же физическом размере матрицы увеличить разрешение. Вот мы и сидели в основном с 12 Мп камерами.
Но в 2018 году барьер в 1 мкм был преодолён и появились первые компактные матрицы с размером пикселя 0,9 или 0,8 мкм и разрешением в 48 МП и больше. Но с уменьшением размера пикселя при прочих равных падает и их светочувствительность. Что, кстати, происходит не всегда…
Поэтому придумали очень простой хак. Цветовой фильтр стали накладывать не на один, а сразу на четыре пикселя и назвали такую структуру Quad Bayer, ну или Tetra Cell, если вы маркетолог Samsung. А дальше, объединив 4 пикселя в один гигантский, мы получаем отличную светочувствительность!
Но при этом реальное разрешение в 48 Мп камерах с Quad Bayer структурой в 4 раза меньше номинального и все равно — 12 Мп. Потому что пиксели в таких матрицах не проходят наш критерий полноценности: в каждом пикселе есть фотодиод, в каждом есть микролинза, но цветовой фильтр только один на четырёх. А значит цветовое разрешение в таких камерах в 4 раза ниже фактического.
Более того, даже в новых Samsung со 108 Мп камерами, реальное разрешение тоже 12 Мп, потому как в них объединяют не четыре, а сразу девять пикселей. Итого, 108 делим на 9, получаем 12.
Но почему же просто не сделать большие пиксели и не заморачиваться с этим объединением? Как ни странно такой подход даёт массу преимуществ!
Во-первых, днём когда света много — можно не объединять пиксели, а наоборот, при помощи алгоритма Re-mosaic можно восстановить хоть и неполное разрешение матрицы, но очень высокое.
Во-вторых, мы можем заставить разные пиксели работать с разной выдержкой. Тогда на выходе мы получим один светлый и один темный кадр, а склеив их мы можем получить полноценную HDR фотографию, или даже HDR видео!
Короче, вариантов для экспериментов масса и грех такое не использовать.
Но, если все уже поняли, что подход работает, почему же тогда ни в iPhone, ни в Pixel не используется преимуществами новых матриц? И вот тут самое интересное. На самом деле они пользуется, причем давно, но по-другому!
Dual Pixel
Помимо структур Bayer и Quad Bayer, существует и альтернативная школа, которая называется Dual Pixel или вернее сказать Dual Photo Diode.
Она отличается от традиционного Байера тем, что каждый пиксель в ней состоит из двух независимых фотодиодов. При этом оба фотодиода перекрывает только одна микролинза.
Но зачем это нужно? Если посмотреть на традиционную цифровую матрицу под микроскопом, то помимо обычных пикселей мы заметим какие-то странные зоны — вот эти зеленые штучки.
Это датчики фазовой фокусировки. Они необходимы для автофокуса. Кто снимал на зеркальные, помните вот такие зоны фокусировки в видоискателе? Вот это они!
Чем больше таких датчиков, тем быстрее и точнее будет работа автофокуса или AF. Но вот проблема. Они физически занимают место на матрице и отнимают его у нормальных пикселей. А значит, нельзя бесконечно увеличивать количество фазовых пикселей. Потому как если бы на каждый обычный пиксель приходился один фазовый пиксель, то система фокусировки занимала бы процентов 60 от общей площади.
Так было раньше, пока Canon не придумал технологию Dual Pixel. В качестве датчиков фазовой фокусировки они стали использовать обычные пиксели, разделив их на две части! Это позволило все пиксели сделать фазовыми! Опять же все кто пользовался зеркалками, знает какой у Canon крутой автофокус.
Но если у взрослых камер такая технология есть только у Canon, то в смартфонах матрицы с двойными пикселями производит и Samsung, и Sony, поэтому такую систему фокусировки можно встретить в куче смартфонов. В том числе во всех Google Pixel, начиная со второго и в iPhone 11 и 12.
Поэтому фактически в iPhone матрицы 24 мегапиксельные, если считать по количеству фотодиодов. Только полноценными такие 24 Мп конечно назвать нельзя, потому как тут пиксели делят на двоих не только цветовой фильтр, но и макролинзу. Поэтому в таких матрицах пиксели всегда работают в режиме объединения.
Правда есть одно исключение, если в iPhone систему двойных пикселей используют исключительно по назначению то есть для улучшения фокусировки, и, кстати, автофокус в iPhone замечательно работает как в фото, так и в видео, то в Google Pixel при помощи этой технологии научились делать портретные снимки с одной камеры. Они просто берут две фотографии, которые получились с правого и левого фотодиода и, подсчитав насколько сдвинулось изображение, строят карту глубины.
Так к чему я всё это? 12 Мп в iPhone — это осознанный выбор Apple, как и 108 Мп в Galaxy — осознанный выбор Samsung. Каждый из которых даёт свои преимущества и недостатки.
Камеры с высоким разрешением и структурой Quad Bayer или NonaCell — позволяют добиться более высокого разрешения днём и классной светочувствительности ночью. Позволяют проводить съёмку с алгоритмами HDR для фото и видео и вообще могут очень гибко настраиваться под конкретную задачу. Но пока не каждый процессор может справится с обработкой такого количества пикселей, а также, как показали тесты Galaxy S20 Ultra, бывают проблемы с фокусировкой.
Dual Pixel матрицы с низким разрешением вроде бы ничем особо не отличаются от традиционных матриц, но фотографии в низком разрешении проще обрабатывать. А структура Dual Pixel позволяет добиться потрясающей скорости и точности фокусировки.
Тем не менее мир не стоит на месте, Samsung и Sony уже показали новые матрицы с Quad Bayer структурой и двойными пикселями, которые берут лучшее из двух миров. Поэтому в будущем ждем еще более крутые камерофоны в следующем году.
Как устроена 48 мегапиксельная камера в смартфоне и какой в этом смысл
Мы живем в интересное время. Нас долго убеждали в том, что матрицы с высоким разрешением в смартфонах не нужны — мол, после определенной границы (12-16 мегапикселей) это не будет приводить ни к чему, кроме увеличения шума и снижения детализации. И долгое время это правило работало безотказно, многие— сознательно избегали камер с высоким разрешением. Но с недавних пор производителям смартфонов стали доступны сенсоры со структурой пикселей Quad Bayer, которые, во-первых, делают дальнейший рост разрешения оправданным и осмысленным. А во-вторых, серьезно упрощают и удешевляют процесс производства сенсоров (с точки зрения себестоимости каждого мегапикселя).
Четыре встроенные камеры смартфона vivo V17
Недавно мы рассказывали о том, на что способна квадрокамера vivo V17, но сегодня мы больше сосредоточимся именно на технических подробностях и поговорим о том, как все устроено. Сама компания vivo не занимается производством сенсоров для своих смартфонов, по крайней мере пока, поэтому все решения закупаются у сторонних производителей – в основном у Sony и Samsung за редкими исключениями.
Итак, в чем отличие структуры Quad Bayer от традиционного фильтра Байера? Идея предельно проста – она заключается в том, что у каждого блока из четырех пикселей (2 × 2) имеется одинаковых цветовой фильтр, что позволяет по-разному обрабатывать данные в зависимости от условий съемки, и в первую очередь – в от условий освещения.
Диаграмма пиксельной решетки (Quad Bayer Array) и ее преобразование с помощью специального алгоритма
У смартфона есть как минимум два варианта обработки сигнала с сенсора. В одном случае данные с четырех пикселей объединяются и мы фактически получаем один пиксель вчетверо большой площади. Именно таким образом основная камера vivo V17 работает по умолчанию, выдавая картинку размером 4000 × 3000 пикселей. Во втором случае каждый фотоэлемент срабатывает отдельно и мы получаем максимально возможное разрешение – 8000 × 6000.
Сама по себе съемка с таким высоким разрешением может быть оправдана лишь в одном случае – когда вам нужно напечатать изображение на бумаге (на фотобумаге, на фанере, как угодно). Если же вы используете фотографии только для просмотра на экране и хранения в «облаке», то чем выше разрешение, тем больше сложностей у вас возникнет. Наиболее логичным применением высокому разрешению на смартфоне становится цифровой зум без потери качества – в таком режиме камера делает снимок в максимальном разрешении, а затем вырезает его центральную часть и сохраняет ее как отдельный снимок с разрешением 12 мегапикселей. В этом случае можно сэкономить на установке телеобъектива – собственно, аналогичным производитель поступил и с vivo V17, здесь мы имеем двухкратный зум без потери качества без отдельного телеобъектива.
Пример цифрового зума без потери качества
В случае с истинно бюджетным смартфоном установка одной камеры с таким сенсором вполне позволит реализовать функциональность, которая прежде была свойственна лишь дорогим моделям. Иными словами, все идет к тому, что смартфонов, которые снимают плохо в мире вообще не останется. Ну а смартфоны средней руки смогут еще больше разнообразить варианты съемки установкой дополнительных специальных камер, и пример vivo V17 в этом смысле очень показательный.
Примеры съемки основной камерой vivo V17 в разрешении 48 Мп
Напомню, что помимо основной камеры на с фильтром Quad Bayer и разрешением 48 мегапикселей у vivo V17 имеется модуль со сверхширокоугольным объективом с эквивалентным фокусным расстоянием 13 мм и диафрагмой ƒ/2,2. Эта камера отлично подойдет для съемки в небольших помещениях, а также для городских пейзажей с высокими зданиями. Что характерно, этот модуль прекрасно обходится без механизма автофокусировки – благодаря большой глубине резкости можно получать четкие снимки практически в любых условиях.
Примеры съемки сверхширокоугольной камерой vivo V17
Две оставшиеся камеры vivo V17 обладают одинаковыми характеристиками, по крайней мере в том, что касается разрешения сенсора (2 мегапикселя или 1600 × 1200) и диафрагмы (ƒ/2,4). Одна из этих камер предназначена для съемки макро, в ней нет автофокуса, поэтому получить четкие снимки можно только если поднести смартфон практически вплотную к объекту. А вторая камера, как вы уже могли догадаться, выполняет роль датчика глубины, с помощью которого можно снимать портреты с размытием заднего плана.
Пример съемки камерой vivo V17 в «портретном» режиме
Для того, чтобы получить такой эффект на камере – понадобится дорогой объектив с большой диафрагмой, но благодаря вычислительной фотографии все это стало возможным в смартфоне дешевле 20 тысяч рублей.
Очевидно, что сенсоры с фильтром Quad Bayer прекрасно зарекомендовали себя за последний год, и vivo V17 – очередное подтверждение. А в этом году мобильный рынок начинает новый этап мегапиксельной гонки, только теперь гораздо более интересный и интригующий.
Что такое Quad Pixel, Quad Bayer и Tetracell
Последнее обновление: 26/08/2020
С конца прошлого года в продаже появились смартфоны с камерами на 48 и 64 МП, а позднее и на 108 МП. Такие модули совмещают высокую светочувствительность и детализацию при увеличении снимка. Секрет кроется в объединении нескольких соседних пикселей матрицы камеры в один, а такая структура получила название Quad Pixel, Quad Bayer и Tetracell. Из статьи вы узнаете принцип работы такой технологии, основные возможности, преимущества и недостатки.
Строение камеры
Для лучшего понимания работы технологий Quad Pixel, Quad Bayer и Tetracell сначала стоит объяснить, как устроена камера в смартфоне. 1
Основной элемент камеры – светочувствительная матрица, состоящая из миллионов пикселей размером в среднем 1-1.5 мкм каждый. Чем крупнее пиксель в матрице, тем больше улавливается фотонов света. Соответственно при низкой освещенности качество и детализация фотографии с крупным пикселем выше. При этом физические размеры матрицы строго ограничены и крупные пиксели не позволяют увеличить разрешение снимка.
Проходящий сквозь оптику свет улавливается каждым пикселем индивидуально, после чего формируется изображение. Исходная картинка получается чёрно-белой, поскольку пиксели не различают цвет, а только свет. Цветной картинка получается за счет наложенного сверху цветного фильтра и программной обработки.
Классический цветной фильтр состоит из трех цветов – красного, синего и зеленого. Причем на один красный и синий цвет приходятся два зеленых, из-за особенностей человеческого зрения. Каждый цвет покрывает группу пикселей в шахматном порядке, в результат чего получается цветная мозаика соответствующая размеру матрицы. Такое расположение именуется фильтром Байера (Bayer), названного в честь основателя Брюса Байера.
При прохождении света сквозь цветной фильтр получаются 3 картинки с соответствующим цветом. Далее процессор сводит полученные изображения и раскрашивает снимок, для чего используется информация соседних пикселей.
Особенности Quad Pixel, Quad Bayer и Tetracell
В Quad Pixel, Quad Bayer и Tetracell используется одинаковый принцип работы. Разница лишь в зарегистрированных торговых названиях разными компаниями: Quad Bayer – Sony, Tetracell – Samsung и тд. Цветной фильтр покрывает группу из четырех пикселей блоком 2х2 без изменений схемы чередования цветов. Благодаря этому сенсор способен работать как в полноразмерном режиме с использованием всех пикселей, так и в режиме объединения 4 в 1.
В режиме объединения физическое разрешение фотографии снижается в 4 раза. Поэтому размер снимка с 48-МП сенсора сопоставимо с 12-МП сенсором с классическим порядком пикселей. При этом у массива из четырех пикселей выше светочувствительность за счет увеличенной площади. В качестве примера сравнение 48-МП камеры с Quad Pixel в Motorola Moto G8+ и Moto G6 с обычным 12-МП сенсором.
Характеристики модулей камер обоих смартфонов несколько отличаются, при этом в условиях слабого уличного освещения снимок с G8+ ярче и содержит больше деталей.
С обильным солнечным освещением на общем плане кадр одинаково хорошо смотрится с обеих камер. При этом яркость снимка у G8+ выше, как и детализация при увеличении. Фотографии в оригинальном разрешении.
Если же программное обеспечение позволяет вручную выбирать режим работы, склейка пикселей эффективна при съемке в условиях низкой освещенности. Днём или в помещении с обилием света рационально использовать пиксели всё матрицы для получения полноразмерного кадра.
Основные преимущества
Основные недостатки
Вывод
В статье подробно описано, что такое Quad Pixel, Quad Bayer и Tetracell. Технология объединения нескольких пикселей в один позволяет достичь компромисса между светочувствительностью и разрешением без увеличения физического размера фотоматрицы.
При этом программное объединение нескольких пикселей выставляет дополнительные требования разработчикам, в частности новые алгоритмы обработки и раскраски фотографии. Поэтому в некоторых смартфонах камера работает только в режиме объединения пикселей с уменьшением максимального разрешения в 4 раза. С другой стороны технология позволяет повысить детализацию и яркость снимка без существенных изменений. Поэтому в ближайшее время стоит ожидать матрицы больше 108 МП с объединением 9 пикселей в группу или больше.
А что думаете вы? Поделитесь мнением в комментариях под статьей.
Как работает автофокус нового поколения All Pixel — сейчас он есть только у 1 смартфона
В OPPO Find X2 используется фазовый автофокус следующего поколения, разработанный компанией Sony, под названием All Pixel. Но что на самом деле значит это маркетинговое название? Чем оно отличается от фазовой автофокусировки Focus Pixel, Dual Pixel и Quad Pixel. Эта статья должна углубить вас в тему и ответить на подавляющее число связанных вопросов, которые могут возникнуть.
Содержание
Как работает фазовый автофокус Focus Pixel
Focus Pixel — это маркетинговый термин, придуманный Apple. Он предназначен для обозначения базового фазового автофокуса (PDAF), который в смартфонах компании впервые появился с выходом iPhone 6 в 2014 году. Название Focus Pixel говорит лишь о том, что в матрице камеры есть специальные точки. Они фиксируют разницу между тем, что видит ее левая и правая стороны, а потом компенсируют ее — так и работает фазовый автофокус.
Фазовый автофокус справляется с возложенной на него задачей заметно быстрее контрастного, который пытается найти объект в кадре по его очертаниям. Несмотря на это, данное поколение системы сегодня уже сложно считать актуальным. Как уже говорилось выше, на поверхности матрицы в этом случае располагаются специальные точки, которые предназначены для работы PDAF. Тем не менее, они составляют не более чем 5% от общего числа пикселей камеры — именно поэтому Focus Pixel сегодня уже не называют ни быстрым, ни точным.
Как работает фазовый автофокус Dual Pixel
Термин Dual Pixel для обозначения системы фазового автофокуса в камерах нового поколения компания Canon начала использовать в 2013 году. Samsung тут же взяла новую технологию на вооружение и испробовала ее на камерах Galaxy S7 и S7 Edge уже в 2016-м. При использовании технологии Dual Pixel каждый отдельный пиксель на матрице камеры разделяется на два: одна его часть предназначена для фокусировки, а вторая используется для захвата изображения.
В отличие от технологии Focus Pixel, о которой шла речь выше, фазовый автофокус Dual Pixel способен использовать для фокусировки не 5%, а сразу 100% точек на матрице. По большому счету, как для контроля резкости, так и для получения картинки используется сразу вся чувствительная поверхность камеры. Эта система выводит фазовый автофокус на следующий уровень как с точки зрения скорости работы, так и со стороны точности.
Как работает фазовый автофокус Quad Pixel
Несмотря на то, что система фазового автофокуса Dual Pixel работает очень неплохо, у нее также есть технические ограничения. Дело в том, что из-за того, что каждый пиксель на матрице фактически разделен на две части, для фокусировки, по большому счету, используются только горизонтальные линии. Если объект отличается однородностью в данной плоскости, Dual Pixel иногда ошибается и недостаточно точно устанавливает точку для фокусировки.
Система фазового автофокуса Quad Pixel предназначена для того, чтобы разобраться с данным вопросом — для этого она делит каждую точку на матрице уже не на две, а сразу на четыре части. Поэтому все точки на поверхности камеры могут анализировать картинку не только в горизонтальной, но и в вертикальной плоскости. Технология не только облегчает использование фазовой автофокусировки, но и делает ее более быстрой и точной.
Как работает фазовый автофокус All Pixel
All Pixel — это маркетинговый термин, который используется для определения фазового автофокуса, встроенного в сенсоры Sony 2×2 OCL. Новая система, которую также называют Quad Bayer, фактически продолжает идеи, продиктованные Quad Pixel. Она отличается тем, что использует более крупные точки для фокусировки, которые охватывают сразу четыре пикселя матрицы, предназначенных для фиксации изображения. Получается, что All Pixel также использует для фокусировки сразу 100% поверхности камеры, но делает это немного иначе.
В OPPO Find X2, с которого началась данная статья, используется более крупная матрица, чем обычно, — это нужно для адекватной работы технологии All Pixel. Судя по всему, она должна быть не только быстрее, чем системы фазового автофокуса, которые использовались до этого, но и более точной — особенно в условиях недостаточного освещения.
У сенсоров Sony 2×2 OCL кроме улучшенной системы фазовой автофокусировки, которая работает максимально быстро и точно вне зависимости от формы объекта и условий внешнего освещения, есть и другие преимущества. У него более высокая чувствительность, у которой есть возможность значительно снизить шум на фотографиях и видеозаписях при недостаточном освещении.
Кроме прочего Sony также заявляет, что сенсоры 2×2 OCL, благодаря уникальной технологии контроля экспозиции, способны обрабатывать HDR в режиме реального времени. Благодаря особой структуре они более эффективно используют свет в любом виде. Но это напрямую уже не относится к обсуждаемой теме.
Да, современная система фазовой фокусировки — это лишь одна из целого ряда составляющих качественной камеры смартфона. Но она очень важна для получения резкого кадра без промахов по фокусу.