shift sensor что это
Samsung внедрит sensor-shift стабилизации на флагманских смартфонах серии S
По слухам, южнокорейская компания Samsung развивает сотрудничество с крупным производителем фотооптики, японской компанией Olympus с целью внедрения в свои будущие модели смартфонов новой технологии стабилизации со сдвигом сенсора.
Речь идет о технологии стабилизации сенсора фотокамеры, что позволяет получать значительно более четкие снимки при фотосъемке. В отличие от более привычного способа оптической стабилизации, когда механизм управляет системой линз, обеспечивая точную фокусировку изображения на сенсоре, технология стабилизации со сдвигом сенсора осуществляет стабилизацию самого сенсорного датчика камеры. Это происходит за счет сдвига, который устраняет возникающую расфокусировку при микротолчках устройства.
Считается, что эта технология обеспечивает более высокое качество фокусировки, чем традиционная оптическая стабилизация. Она не требует использования линзового блока, который обычно изготавливается другим производителем и поставляется к этапу сборки уже в готовом виде. С другой стороны, сенсорный датчик отличается большими размерами, чем линзы, поэтому реализовать эффективную схему управления процессом непросто.
Отмечается, что размеры основного сенсора iPhone 12 Pro Max больше обычного. Его перемещения вдоль оси обеспечивается с помощью магнитов, расположенных по углам датчика.
Новая технология позволяет объективу лучше справляться с управлением световым потоком. Технология стабилизации со сдвигом сенсора повышает чувствительность ( ISO ) примерно до 87% и способствует более точной фокусировке, чем позволяет получить оптическая стабилизация.
Ожидается, что аналогичное улучшение можно ждать скоро и у смартфонов Samsung. По слухам, Samsung уже провела весь комплекс предварительных испытаний, и планирует внедрить это технологию во флагманскую линейку Galaxy S. Уже появились предположения, что это будет Galaxy S22.
Одновременно ходят слухи, что стабилизации со сдвигом сенсора может появиться и в складных смартфонах Galaxy Z Fold3 Special Edition. Samsung пока не подтверждала этих слухов.
Технология сдвига датчика для фотографий с высоким разрешением
Разные подходы к фотографированию со сдвигом датчика
Механизм захвата изображения со сдвигом датчика из дорогих специализированных камер был перенесен в более доступные новые фотоаппараты, ориентированные на высокое разрешение. Сегодня, помимо H6D-400c от Hasselblad (изображения с разрешением 400 мегапикселей), есть предложения от Olympus, Pentax, Sony и Panasonic. Примерами камер, использующих эту технологию, являются Olympus OM-D E-M1 Mark II (Micro Four Thirds), Pentax K-1 Mark II DSLR, Sony a7R III и Panasonic Lumix DC-G9 (Micro Four Thirds).
Как работает технология сдвига датчика?
Цифровые камеры используют светочувствительные фотодиоды для записи света, падающего на датчик. Красный, зеленый и синий (RGB) цветофильтры на датчике обычно расположены по определенной схеме, известной как матрица Байера (фильтр Байера). В фильтре Байера зеленых цветоэлементов вдвое больше, чем красных или синих, потому что человеческое зрение наиболее приспособлено к разрешению деталей зеленого цвета. На изображении цветной пиксель создается путем смешивания этих цветоэлементов.
Датчик не знает, сколько красного цвета в месте расположения зеленого или синего датчика, поэтому требуется интерполяция, что может создать некоторые артефакты на фотографиях.
Статические датчики
В обычной камере без IBIS каждый цветоэлемент записывает свет только одного цвета в одном месте, поэтому данные, которые он записывает, технически неполны. В матрице Байера используется кластер световых сегментов для создания одного пикселя в цифровом изображении, но внутри этого пикселя есть два зеленых сегмента, один синий и один красный.
Собранные данные проходят процесс интерполяции, когда присваиваются значения для всех трех цветов для каждого цветоэлемента на основе общих значений, зарегистрированных соседними цветоэлементами. Далее полученные цвета выводятся в виде сетки пикселей, и создается цифровая фотография. Отчасти поэтому изображения RAW имеют немного более мягкий фокус и нуждаются в повышении резкости в процессе постобработки.
Датчики движения
IBIS означает, что сенсоры немного двигаются, чтобы приспособиться к малозаметным движениям камеры. Это необходимо для того, чтобы изображение оставалось стабильным. Стабилизация достигается за счет микрорегулировки положения датчика. Для изображений со сдвигом датчика используются те же самые микрокоррекции. По сути, датчик перемещается не для того, чтобы приспособиться к внешним возмущениям, а для того, чтобы каждая часть изображения содержала полноцветную информацию.
Цветоэлементы, а не пиксели
Камеры часто оцениваются по количеству мегапикселей в качестве меры их разрешающей способности, но это сбивает с толку, потому что у камер на самом деле нет пикселей, только цветоэлементы.
Пиксели появляются в изображении, полученном при обработке данных с датчика. Термин «сдвиг пикселей» (pixel-shift) вводит в заблуждение. Пиксели не двигаются, это движутся сенсоры, на которых есть цветоэлементы. При захвате изображения каждый элемент записывает данные для красного, зеленого или синего света. Эти данные интерполируются компьютером, так что каждый пиксель полученной цифровой фотографии имеет значение для всех трех цветов.
Сдвиг датчика
Камеры со сдвигом датчика пытаются уменьшить влияние интерполяции, собирая данные о цвете для красного, зеленого и синего цветов для каждого результирующего пикселя путем физического перемещения датчика камеры. Рассмотрим квадрат размером 2х2 пикселя, взятый с цифровой фотографии.
Обычный цифровой захват с использованием массива Байера будет записывать данные с четырех элементов: двух зеленых, одного синего и одного красного. Технически это означает, что отсутствуют данные для синего и красного света на зеленых элементах, данных зеленого и красного на синих элементах и синих, и зеленых на красных элементах. Чтобы решить эту проблему, недостающие значения цвета для каждого сайта будут определены в процессе интерполяции.
Но что, если вам не нужно было угадывать? Что, если бы у вас был реальный цвет (красный, синий и зеленый) для каждого элемента? Эта концепция лежит в основе технологии сдвига датчиков.
Рассмотрим квадрат размером 2х2 пикселей на цифровой фотографии, созданной с использованием технологии сдвига пикселей. Первое фото начинается как обычно с данных, записанных с четырех элементов. Далее камера перемещает датчик, чтобы сместить цветоэлементы, и снова делает тот же снимок.
Повторим этот процесс. Таким образом для каждого пикселя получены световые данные с четырех элементов (2 зеленых, 1 красный, 1 синий), что приводит к лучшим значениям цвета для каждого местоположения и меньшей интерполяции.
Таким образом работают режимы множественной съемки Sony со сдвигом пикселей и система разрешения сдвига пикселей от Pentax. Использование этих режимов не увеличивает общее количество пикселей в конечном изображении, тут улучшаются точность цветопередачи и детализация.
Режим высокого разрешения камер Panasonic и Olympus, в которых используются датчики Micro Four Thirds, использует более тонкий подход, объединяя восемь экспозиций, сделанных на расстоянии ½ пикселя друг от друга. В отличие от Sony и Pentax, это значительно увеличивает количество пикселей в итоговом изображении.
Каковы преимущества использования сдвига датчика?
При съемке нескольких изображений с небольшим изменением положения датчика разрешение изображения увеличивается, но вместе с ним увеличивается и цветовая информация в изображениях. Это позволяет схожим изображениям обеспечивать более глубокую детализацию изображения со смягченными цветами, меньшим шумом и лучшей детализацией.
Почему бы не использовать это для каждого изображения?
Главная причина в том, что вам нужно сделать несколько изображений одной сцены, что не подходит для движущихся объектов. Для данной технологии требуется как минимум в 4 раза больше времени экспозиции, чем при захвате одного изображения. Это дает 4 возможности для смещения части композиции или камеры во время захвата изображения и ухудшает качество фото.
Таким образом применение технологии ограничивается натюрмортами и статической фотографией.
Ограничения
Преимущество для производителей состоит в том, что изображения более высокого качества получаются без потребности в дорогих датчиках с высокой плотностью пикселей. Преимущества для пользователя заключаются в том, что фотографии содержат лучшую информацию о шуме и цвете.
Видеоканал Фотогора
Вы можете оставить свой комментарий к данной статье
iPhone 12 Pro Max: What is sensor-shift image stabilization and how does it work?
Apple iPhone 12 Pro Max could come with the Sensor-shift image stabilisation system. But what is Sensor-shift image stabilization and what’s makes it superior to OIS?
Most high-end camera smartphones, including the iPhone 11 Pro Max, come with OIS or Optical Image Stabilization. The tech has been used in smartphones for quite some time. However, Apple’s upcoming iPhone 12 Pro Max, might be the first smartphone to feature the new sensor-shift stabilization instead of lens-based optical image stabilization.
Apple analyst Ming-Chi Kuo believes the iPhone 12 Pro Max would benefit from the brand new sensor-shift image stabilization technology when it launches later this year. But what is Sensor-shift image stabilization and what’s makes it superior to OIS? Let’s find out.
What is image stabilization?
Image stabilization is a common term used in photography. Simply put, Image stabilization (or IS) enables photographers to take blur-free images or videos without a tripod. Any camera with a built-in image stabilization allows you to shoot at slower shutter speeds than one without, delivering a noise-free and sharper image. There are different kinds of Image Stabilization but we stick to sensor-shift image stabilization and optical image stabilization.
What is Sensor-shift image stabilization?
The Sensor-shift image stabilisation system or IBIS (In-Body Image Stabilization) incorporates a floating sensor that helps counterbalance any movement within the camera. If your camera has IBIS, all of the lenses will also have image stabilization. In-Body Image Stabilization has become popular among the high-end mirrorless camera. A lot of Sony, Fuji and Olympus cameras feature In-body image stabilization. IBIS currently works with interchangeable lens cameras and has yet to launch on smartphones.
Express Tech is now on Telegram. Click here to join our channel (@expresstechnology) and stay updated with the latest tech news
What is optical image stabilization?
As opposed to inside the camera, OIS uses the phone’s gyroscope and tiny motors to shift the camera’s lens or sensor. What’s interesting with OIS is that the image is stabilized before it reaches the sensor, so there is no loss of quality in image quality. This allows the autofocus to function more accurately. Nokia Lumia 920 was the first smartphone to feature OIS.
Do you need SSIS or OIS?
The difference in image quality isn’t drastic, but the good thing about SSIS is that it can be combined with any lens. That means if Apple manages to bring SSIS to the iPhone 12 Pro Max, all the three lenses would be stabilized. The iPhone 11 Pro’s ultra-wide-angle lens, for instance, is not stabilized.
📣 The Indian Express is now on Telegram. Click here to join our channel (@indianexpress) and stay updated with the latest headlines
Understanding Sensor-Shift Technology for High-Resolution Images
Georgian Bay – Summer Landscape
Changing How Photographs are Taken
In recent years, a number of manufacturers have produced cameras that are capable of producing higher-resolution images through something called Sensor-Shift Technology. This technology has been made possible with the advent of in body image stabilization (IBIS). Camera designers have used the IBIS as a way to get incredible increases in image resolution or to improve the color information for the images that are taken.
There are a number of names for this technology including High-Resolution Mode, Pixel Shifting Resolution System, Pixel Shift Multi Shooting Mode or the more generic names of pixel-shift/sensor-shift but in the end, the concepts behind this technology are all the same. Multiple images of the same view are taken in such a way that the images are stacked and blended to create a single, usually large, high-resolution image.
There are strengths and weaknesses of this new technology and understanding how it works can help you make better images yourself if you have a camera that is capable of doing this.
NOTE: Because websites use lower resolution images, the images used in this article have been downsized and modified to simulate the differences between the high-resolution images and the standard output from the cameras. When looking at the images in full, the images look similar but when you get closer to the details in the images that is when you start to see the differences.
Gerbera daisies indoors, regular resolution (20 MP) Olympus OMD EM 1 Mark II
Gerbera daisies indoors, high-resolution (50MP) Olympus OMD EM 1 Mark II
Many Approaches to Sensor-Shift Images
Sensor-shift image capture has been transformed from expensive specialty cameras to become an increasingly available feature on newer, resolution-oriented cameras. Today, in addition to Hasselblad’s monster H6D-400c (400 Megapixel images), there are offerings from Olympus, Pentax, Sony, and Panasonic.
These versions generally use the same conceptual approach but at much more accessible prices.
Who Uses Sensor-Shift?
Regardless of the manufacturer, the basic action of sensor-shift image capture remains the same. Take multiple images but move the camera’s sensor slightly for each image to capture more image data and then put the image together.
By moving the sensor around, the image color data improves allowing for more detail to be resolved by overcoming the inherent problems with color specific photosites. Ignoring the Hasselblad, the systems that use this technology include cameras such as the Olympus OM-D E-M1 Mark II (Micro Four Thirds), Pentax K-1 Mark II DSLR, Sony a7R III, and Panasonic Lumix DC-G9 (Micro Four Thirds) although there are others from the same manufacturers.
Three of these lines are mirrorless cameras with the Pentax being a crop sensor DSLR. It is interesting to note that the Panasonic/Olympus cameras take one approach and Pentax/Sony take a different approach to the same concepts.
The Olympus/Panasonic systems use an approach that makes very large high-resolution images whereas the Pentax and Sony systems use the sensor-shift to improve the color information of same size images. Both the Pentax and Sony systems also allow for the separation out of the individual sensor-shifted images whereas the Olympus and Panasonic blend the stacked images into a single photograph.
Olympus OMD EM5 Mark II has the sensor-shift technology.
How does sensor technology work?
To understand how sensor-shift technology works you need to also understand how a sensor generally works at a very small scale. In the good old days of film photography, cameras used light-sensitive film to record images. Digital cameras use a very different approach to record light.
Digital cameras use light-sensitive photodiodes to record the light striking the sensor. In most digital cameras, each photodiode has a specific color filter (red, green, or blue), forming a photosite. These photosites are arranged to allow the light to be blended to see the color from the image coming onto the sensor.
The red, green, and blue photosites on a sensor are generally arranged in a specific pattern known as a Bayer array (a.k.a. Bayer matrix, filter). There are also other configurations such as the Fuji X-Trans sensor (used on several of their camera models) or Sigma that uses a Foveon sensor.
With a Bayer arrangement, there are twice as many green photosites as red or blue because human vision is most attuned to resolving detail in green. This arrangement generally works well but if you think about it, on an image, a color pixel is created by blending these photosites together.
The sensor does not know how much red there is on a green sensor location or a blue sensor location so interpolation is required. This can create some artifacts in photographs if you look very closely and tends to mean that RAW images have an ever so slightly soft focus. All RAW images need some sharpening in post-processing (the green, the red and the blue for a pixel are blended together).
Bayer pattern of photosites
Static Sensors
In a regular camera without IBIS, each photosite only records the light from one color in that one spot, so the data that it records is technically incomplete. It is like a bucket that only collects light from a particular color. A cluster of light buckets in the Bayer pattern is used to create a single pixel in the digital image but within that pixel, there are two green buckets, one blue and one red.
To meld the image together and put a single color into that one pixel, the signals from the cluster of photodiodes are resolved together. The collected data is interpolated via a de-mosaicing algorithm either in-camera (jpeg) or on a computer (from a RAW image), a process that assigns values for all three colors for each photosite based upon the collective values registered by neighboring photosites.
The resulting colors are then outputted as a grid of pixels and a digital photograph is created. This is partly why RAW images have a slightly softer focus and need to be sharpened in the post-production workflow.
Moving Sensors
IBIS means that the sensors now move ever so slightly to adjust for subtle movements of a camera to keep the image stable. Some manufacturers claim that their systems are capable of stabilizing the sensor and/or lens combination for an equivalent of 6.5 stops.
Moving the sensor allows all the color photosites to record the data for each location on the sensor.
This stabilization is accomplished by micro adjustments of the position of the sensor. For sensor-shift images, those same micro adjustments are used to have each photosite exposed to the light from the single image recording. In essence, the sensor is moved around not to adjust for external perturbations but to have each portion of an image contain full-color information.
Photosites Rather Than Pixels
You may have noticed the term photosites instead of pixels. Cameras are often rated by their megapixels as a measure of their resolving power, but this is confusing because cameras do not have actually have pixels only photosites.
Pixels are in the image produced when the data from the sensor is processed. Even the term “pixel-shift” which is sometimes used, is misleading. Pixels don’t move, it is the sensors that have photosites on them that move.
In single-image capture, each photosite records data for red, green, or blue light. This data is interpolated by a computer so that each pixel in the resulting digital photograph has a value for all three colors.
Shifting Sensors
Sensor-shift cameras attempt to reduce the reliance on interpolation by capturing color data for red, green, and blue for each resulting pixel by physically moving the camera’s sensor. Consider a 2×2 pixel square taken from a digital photograph.
Conventional digital capture using a Bayer array will record data from four photosites: two green, one blue, and one red. Technically that means there is missing data for blue and red light at the green photosites, green data and red at the blue photosites and blue and green at the red photosites. To fix this problem, the missing color values for each site will be determined during the interpolation process.
But what if you didn’t have to guess? What if you could have the actual color (red, blue and green) for each photosite? This is the concept behind sensor-shift technology.
A normal resolution image.
Diving Deeper
Repeat this process so that all the photosites have all the light for each exact spot on the sensor. During this process, light data from four photosites (two green, one red, one blue) has been acquired for each pixel, resulting in better color values for each location and less of a need for interpolation (educated guessing).
A high-resolution image at the same ISO, aperture, and shutter speed.
The Sony and Pentax Approach
Sony’s Pixel Shift Multi Shooting Mode and Pentax’s Pixel Shifting Resolution System operate in this manner. It is important to note that using these modes does not increase the total number of pixels in your final image. The dimensions of your resulting files remain the same, but color accuracy and detail are improved.
Sony and Pentax take four images moved one full photosite per image to create a single image. It really is simply improving color information in the image.
The Olympus and Panasonic Approach
The High-Resolution Mode of Panasonic and Olympus cameras, which both use Micro Four Thirds sensors, takes a slightly more nuanced approach, combining eight exposures taken ½ pixel apart from one another. Unlike Sony and Pentax, this significantly increases the number of pixels in the resulting image.
From a 20 megapixel sensor, you get a 50-80 megapixel RAW image. There is only a single image with no ability to access the individual images of a sequence.
What are the Advantages of Using Sensor-Shift?
Using sensor-shift technology has several advantages. By taking multiple images, knowing the color information for each photosite location and increasing the resolution you accomplish three main things. You decrease noise, reduce moire, and increase the overall resolution of the images.
Noise and Improved Resolution
By taking multiple images with a subtle change in position of the sensor, the resolution of the image goes up but so does the color information in the images. This allows similar images to allow for a greater drilling down into the image with smoother colors, less noise, and better detail.
A normal resolution image.
A high-resolution image.
Cropped in tight to the normal resolution image, you start to see noise showing up like grain and color variation.
Here is the same crop on the high-resolution version, the color and detail are better with less noise.
Less Moire
Moire is the appearance of noise or artifact patterns that appear in images with tight regular patterns. Newer sensors tend to have fewer issues with Moire than in the past but it will still appear in some images.
The cause of the moire tends to be related to the tight patterns being recorded and the camera having problems resolving the pattern because it is having problems with the sensor photosite patterns. The color information for the Red, Green and Blue photosites have troubles with edges in these tight patterns because not all the color for a single location is recorded.
With sensor-shift, all the color for each location is there, so moire tends to disappear.
Normal resolution image.
High-resolution Image with crop area highlighted
The cropped area on the standard resolution image – noise starting to appear (the scratches on the paper were there before).
The higher-resolution image has less noise and more detail.
So Why Not Use This for Every Image?
Well, the main reason is that you have to take multiple images of a single scene. This means that this really doesn’t work well for moving subjects. The process requires, at a minimum, four times the exposure time of single image capture. This translates into four opportunities for a part of your composition and/or your camera to move during image capture, degrading image quality.
Such constraints limit the technology’s application to still life and (static) landscape photography. Any movement in the scene being captured is going to create a blurry or pixelated area. This is a problem for landscape photography if there is a wind moving plants or clouds as well as areas where running water is present.
This also means that usually, you need to be very stable and use a tripod, although there are some clear intentions from manufacturers to make available versions that will allow for handheld shooting of the camera (Pentax has this feature).
High-resolution image shot on a tripod.
Movement artifacts are visible when viewed more closely.
Quirks of some of the systems
As sensor-shift technology has been implemented in different ways and depending upon the system used, the problems are a bit different. The main quirk is that you generally need a tripod, so no run and gun.
The Sony system has other limitations that you cannot see the image until you process the four separate images together. This means you cannot review your resolved image on the camera. In addition, due to the high pixel count on the A7R mark III, any subtle movement of the tripod is particularly noticeable on the resultant image. In order to edit the images, you also need to use proprietary Sony Software to merge the images together.
Pentax has some interesting features. Using the software application that comes with the camera allows for addressing movement by using an algorithm within the software for removing movement artifacts. This works better than software commonly used for image manipulation such as Adobe.
The Olympus system has been around a while and in the most recent iteration on the Olympus OMD EM1 Mark II, any detected movement will have those affected pixels replaced with parts of one of the single regular resolution images in areas of movement. This creates uneven resolution but makes the image look better for things like wind. It also limitations particularly if there is a lot of movement. Often the images look a little pixelated.
Standard resolution image of a tree – everything is sharp.
A high-resolution image of the same tree but it was windy… Cropped area is shown in the yellow box.
Cropped area expanded – the wind movement generated some artifacts on the image.
Limitations
The greatest challenge facing sensor-shift image capture is moving subjects. Additionally, trying to pair a strobe with a camera using pixel-shift image capture can be complicated by the speed of image capture, flash recycle limitations, and general compatibility problems. Manufacturers are aware of these problems and are working to resolve them.
Overall the Technology is Only Going to Get Better
More and more systems are using algorithms to produce these higher resolution images. As the technology matures, the implementations will get better and better results, potentially able to deal with movement and handheld conditions.
The advantage to manufacturers is that better quality images are produced without the need for really expensive high pixel density sensors (cheaper). The advantages to the user are that the images can have better noise and color information for better final results.
Happy hunting for that perfect high-resolution image!