От первых камер до нейросетей: история мобильной фотографии

Производители смартфонов давно соревнуются в качестве мобильных камер. Их количество и функционал — важнейшие показатели для современных гаджетов. Как началась эта гонка? В нашем материале мы расскажем о появлении и развитии мобильной фотографии. Мы рассмотрим знаковые гаджеты и важнейшие технологии.

Первые камерофоны

Первый в мире телефон с камерой появился в 1999 году. Японская корпорация Kyocera представила модель VP-210. Сотовый имел лишь одну камеру — фронтальную. 

Весной CNN впервые рассказала о новинке — а уже в июле Kyocera VP-210 поступил в продажу. Его цена составляла 325$.

Разрешение матрицы равнялось 0.1 Мп, в память телефона сохранялось не больше 20 снимков. Качество получаемого изображения было, мягко говоря, невысоким, но и создавалась камера, прежде всего, не для фотографий — а для видеосвязи с частотой два кадра в секунду. При этом сотовый поддерживал интернет-соединение. Так что пользователь мог делиться фотографиями через электронную почту.

Руководитель отдела маркетинга Kyocera Хаджиме Кимура полагал, что телефон с камерой по-настоящему оценят бизнесмены и работяги.

Пользователи могут использовать этот телефон не только для визуального общения со своими коллегами, но и для деловых целей. Например, если строитель приносит этот телефон на строящийся объект, он может показать, как выглядит объект, людям в штаб-квартире, использующим этот телефон. Они могут вести бизнес, проверяя ситуацию в режиме реального времени

Хаджиме Кимура

Вообще, в девяностые многие вели разработку мобильников со встроенными камерами. Так, в 1993 году, Дэниел А. Хендерсон создал Intellect — прототип устройства с технологией беспроводного видеотелефона. Сегодня он хранится в Национальном музее американской истории. Идеи создания видеофона были и у компании Apple. Но именно Kyocera удалось создать первой в мире телефон с камерой.

Впрочем, первенство Kyocera до сих пор пытаются оспорить в Samsung. В 2019 году корейская корпорация выпустила статью, где утверждалось: первым телефоном со встроенной камерой был Samsung SCH-V200.

Характеристики SCH-V200 более впечатляющие — 0.35 Мп против 0.1 Мп у Kyocera. Оснащался гаджет цветным дисплеем диагональю 1.5 дюйма. Встроенная память в 1 Мб сохраняла до 20 полноразмерных фотографий в формате 640×480 (или 26 фото в уменьшенной версии). Передавать фотографии с помощью электронной почты телефон не умел, их можно было перекидывать на ПК с помощью комплектного кабеля.

В 2000 году японская компания Sharp представила свою версию мобильного телефона с камерой — Sharp J SH04 (J-Phone).

Камера в Sharp J SH04 переехала с фронтальной части в тыловую. Разрешение матрицы у нее равнялась все тем же 0.1 Мп. Рядом с камерой установлено небольшое зеркальце: с ним было проще делать селфи. Телефон также позволял передавать фотографии по электронной почте.

Дисплей устройства поддерживал до 256 цветов, аккумулятор выдерживал до 125 минут в режиме разговора, а телефонная книга умещала в себе до 500 контактов. Для Sharp это был первый опыт производства телефона — к нему относились как к эксперименту. Поэтому модель выпустили ограниченной серией в 2000 экземпляров только для Японии. Работала новинка с японскими мобильными сетями PHS и продавалась за 500$.

Во время продаж телефона, журналисты BBC провели опрос у читателей. Журналисты выясняли, как бы люди использовали свой телефон с установленной камерой.

Мобильный телефон для фотосъемки, безусловно, любопытное изобретение. Это может быть удобно для деликатного расследования или проникновения. Если вы замаскируете его немного лучше, кто будет знать, что нужно искать камеру на телефоне?
Йоханна, Финляндия

Еще один пример технологических достижений, заставляющих нас платить все больше денег за изображения более низкого качества.
Стюарт Кордон, Великобритания

Я бы использовал телефон с камерой, чтобы сфотографировать своего лучшего друга, мою собаку Бенсона.
Майлз Браун, Англия

Надо сказать, появление сотовых с камерами вызвало серьезную дискуссию. С одной стороны, технология была интересной. Людей привлекала возможность моментально сделать и перекинуть фото, даже несмотря на невысокое качество снимков и дороговизну устройств. С другой стороны, многие считали попытки встроить камеру в телефон бессмысленными. Ведь в продаже есть полноразмерные фотокамеры с куда лучшим качеством!

Время расставило все по своим местам. С начала «нулевых» производители телефонов начинают активно внедрять фотокамеры. В 2002 году в продажу поступил Ericsson T68 с отдельным модулем камеры.

Модуль использовал сенсор на 0.3 Мп. Он имел собственную память, позволяя сохранять до 14 полноразмерных фотографий с разрешением до 640 х 480. Устройство в комплекте с телефоном не поставлялось: его надо было докупать.

Компания Siemens также выпускала модульные телефоны с отдельной камерой — Siemens C60.

Революция от Ericsson

Камеры в мобильных телефонах улучшались, но качество фотографий оставалось низким. Революция в мобильной фотографии произошла в 2005 году с выходом Sony Ericsson K750i. По мнению международной ассоциации Technical Image Press Association, модель стала лучшим камерофоном года.

Характеристики K750i на тот момент были впечатляющими. Цветной экран размером 1.8 дюймов, 34 Мб встроенной памяти, 1 Мб оперативки. В комплекте шла карта памяти на 64 Мб. Аккумулятор держал заряд до 400 часов в режиме ожидания.

Благодаря двухмегапиксельной матрице разрешение камеры повысилось до 1632 х 1224. Впервые появился центральный автофокус и цифровой зум 4x. Для подсветки окружения в условиях плохой освещенности имелась светодиодная вспышка. 

^{Примеры фото K750i. Источник: mobile-review}

В этом телефоне впервые появился режим макросъемки. Он позволял снимать предметы с очень близкого расстояния.

Также в K750i реализовали режим ночной съемки и панорамы. Кроме того, имелись эффекты: сепия, негатив и перевод фото в черно-белый формат.

^{Примеры фото K750i. Источник: mobile-review}

Центральный автофокус работал с контрастной фокусировкой. Технология довольно проста. Сенсор камеры замеряет количество света на объекте и перемещает линзы в зависимости от контраста. У данного типа фокусировки имеются и минусы: низкая скорость работы, отсутствие следящей фокусировки и низкое качество работы при плохом освещении.

Впрочем, для середины «нулевых» фото были отличными. С видео дело обстояло хуже. Разрешение 176 х 144 пикселей, 10 к/с в ночном режиме и 15 к/с в стандартном — максимум, что мог выдавать телефон.

На этом решила сыграть Nokia, выпустив в 2006 году модель N93. Телефон открыл гонку за качество мобильного видео.

3.2-мегапиксельная камера и оптика Carl Zeiss позволяла снимать видео в разрешении до 640×480 и делать фото до 2048×1536 пикселей. Качество видео повысилось до 30 кадров в секунду. Поддерживались автофокус и макросъемка. Поставлялся телефон с картой памяти в 128 Мб, которая вмещала до 6 минут видео. Вдобавок, Nokia N93 поддерживала карты памяти размером до 2 Гб.

В том же 2006 году появился Nokia 6131 с поддержкой 8-кратного цифрового зума и разрешением 1280×960 пикселей.

От iPhone до 3D-фотографий

29 июня 2007 года в продажу поступил iPhone первого поколения.

С точки зрения фото — ничего выдающегося: камера на 2 Мп без возможности снять видео. Впрочем, не отметить смартфон нельзя. В будущем, сравнивая качество фотографий iPhone, канадский фотограф Лиза Беттани сделает серию снимков, начиная с iPhone первого поколения и заканчивая iPhone 6S. 

В 2008 году выходит первые в мире телефоны с 8-мегапиксельной камерой — LG KC910 и Sony Ericsson C905.

Оптика Schneider-Kreuznach позволяла снимать в разрешении 3264×2448 пикселей. Присутствовали автофокус и ксеноновая вспышка. Съемка видео происходила в разрешении 640х480 и 30 к/с. Появился режим записи Slow Motion с частотой 120 к/с при разрешении 320х240.

Год спустя рекорд побила компания Samsung. M8910 PIXON12 имел камеру на 12 Мп.

В январе 2010 года в продажу поступил Sony Ericsson Vivaz — первый телефон, записывающий видео в разрешении HD-качества (720p).

В 2011 году на рынке появились первые смартфоны с двумя камерами — HTC Evo 3D и LG Optimus 3D.

Продвигались телефоны благодаря возможности стереоскопической фотосъемки. Снимки делались двухобъективными стереоскопическими фотокамерами одновременно. Создавалось два снимка с разных ракурсов, которые затем объединялись в один. Получался своеобразный эффект 3D. 

При этом не требовалось каких-то специальных очков. Телефоны позволяли не только снимать и просматривать фотографии в 3D, но и смотреть 3D-фильмы, снимать видео в новом формате, запускать 3D-приложения… 

^{Источник 3D фотографий LG Optimus 3D: zoom.cnews}

Популярности стереоскопический эффект не получил. Пользователи отмечали низкое качество экранов при просмотре 3D и ограниченные углы обзора. Некоторые жаловались на дискомфорт в глазах после длительного использования данного режима.

^{Источник 2D фотографий LG Optimus 3D: zoom.cnews}

Стабилизация и мощные камеры

В 2012 году Nokia совершила очередной технологический рывок. На крупнейшей выставке мобильных технологий Mobile World Congress она представила Nokia 808 PureView с камерой в 41 Мп.

Оптика Carl Zeiss с механическим затвором, диафрагмой f/2,4 и ксеноновой вспышкой была передовой технологией. Разрешение снимков выросло до рекордных 7728×5368, максимальное качество видео до 1080p при 30 кадрах в секунду. В наличии имелся цифровой зум — в режиме фотографии до 3x и от 4х до 12х при записи видео.

^{Примеры фото}

Датчик стабилизации в смартфоне отсутствовал, поэтому малейшее движение рук сенсор чувствовал заметно.https://www.youtube.com/embed/jk5_bfpqAQ8?origin=https://club.dns-shop.ru

В январе 2013 года Sony выпустила новый мобильный сенсор в 13 Мп — IMX214, достигший размера в 1/3.06″.

В 2013 году на рынок вышли iPhone 5s и Google Nexus 5 с поддержкой авто-HDR и HDR+ соответственно.

IPhone 5s получил первую электронно-гироскопную стабилизацию. Она позволила снизить эффект от тряски рук при съемке видео. https://www.youtube.com/embed/zAvdToMOqus?origin=https://club.dns-shop.ru

Расскажем немного больше о том, что такое стабилизация.

Большинство смартфонов используют электронную стабилизацию. Она дешева и не требует установки дополнительных аппаратных компонентов. Суть ее работы заключается в обрезании видимого диапазона фотографии. К примеру, матрица с отключенной стабилизацией использует 100% своей площади, с включенной — 80%. Изображение стабилизируется за счет обрезанных 20%.

Несмотря на отсутствие аппаратных компонентов, цифровая стабилизация значительно позволяет снизить тряску камеры.

Оптическая стабилизация дороже в производстве за счет наличия дополнительного подвижного механизма. Он позволяет перемещать не изображение с матрицы, а непосредственно матрицу, при этом качество изображения не уменьшается, что, несомненно, плюс.

Электронно-гироскопная стабилизация, как в IPhone 5s, совмещает оптическую и цифровую стабилизацию. По умолчанию смартфон всегда использует первую, но если телефон определяет, что возможности оптической стабилизации не хватает, автоматически подключается цифровая версия.

Еще один шаг к росту качества фото произошел в 2013 году. Тогда Nokia и Microsoft выпустили флагманский камерофон — Nokia Lumia 1020.

В новинку встроили внушительный 41-мегапиксельный объектив PureView-камеры с оптической стабилизацией, фокусным расстоянием 26 мм, диафрагмой f/2,2 и максимальным разрешением фото 7712 × 5360. Благодаря новейшему сенсору, Lumia 1020 позволяла сохранять исходное качество фотографий даже при значительном увеличении снимка.

^{Слева — снимок в полном разрешении (38 Мп), справа — с трехкратным увеличением без потери деталей. hi-tech.mail.ru}

Дополнительной особенностью камеры стала функция бинаризации. Это возможность объединения в фотографиях нескольких соседних пикселей в один. За счет этого растет четкость снимка и снижаются шумы.

25 марта 2014 года в продажу поступает флагман компании HTC — HTC One M8.

Выделялся смартфон наличием сразу двух камер: основного модуля и вспомогательного. Последний измерял глубину кадра и отделял объект от фона. Да здравствует портретный режим!

В мае 2014 года LG представляет миру новый флагман — LG G3 (D855).

Это был первый в мире телефон с лазерной автофокусировкой камеры. Технология работает на основе лазерного дальномера. Излучатель подсвечивает объект перед камерой и возвращает луч обратно. Датчик считывает потраченное время, вычисляя расстояние и регулируя зеркала оптики. Особенностью фокусировки является быстродействие в условиях недостаточной освещенности. Впрочем, есть и ряд ограничений: для лучшего результата объект должен находиться не дальше 0.6 метров от телефона. А на расстоянии свыше пяти метров включается контрастный автофокус.

В 2015 году Samsung первой внедряет фазовый автофокус (PDAF) в свою новинку — Samsung Galaxy S5. Новая технология стала заменой контрастной фокусировке.

Благодаря технологии PDAF, телефон улавливает световой поток из различных точек находящегося перед ним объекта. Затем каждый световой поток делится на две части и передается на сверхчувствительный сенсор. Датчик измеряет расстояние между потоками света и сдвигает линзу на нужное расстояние. Новая технология повысила скорость работы фокусировки. При этом она требовала действительно мощной «начинки» телефона.

Эпоха нейросетей

В 2016 году китайская компания Huawei объявила о начале сотрудничества с немецкой компанией Leica Camera, выпускающей профессиональные камеры.

Huawei выпустила в продажу первые в мире флагманы с гордой надписью Leica возле объективов — Huawei P9 и P9 Plus.

В телефоны встроили сдвоенные камеры с оптикой Leica, сенсором Sony IMX286, максимальным разрешением снимков в 3968 х 2976, трехкратным оптическим зумом. Телефоны отличались улучшенным боке и возможностью снимать черно-белые фотографии.

В марте 2016 года очередной ход сделала компания Samsung.  Она выпустила Samsung Galaxy S7 с улучшенной фокусировкой Dual Pixel.

В сенсоре новинки каждый пиксель получил увеличенные площади и отдельные датчики анализа фокусировки. Конкуренты же оснащали датчиками лишь 5-10% пикселей сенсора. 

https://youtube.com/watch?v=burTxjN53KI%3Forigin%3Dhttps%3A

2017 год открыл новую веху в истории мобильной фотографии. Тогда Apple выпустила на рынок iPhone X.

Apple значительно улучшила и переработала центральный процессор, назвав его Apple A11 Bionic. Приставка Bionic символизирует наличие в чипах Apple нейросетевого модуля Neural Engine.

Изначально новый модуль служил для анализа и распознавания лиц. Но в последующих моделях iPhone он получил больше функций и особенностей.

В том же 2017 году Huawei представила новые флагманы компании — Huawei Mate 10/10 Pro.

Упор в новинках Huawei сделала на новейшие чипсеты HiSilicon Kirin 970 с выделенным нейронным модулем для AI-вычислений. Модуль помогал телефону анализировать сцену перед камерой: еда, животные, интерьер, архитектура и так далее.

Благодаря ИИ, телефон мог автоматически настраивать параметры камеры, проводить цветокоррекцию, улучшать ночную съемку, заниматься бьютификацией (выравнивать тон кожи и удалять различные изъяны на фото).

По мнению издания DXOMARK, на ноябрь 2022 года Huawei Mate имеет лучшую камеру среди конкурентов. Он обогнал даже Google Pixel 7 Pro и iPhone 14 Pro Max.

В сентябре 2018 года Sony представила сенсор IMX586 на 48 Мп. Разрешение фотографий выросло до 8000 x 6000, размеры сенсора — до 1/2″. Новинка позволяла объединять четыре пикселя в один.

Ответ от Samsung не заставил себя ждать. Корейцы выпустили аналогичные сенсоры на 48 Мп — GM1 и GM2. Разрешение сенсора в 1/2″, максимальное разрешение фото — 4000 x 3000 и 8000 x 6000 соответственно.

В 2019 году камеры снова значительно подросли в размерах. Realme и Xiaomi выпустили смартфоны с камерой на 64 Мп — Realme XT и Redmi Note 8 Pro.

В этом же году Xiaomi создала первый в мире смартфон с модулем камеры на 108 Мп — Xiaomi Mi Note 10.

В наличии — сенсор Samsung HMX с размерами 1/1.43’’, светосилой f/1.7 и оптической стабилизацией. Помимо основного сенсора, в наличии имелся телеобъектив на 5 Мп с оптическим зумом 5x и стабилизацией. Широкоугольный объектив в 117 градусов на 20 Мп, телеобъектив на 12 Мп с фиксированным фокусным расстоянием в 50 мм для портретного режима и камера для макросъемки на 2 Мп.

13 октября 2020 года Apple запустила в продажу iPhone 12 и iPhone 12 Pro.https://www.youtube.com/embed/2W_5IdfIHAk?origin=https://club.dns-shop.ru

Здесь представили обновленный нейросетевой модуль Neural Engine. Вместе с новой iOS он позволял делать действительно качественные фото. Фронтальные и тыловые камеры получили функцию Deep Fusion. 

Также в iPhone 12 Pro впервые появился датчик LiDAR для работы с AR‑приложениями (дополненной реальностью).

LiDAR (Light Detection and Ranging) переводится как «обнаружение и определение дальности с помощью света». Датчик испускает световые волны, которые сталкиваются с объектом и отражаются обратно. LiDAR подсчитывает затраченное на возвращение света время, определяет расстояние до объекта и его форму.

Технология позволяет повысить качество фото-видеосъемки, и не только. С ее помощью можно точно измерить габариты объекта, отсканировать его и перевести в 3D-формат, а также запускать приложения с дополненной реальностью. https://www.youtube.com/embed/KJwSMXuQP5s?origin=https://club.dns-shop.ru

Новейшие флагманы

В сентябре 2020 года компания ZTE представила первый в мире смартфон с фронтальной подэкранной камерой на 32 Мп —  ZTE Axon 20.

В 2021 года компания OPPO представила свой флагман — OPPO FIND X3 PRO.https://www.youtube.com/embed/56D2rkedv_4?origin=https://club.dns-shop.ru

Смартфон выделялся наличием камеры микроскопа на 3 Мп с 60-кратным увеличением. Камера-микроскоп позволяет увидеть даже отдельные пиксели на экранах устройств. В общем, новая веха в развитии макросъемки.

В этом же году Samsung выпустила новейшие сенсоры — GN2 и HM3.

GN2 на 50 Мп является самым крупным сенсором Samsung для мобильных телефонов. Внушительные размеры в 1/1.12″, максимальное разрешение снимков 8160 x 6144, система автофокусировки Dual Pixel Pro, поддержка HDR, запись видео в 8К при 480 к/с… В общем, полный набор.

Сенсор HM3 позволяет делать фото размером 12000 x 9000 — при 108 Мп и размерами сенсора в 1/1.33″. Поддержкой 8к при записи видео с частотой 120 к/с и 240 к/с в 4к.

Конкуренцию корейским разработкам составила OmniVision. В 2021 году она выпустила флагманский сенсор OV50A на 50 Мп. Размеры сенсора — 1/1,5″. Заодно — поддержка 8к-видео и продвинутая четырехфазная система автофокусировки (QPD). QPD позволяет фазовому автофокусу охватить площадь сенсора на 100% (по аналогии Dual Pixel от Samsung).

Что впереди?

Мобильные телефоны продолжают соревноваться в области фотографии и видеосъемки. Производители активно внедряют искусственный интеллект, улучшают качество ночных съемок, вводят дополнительные сенсоры.

Сейчас производители делают явный упор на перспективное внедрение нейронных сетей и автоматизацию процессов съемки. Например, телефоны Google Pixel позволяют автоматически удалять лишние объекты из готовых фотографий (машины на заднем фоне или людей). Камеры конкурентов автоматически проводят косметические улучшения снимков за счет ИИ.

Производители с каждым годом увеличивают размеры сенсоров, при этом гонка за количество мегапикселей идет на спад. Зато улучшаются ночные съемки и увеличиваются разрешения изображений. Судя по всему, борьба за «железо» уходит на второй план. Будущее технологий связано именно с искусственным интеллектом и нейросетями.

Статья подготовлена по материалам интернет-ресурсов