Как Google создавали камеру для Google Pixel и Nexus с 2011 года

Камера в Google Pixel крутая. В предыдущих Nexus тоже «топчик». Для фотосъёмки на смартфоне – это пример для подражания. И казалось бы, как так вышло, что Google, никогда не разрабатывая собственных модулей, взяла, палочкой взмахнула, и камеры в их смартфонах стали соревноваться с флагманами Samsung и iPhone? Всё просто, если конечно, так можно выразиться. Словно айсберг: видимый результат – это его верхушка, а остальная часть таится где-то в глубинах.

Оказывается, Google работала над Gcam (Google Camera) ещё с 2011 года. Разработки, тесты алгоритмов съёмки, большие массивы данных и всё в таком духе. В своём блоге Google выложила материал о том, как продвигалась работа – это любопытно.

Проект Gcam стартовал в далеком в 2011 году, когда Себастьян Траун, глава проекта «X» искал камеру, которая могла бы работать с очками Google Glass. Эти умные очки позволяют снимать фотографии от первого лица и делиться снимками с окружающим миром, при этом гаджет не нужно доставать из кармана.

Эта функция могла пригодиться каждому, от родителей с маленькими детьми до врачей, выполняющих операции. Однако, для того, чтобы люди захотели пользоваться таким устройством, качество снимков должны было сравняться с камерами мобильных телефонов.

Команда, работающая над Google Glass, столкнулась с рядом проблем в дизайне камеры: крошечная камера и объектив накапливали мало света, поэтому изображения в условиях низкой освещённости или высокой контрастности часто получались низкого качества.

У очков был небольшой сенсор, по сравнению с модулями мобильных телефонов, что ещё сильнее уменьшало производительность в условиях низкой освещённости, а показатель динамического диапазона был так же слаб. К тому же, вычислительная мощность Google Glass и слабенький аккумулятор накладывали свои ограничения.

Поскольку Google Glass хотели сделать лёгкими, создание более крупной камеры было не самым подходящим вариантом. Поэтому команда сначала задала себе вопрос: «может мы посмотрим на эту проблему совершенно по-новому? Что если вместо того, чтобы пытаться решить её с помощью лучшего оборудования, мы могли бы сделать это с помощью интеллектуальных программных решений?».

Google обратилась к Марку Левою, преподавателю факультета информатики Стэнфордского университета, эксперту в области вычислительной фотографии. Он занимался технологией захвата и обработки изображений на базе программного обеспечения.

В 2011 году Марк сформировал команду в подразделении X, известную как Gcam. Их задачей было улучшить фотографию на мобильных устройствах, применяя вычислительные техники фотографии. Команда Gcam исследовала метод, называемый fusion image, который создает быструю последовательность кадров, а затем совмещает их, чтобы создать единый, более качественный образ. Эта техника позволила им изобразить сцены с тусклым освещением более детально, а сцены с переменным освещением – с большей ясностью. Это позволило добиться более резкого изображения на снимках.

Image fusion дебютировал в Google Glass в 2013 году, а вскоре стало очевидным, что эта технология может использоваться за пределами Google Glass. В компании понимали, что камеры в смартфонах всё ещё плохо снимают в местах со слабой освещённостью, пользователю нужно было дать это. Следующая итерация Gcam пополнила свою коллекцию функцией HDR+, она вышла за рамки Google Glass и была запущена в приложении для Android на Nexus 5, а затем и в Nexus 6.

Gcam в 2015 году перешла под управление Google Research. Сейчас команда работает с целым рядом технологий, включая Android, YouTube, Google Photos и VR. Некоторые из программных наработок команды Gcam включены в Lens Blur – функцию в приложении камеры Google и в программном обеспечении, сшивающем панорамы для видеороликов «Jump˚ 360˚Virtual Reality».

Совсем недавно технология HDR+ от Gcam была запущена в качестве режима по умолчанию в смартфоне Google Pixel. В 2016 году DxOMark, рейтинговый ресурс посвящённый камерам, заявил, что камера Pixel была «лучшей камерой в смартфоне за всё время». Размышляя о развитии проекта, Марк говорит: «Потребовалось пять лет, чтобы сделать это действительно правильно … Проект X дал нашей команде долгосрочные горизонты и независимость, чтобы это продолжалось и дальше».

Что ждёт Gcam в будущем? «Одно из направлений, которое мы используем – это машинное обучение», – объясняет Марк. «Существует множество возможностей для творческих вещей, которые фактически изменяют внешний вид того, на что вы смотрите. К примеру, создание умного алгоритма для лучшего баланса белого. Или то, что мы можем сделать с фоном на фотографии, если мы «размоем» его, осветлим, стилизуем. У нас самая выгодная ситуация в мире, с точки зрения машинного обучения, поэтому это реальная возможность объединить творческий мир с миром вычислительной фотографии». Что бы ни случилось дальше, можно с уверенностью сказать, что будущее у Gcam мгногообещающее.