Frankencamera 2.0 - прототип платформы в области цифровой фотографии
Содержание:
1.Камера Франкенштейна (Вы читаете данный раздел);
2. Средства разработки.
В конце августа 2009 года на сайте Стенфордского университета появилась новость «Цифровые камеры с открытым кодом могут произвести революцию в цифровой фотографии» (http://news.stanford.edu/news/2009/august31/levoy-opensource-camera-090109.html). Речь шла о том, что ученые из этого учебного заведения создали прототип открытой цифровой фотокамеры, которая предоставляет программистам широкие возможности. Об этом проекте и пойдет речь в статье.
Frankencamera - такое название получил прототип устройства, которое разработчики называют Open Source-фотокамерой. Она реализована профессором Марком Левойем и аспирантом Эндрю Адамсом из Лаборатории компьютерной графики (http:// graphics.stanford.edu) Стенфордского университета. Свое необычное название (камера Франкенштейна) устройство получило в силу того, что включает в себя различные части от других цифровых фото- и видеокамер. Так, в Frankencamera используется модуль камеры от сотового телефона Nokia N95. Вычислительное ядро представлено «системой на кристалле» (SoC, «system on a chip») Texas Instruments OMAP3 с CPU, GPU и DSP (для обработки цифровых сигналов). Чип визуализации Aptina MT9P031 (он же используется в телефоне Nokia N95) смонтирован на сенсорную плату Elphel 10338, а также задействованы линзы «off-the-shelf» (готовые компоненты, которые не разрабатывались специально, но являются стандартными) объектива Canon EOS, для крепления которого применяется продукция Birger Engineering, что дает возможность профессионального контроля функций объектива.
Управляется Frankencamera операционной системой GNU/ Linux. Кроме того, многие составляющие проекта по-прежнему находятся в стадии разработки, например, пользовательский интерфейс, программная архитектура («What's inside the Frankencamera?», http://graphics.stanford.edu/projects/camera-2.0/faq.html). Также развивается программный стек для поддержки аппаратной части визуализации Nokia N900 (выпуск запланирован на 2010 год). Когда будет готов «финальный релиз» устройства, разработчики обещают представить подробную документацию.
Стоит отметить, что первые модели были построены на базе камеры Elphel. Но, как заявляют разработчики Frankencamera, при добавлении видоискателя и питания с аккумуляторами к плате Elphel получилось «устройство неловких формы и размеров» с задержками. Поскольку они стремились создать автономное устройство, состоялся переход на уже упомянутую SoC-систему от TI. В ответ на это Андрей Филиппов, основатель Elphel, в блоге разработчиков компании указал (http://blogs.elphel.com/2009/09/ elphel-and-stanford-frankencamera), что в камерах Elphel используется MPlayer (запускается на клиентском компьютере) и проблем с задержками нет (задержки имеют место, когда плеер, используемый в камере, буферизует видео до проигрывания) - они являются минимальными и составляют менее 30 мс. Это делает возможным применение камеры и ПК с использованием приложений реального времени - например, в качестве замены зеркала заднего вида в мобильном офисе Elphel.
Мобильный офис Elphel
Примером мобильного офиса Elphel может служить так называемый Recreational Vehicle Андрея Филиппова, который представлен на рис. 2. Но в данном случае «основная спальня» ( master bedroom) переделана в офис и используются батареи большой емкости. На крыше мобильного офиса установлена спутниковая антенна, посредством которой доступен интернет и VoIP-телефония.
По словам директора Elphel, несмотря на активное сотрудничество между его компанией и инициативой Frankencamera в начале, сегодня проекты взаимодействуют мало: разработчики стенфордской камеры ограничиваются закупками сенсорной платы Elphel 10338. В то же время в официальном анонсе Frankencamera (http://news.stanford.edu/news/2009/august31/levoy-opensource-camera-090109.html) и на официальном сайте проекта (http://graphics.stanford.edu/projects/camera-2.0) мне не удалось найти информацию о сотрудничестве с компанией Elphel. И даже более того, в разделе FAQ (http://graphics.stanford.edu/projects/ camera-2.0/faq.html) приводятся довольно странные утверждения по поводу мобильности камер Elphel, о чем я уже сообщал. При этом на страницах описания проекта (https://graphics.stanford. edu/wikis/camera2 0/Detailed project descriptions) разработки Elphel упоминаются довольно активно.
Сам проект создания платформы Frankencamera состоит из двух подпроектов. Вычислительная фотография (computational photography) в мобильных телефонах и Frankencamera из Стэнфорда (Stanford Frankencamera). Вычислительная фотография - это стратегия и алгоритмические методы улучшения и/или расширения возможностей цифровой фотографии. В целом термин призван обозначить, что речь идет о передовых технологиях в области обработки фото и видео. Результатом применения этих методов является фотография, которая не может быть получена традиционной камерой. Данные методы включают в себя широкий динамический диапазон изображений; обработка изображений, снятых со вспышкой/без вспышки; кодирование апертуры (возможность собирать свет и недопущение дифракционного размытия деталей фотографии) и экспозиции изображения; использование структурированного освещения для фотографий; цифровой фотомонтаж и т.д. Таким образом, первый подпроект ориентирован на использование преимуществ развития мобильной фотографии (дисплей высокого разрешения, 3D-графика и высококачественный звук и т.д.) для разработки приложений вычислительной фотографии для сотовых телефонов. А второй - на создание открытой платформы для работы с вычислительной фотографией и организацию соответствующих курсов.
Проект Frankencamera начинался Лабораторией компьютерной графики (http://graphics.stanford.edu) Стенфордского университета и Лабораторией исследовательского центра Nokia Palo Alto (http://research.nokia.com/locations/palo-alto). Сегодня его поддерживают такие компании, как Nokia, Adobe Systems, Kodak и Hewlett-Packard и Walt Disney Company. Впрочем, стоит отметить, что сама камера пока далека от того, чтобы именоваться Open Source-проектом, как заявляют разработчики. На сегодня нет ничего кроме обещаний об открытии документации (схем, исходных кодов и т.д.). Возможно, из-за этого на сайте Массачусетского технологического института Frankencamera классифицирована как «более или менее открытый» проект (http://web.media.mit.edu/~labrune/oc). С другой стороны, это всего лишь прототип, так что можно надеяться на исправление ситуации в будущем и выполнение обещаний разработчиков относительно его открытости.
Гораздо больше, чем open source камера, Вас интересуют консультации по управлению ИТ (http://www.sistyle.ru/services/expertise-and-consulting), которые позволят Вам вывести свой бизнес на совершенно новый уровень? В таком случае рекомендую обратиться за помощью к опытным специалистам в данной области. На их роль идеально подойдут сотрудники компании «Систайл»!
1.
2. Средства разработки.
В конце августа 2009 года на сайте Стенфордского университета появилась новость «Цифровые камеры с открытым кодом могут произвести революцию в цифровой фотографии» (http://news.stanford.edu/news/2009/august31/levoy-opensource-camera-090109.html). Речь шла о том, что ученые из этого учебного заведения создали прототип открытой цифровой фотокамеры, которая предоставляет программистам широкие возможности. Об этом проекте и пойдет речь в статье.
Камера Франкенштейна
Frankencamera - такое название получил прототип устройства, которое разработчики называют Open Source-фотокамерой. Она реализована профессором Марком Левойем и аспирантом Эндрю Адамсом из Лаборатории компьютерной графики (http:// graphics.stanford.edu) Стенфордского университета. Свое необычное название (камера Франкенштейна) устройство получило в силу того, что включает в себя различные части от других цифровых фото- и видеокамер. Так, в Frankencamera используется модуль камеры от сотового телефона Nokia N95. Вычислительное ядро представлено «системой на кристалле» (SoC, «system on a chip») Texas Instruments OMAP3 с CPU, GPU и DSP (для обработки цифровых сигналов). Чип визуализации Aptina MT9P031 (он же используется в телефоне Nokia N95) смонтирован на сенсорную плату Elphel 10338, а также задействованы линзы «off-the-shelf» (готовые компоненты, которые не разрабатывались специально, но являются стандартными) объектива Canon EOS, для крепления которого применяется продукция Birger Engineering, что дает возможность профессионального контроля функций объектива.
Управляется Frankencamera операционной системой GNU/ Linux. Кроме того, многие составляющие проекта по-прежнему находятся в стадии разработки, например, пользовательский интерфейс, программная архитектура («What's inside the Frankencamera?», http://graphics.stanford.edu/projects/camera-2.0/faq.html). Также развивается программный стек для поддержки аппаратной части визуализации Nokia N900 (выпуск запланирован на 2010 год). Когда будет готов «финальный релиз» устройства, разработчики обещают представить подробную документацию.
Стоит отметить, что первые модели были построены на базе камеры Elphel. Но, как заявляют разработчики Frankencamera, при добавлении видоискателя и питания с аккумуляторами к плате Elphel получилось «устройство неловких формы и размеров» с задержками. Поскольку они стремились создать автономное устройство, состоялся переход на уже упомянутую SoC-систему от TI. В ответ на это Андрей Филиппов, основатель Elphel, в блоге разработчиков компании указал (http://blogs.elphel.com/2009/09/ elphel-and-stanford-frankencamera), что в камерах Elphel используется MPlayer (запускается на клиентском компьютере) и проблем с задержками нет (задержки имеют место, когда плеер, используемый в камере, буферизует видео до проигрывания) - они являются минимальными и составляют менее 30 мс. Это делает возможным применение камеры и ПК с использованием приложений реального времени - например, в качестве замены зеркала заднего вида в мобильном офисе Elphel.
Мобильный офис Elphel
Примером мобильного офиса Elphel может служить так называемый Recreational Vehicle Андрея Филиппова, который представлен на рис. 2. Но в данном случае «основная спальня» ( master bedroom) переделана в офис и используются батареи большой емкости. На крыше мобильного офиса установлена спутниковая антенна, посредством которой доступен интернет и VoIP-телефония.
По словам директора Elphel, несмотря на активное сотрудничество между его компанией и инициативой Frankencamera в начале, сегодня проекты взаимодействуют мало: разработчики стенфордской камеры ограничиваются закупками сенсорной платы Elphel 10338. В то же время в официальном анонсе Frankencamera (http://news.stanford.edu/news/2009/august31/levoy-opensource-camera-090109.html) и на официальном сайте проекта (http://graphics.stanford.edu/projects/camera-2.0) мне не удалось найти информацию о сотрудничестве с компанией Elphel. И даже более того, в разделе FAQ (http://graphics.stanford.edu/projects/ camera-2.0/faq.html) приводятся довольно странные утверждения по поводу мобильности камер Elphel, о чем я уже сообщал. При этом на страницах описания проекта (https://graphics.stanford. edu/wikis/camera2 0/Detailed project descriptions) разработки Elphel упоминаются довольно активно.
Сам проект создания платформы Frankencamera состоит из двух подпроектов. Вычислительная фотография (computational photography) в мобильных телефонах и Frankencamera из Стэнфорда (Stanford Frankencamera). Вычислительная фотография - это стратегия и алгоритмические методы улучшения и/или расширения возможностей цифровой фотографии. В целом термин призван обозначить, что речь идет о передовых технологиях в области обработки фото и видео. Результатом применения этих методов является фотография, которая не может быть получена традиционной камерой. Данные методы включают в себя широкий динамический диапазон изображений; обработка изображений, снятых со вспышкой/без вспышки; кодирование апертуры (возможность собирать свет и недопущение дифракционного размытия деталей фотографии) и экспозиции изображения; использование структурированного освещения для фотографий; цифровой фотомонтаж и т.д. Таким образом, первый подпроект ориентирован на использование преимуществ развития мобильной фотографии (дисплей высокого разрешения, 3D-графика и высококачественный звук и т.д.) для разработки приложений вычислительной фотографии для сотовых телефонов. А второй - на создание открытой платформы для работы с вычислительной фотографией и организацию соответствующих курсов.
Проект Frankencamera начинался Лабораторией компьютерной графики (http://graphics.stanford.edu) Стенфордского университета и Лабораторией исследовательского центра Nokia Palo Alto (http://research.nokia.com/locations/palo-alto). Сегодня его поддерживают такие компании, как Nokia, Adobe Systems, Kodak и Hewlett-Packard и Walt Disney Company. Впрочем, стоит отметить, что сама камера пока далека от того, чтобы именоваться Open Source-проектом, как заявляют разработчики. На сегодня нет ничего кроме обещаний об открытии документации (схем, исходных кодов и т.д.). Возможно, из-за этого на сайте Массачусетского технологического института Frankencamera классифицирована как «более или менее открытый» проект (http://web.media.mit.edu/~labrune/oc). С другой стороны, это всего лишь прототип, так что можно надеяться на исправление ситуации в будущем и выполнение обещаний разработчиков относительно его открытости.
Гораздо больше, чем open source камера, Вас интересуют консультации по управлению ИТ (http://www.sistyle.ru/services/expertise-and-consulting), которые позволят Вам вывести свой бизнес на совершенно новый уровень? В таком случае рекомендую обратиться за помощью к опытным специалистам в данной области. На их роль идеально подойдут сотрудники компании «Систайл»!
