Эксклюзивное интервью. Интеллектуальное кадрирование в новых камерах Poly, совместимость и планы на будущее

Задали несколько вопросов компании Poly про вышедшее недавно оборудование и его программную начинку. Речь про камеру Studio E70 и видеобар Studio X70. 

Специально для В+К рецептами и алгоритмами делился специалист по маркетингу Гэвин Сир (Gavin Sear), который отвечает за запуск и поддержку гарнитур, видео и голосовых решений.

Poly Studio E70

Интеллектуальная ePTZ-камера Poly Studio E70 с двумя 4K-объективами и 20-мегапиксельными сенсорами предназначена для больших конференц-залов. Стартовая стоимость заявлена $3499.

Poly Studio X70

Выше видеобар Poly Studio X70. У него тоже два 4K-объектива со шторкой, кроме того, стереозвук, MEMS-микрофоны с радиусом действия 7,6 м, шумоподавление NoiseBlockAI, Acoustic Fence для ограничения зоны захвата звука. Встроена поддержка разных провайдеров облачной видеосвязи наряду с Zoom. Будет стоить от $7760.

Интеллектуальное кадрирование

Вы наверное уже слышали про интеллектуальное кадрирование. Это модная фишка, которая показывает вам участников собрания по ту сторону кадра не всех вместе, заседающих за большим столом, а только говорящих, но значительно ближе и крупнее. Поскольку оператор — дорогостоящее развлечение, разработчики научили камеры переключаться между спикерами. Интеллектуальное отслеживание спикеров, автонаведение и кадрирование в линейке Poly обеспечивает технология Poly DirectorAI. Ниже зададим Гэвину несколько вопросов и попытаемся узнать, как на самом деле это работает.

Видео+Конференция: Есть одно узкое место. Если разговор оживленный, а спикеров, например, 5 человек, камера вынуждена будет постоянно отъезжать-наезжать и прыгать, переключаясь между перебивающими друг друга людьми. Как эту задачу решает алгоритм Poly Director AI?

Poly: У моделей Poly Studio E70 и X70 по два объектива: узкий с углом обзора 70° и широкий с углом обзора 120°. Камера плавно переключаются между ними, что помогает корректно снимать переговорщиков, сидящих как далеко, так и близко к камере.

Софт устраняет искажения типа «рыбий глаз», которые дает широкоугольный объектив. Количество людей в кадре определяется по лицам. По ним же программа обнаруживает вновь прибывших, в том числе в масках, так как ориентируется по глазам. Может игнорировать неподвижные объекты типа портрета основателя компании на стене.

Зеленым обозначаются обнаруженные лица. Синяя рамка — так называемая зона интереса, которая захватывает всех участников. Голубая вертикальная линия — детектор звука, перемещается туда где говорит спикер. Это, конечно, закадровый алгоритм, зрители видят красивый результат без рамок и полосок.  

Есть общий кадр, в который попадают все участники встречи, и есть 2 виртуальные камеры, которые постоянно наводятся на активно говорящего. Также есть кадр с предыдущим спикером. 

Камера не будет метаться от одного человека к другому. Если они сидят рядом, она отъедет и покажет на экране обоих на время активного диалога. Если к разговору присоединяется кто-то на другом конце переговорной, камера, снимавшая предыдущего спикера, переключится на нового собеседника простой сменой кадра, без затяжных переездов через всю комнату. Таким образом, в зоне внимания всегда минимум два активных участника обсуждения.

Видео+Конференция: Данные для наведения и автофокусировки обрабатываются непосредственно в камере? Или сырое изображение отдается в кодек/на ПК, где драйвера производят обработку за счет драгоценных ресурсов системы?

Poly: Нет, вся обработка происходит в камере, никуда не делегируется, никакой дополнительный софт не требуется. Для любого сервиса видеосвязи вы получите одинаковый результат. Камера выдает уже все готовое.

Совместимость

Видео+Конференция: В технической документации написано, что Studio E70 работает только с кодеком G7500 и ПО Teams Rooms для Windows. Подключить камеру как USB-периферию к любому компьютеру не получится?

На самом деле в процессе нашего разговора собеседники используют камеру как USB-девайс, подключенный к ПК, на котором установлен обычный клиент Microsoft Teams, а не специальный для переговорных комнат. Вы тоже можете так делать, но пока без гарантий со стороны Poly, потому что это «completely unsupported». 

Poly: Приоритетом является совместимость с популярными экосистемами и специальным оборудованием, которое позволяет в полной мере использовать возможности камеры и искусственного интеллекта. Для персонального использования есть более подходящие продукты — Poly Studio USB, Poly Studio P15. По мере прохождения тестов информация о совместимых ПК будет обновляться.

Видео+Конференция: Какие операционные системы будет поддерживать Studio E70?

Poly: Microsoft Teams Rooms и Poly VideoOS на базе Android в рамках системы G7500. Что-то наверняка работает, но пока без гарантии.

Нашему упоминанию Linux собеседники удивились и даже поинтересовались, неужели он так популярен в России, что возникает отдельный вопрос.

Переговоры по-новому

Google и Microsoft активно продвигают новые идеи для гибридной работы. Люди дома и в офисе, по их мнению, присоединяясь к одному и тому же собранию, чувствуют себя по-разному. Для «выравнивания» их опыта вендоры предлагают сажать всех полукругом, размещать изображения собеседников адекватного размера на уровне глаз, совмещать источник звука с изображением говорящего и так далее.

Видео+Конференция: Что думает Poly? Есть ли рекомендации по расстановке мебели и оборудования? Может быть, в планах новые функции софта, кодеков, камер?

Poly: Мы видим перспективу в трансляции с разных ракурсов. Работаем над тем, чтобы  последовательно подключать несколько камер в переговорной и эффективно передавать с них звук и видео, создавая ощущение присутствия.

Эта идея пересекается с популярным сейчас кадрированием по типу Smart Gallery, когда собеседников показывают каждого отдельно, приближая лица и выравнивая их по размеру. Идея Poly в том чтобы показывать не только лица, но и позы, жесты. Это сильно облегчает восприятие и обработку невербальной информации, большую часть которой мы теряем в процессе видеосвязи.

Для заботы о здоровье переговорщиков Poly оснастила камеры датчиками CO2 и VOC (первые про углекислый газ, вторые про вредную летучую органику в воздухе).

Что где почем

Представители Poly в России говорят, что Studio E70 появится у нас в начале февраля 2022 года, по цене можно ориентироваться примерно на $3500 без учета налогов.

Studio X70 будет в конце марта. Стоить будет от $7760, в комплекте с управляющим тачскрином TC8 — $8314, это тоже без налогов.

_________

Все изображения предоставлены компанией Poly

Читайте так же:

  • Пользовательский контент на сайтеПользовательский контент на сайте Кто отвечает за создание наиболее ценного контента вашей компании? Ваша маркетинговая команда? Агентство? - Ты? Как насчет ваших клиентов? Клиенты круглосуточно генерируют качественный контент для компаний по всему миру. По моему опыту, однако, немногие компании поняли этот факт, не […]
  • Google Ads рассказал об изменениях, связанных с новыми правилами AppleGoogle Ads рассказал об изменениях, связанных с новыми правилами Apple Google Ads рассказал рекламодателям об изменениях. Которые внедряет. Нововведения связаны с вступлением в силу новых правил конфиденциальности Apple. 26 апреля вышло обновление iOS 14.5, которое требует от приложений AppStore запрашивать у пользователей разрешение на отслеживание […]
  • В подписке VK Combo появились скидки на обучениеВ подписке VK Combo появились скидки на обучение Владельцам подписки VK Combo стали доступны скидки на курсы от образовательных платформ экосистемы VK: Skillbox, Учи.Дома и Учи.ру. Владельцы подписки теперь могут приобрести онлайн-курсы и индивидуальные занятия со скидкой от 20 до 55%: в Skillbox — 45% на все курсы, 55% на все […]
  • Экспресс-доставка товаров с Маркета заработала в Воронеже, Самаре, Перми и УфеЭкспресс-доставка товаров с Маркета заработала в Воронеже, Самаре, Перми и Уфе Экспресс-доставка товаров с Маркета заработала в Воронеже, Самаре. Перми и Уфе. Теперь к экспресс-доставке могут подключиться партнеры в 16 городах – и курьеры Яндекс Go будут привозить покупателям заказы в течение 2 часов. Возможность получить заказ […]