Mitsubishi Electric разрабатывает интерфейс и приложение для мгновенного отображения речи в виде 3D-текста при видеозаписи в реальном времени

27.03.2019 16:50

Корпорация Mitsubishi Electric объявила о разработке пользовательского интерфейса SwipeTalk Air, который считается первым в мире интерфейсом на основе технологии дополненной реальности (ДР) для мгновенного отображения произнесенной речи в виде трехмерного текста при записи видео в режиме реального времени. Для размещения текста достаточно провести пальцем по экрану планшета или смартфона. Технология легла в основу приложения SwipeTalk Air на базе операционной системы iOS®, которое интегрирует пользовательский интерфейс, видеозапись и т.д. для создания "живых" видео в социальных сетях.

Опытный образец SwipeTalk Air был представлен на выставке цифровых технологий SXSW (South by Southwest - "К югу через юго-запад"), прошедшей в Остине, штат Техас, США с 8 по 17 марта. В будущем возможности управления и функции пользовательского интерфейса и приложения будут расширены для использования в коммерческих товарах и сервисах.

Ключевые характеристики

1). Пользовательский интерфейс отображает произнесенные слова в виде текста на экране. Пользовательский интерфейс мгновенно отображает произнесенные слова в виде 3D-текста на видео, как только оператор проводит пальцем по экрану мобильного устройства. Камера устройства направляется на объект съемки, произносится несколько слов, на экране пальцем проводится линия, после чего в этой области немедленно появляется текст.

Запись видео и редактирование полностью интегрированы, поэтому пользователи могут вести съемку и вводить текст одновременно.

2). Приложение объединяет различные функции для создания выразительных видеозаписей. Размещение текста в любом месте виртуального пространства экрана позволяет добавить больше выразительности создаваемому видео. Поскольку текст остается на фиксированном месте даже при изменении угла камеры, создание объединяющих текст и изображение объектов видео расширяет возможности реализации идей пользователей. Благодаря быстрому размещению текста пользователь может легко создавать оригинальные видеоролики.

Другие характеристики приложения

1). Отображение текста с помощью маркеров дополненной реальности (ДР-маркеров). Текст отображается на экране по траектории, задаваемой с помощью ДР-маркера.

2). Рисование с применением дополнительной реальности (ДР). Использование дополнительных иллюстраций в ходе видеозаписи, например, стрелок, геометрических фигур или мультипликационных изображений придаёт выразительность и наглядность сообщению.

3). Многоязычный перевод. Размещенный текст можно мгновенно перевести на иностранный язык. Поддержка аудио при переводе отображаемого текста позволяет общаться и взаимодействовать с людьми, говорящими на других языках.

История вопроса

Публикация видео в социальных сетях стала очень распространенным явлением. Пользователи постоянно ищут все более эффектные способы самовыражения с помощью видео. Кроме того, растет спрос на пользовательские интерфейсы, которые позволяют записывать, редактировать и обмениваться видео в режиме реального времени. С 2013 года Центр промышленного дизайна (IDC) корпорации Mitsubishi Electric реализует проект Design X, цель которого - дать дизайнерам возможность свободно разрабатывать инновационные концепции для новых продуктов и услуг на основе исследований пользовательских предпочтений.

Исследование включает в себя интервью с широко известными пользователями социальных сетей с целью получения самой последней информации об их потребностях, например, для быстрого редактирования и обмена видео. Ранее в Центре была разработана технология предшественник анонсированного пользовательского интерфейса: см. пресс-релиз "Mitsubishi Electric разработала первую в мире функцию отображения текста с активацией голосом".

www.mitsubishielectric.ru и www.mitsubishielectric.com

Продукты

Последний вышедший номер

Читайте в номере:

Анализ соответствия человеко-машинного интерфейса автоматизированных рабочих мест персонала блочного пункта управления Ленинградской АЭС-2 современным подходам по проектированию

Многоуровневая оперативная оптимизация технологического режима установок подготовки нефти

Система мониторинга и прогнозирования скорости роста коррозионных повреждений резервуаров для хранения нефти и нефтепродуктов

Применение сетевых моделей в социальных, технических и биологических системах. I. Модели представления знаний

Готовится к печати

Читайте в номере:

Усовершенствованное управление технологическими процессами: зарождение и развитие, состояние и прогноз рынка, российская составляющая, тренды, проблемы импортозамещения

Обнаружение дефектов металлопроката с помощью модифицированной на основе физически-информированного градиентного анализа функции потерь YOLOv8

Методическое обеспечение САПР технологической оснастки в КОМПАС-3D

Функциональная безопасность и кибербезопасность систем противоаварийной автоматической защиты в составе АСУТП технологических процессов нефтепереработки

Адрес редакции: 117997, Москва, Профсоюзная ул., д. 65, оф. 360
Телефон: (926) 212-60-97.
E-mail: info@avtprom.ru или avtprom@ipu.ru

Сайт «Автоматизация в промышленности» предназначен для специалистов по промышленной автоматизации: главных инженеров, главных энергетиков, главных механиков, главных метрологов, инженеров служб АСУ ТП, АСУТП, КИПиА, КИП и А, отделов метрологии, отделов автоматизации, отделов главного инженера, специалистов инжиниринговых и внедренческих фирм, менеджеров фирм системных интеграторов, преподавателей вузов, научных работников, сотрудников научно-исследовательских институтов, студентов и аспирантов.

Сайт «Автоматизация в промышленности» неразрывно связан с одноименным журналом, в котором публикуются концептуальные, научно-практические и внедренческие статьи, посвященные промышленным автоматизированным системам, системам управления бизнес-процессов, программному и алгоритмическому обеспечению, техническим средствам автоматизации, вопросам сертификации, описанию промышленных стандартов, а также обзоры зарубежной прессы.

В каждом номере проводится обсуждение актуальных тем по проблемам создания и применения следующего инструментария: интегрированные АСУ, MES, АСУ П, АСУ ТП, SCADA, АСКУЭ, EAM, ТОИР, ERP, LIMS, ЛИУС, распределенные системы управления, РСУ, система управления качеством выпускаемой продукции, промышленные тренажеры, современные методы и алгоритмы управления и моделирования, коммуникационные средства, GSM–связь, РС-совместимые контроллеры, ПК, человеко-машинный интерфейс, встраиваемые системы, Web-технологии, HTML-технологии, числовое программное управление, ЧПУ, виртуальные приборы, виртуальное измерение, беспроводная связь, имитационное моделирование, Ethernet, Internet-технологии, Industry 4.0, Интернет вещей, промышленный Интернет вещей, IIoT, IoT, Четвертая промышленная революция, навигационные системы, роботы, датчики, сенсоры, диагностика клапанов, водоподготовка, экологические системы, производственная безопасность, идентификация, RFID-технологии, машинное зрение, промышленные сети, средства промышленного монтажа, корпуса и конструктивные решения, пневмоавтоматика, ПЛК, программируемые логические контроллеры, интеллектуальные датчики, сервосистемы, системы поддержки принятия решений и т.д.

Вниманию читателей предлагаются подборки по автоматизации следующих отраслей промышленности и народного хозяйства: металлургия, нефтегазовая отрасль, химическая промышленность, транспорт, сельское хозяйство, комбикормовая и перерабатывающая промышленность, автомобилестроение, энергетика, электроэнергетика, жилищно-коммунальное хозяйство, интеллектуальное здание, умный дом, непрерывное производство (рецептурное), дискретное производство, пищевая промышленность и др.