Mitsubishi Electric разрабатывает технологию осознанного взаимодействия с внешней средой

Корпорация Mitsubishi Electric (TOKYO: 6503) объявила о разработке первой в мире технологии естественно-интуитивного взаимодействия, основанной на способности воспринимать происходящее в окружающей среде и переводить мультимодальную сенсорную информацию на доступный язык. Разработка включает в себя запатентованную Mitsubishi Electric технологию компактного искусственного интеллекта Maisart, который помогает анализировать мультимодальную сенсорную информацию и трансформировать её в интуитивное взаимодействие с людьми посредством голосовых сообщений.

Технология распознает объекты и происходящее на основе информации с мультимодальных датчиков: фото и видео с камер, звуковой информации с микрофонов, и геопозиции, которая определяется через лидар. Чтобы установить приоритетность категорий информации, Mitsubishi Electric разработала технологию Attentional Multimodal Fusion (многоуровневая система синтеза информации на основе ИИ), которая способна автоматически оценивать значимую информацию для высокоточного описания действий. Во время финального тестирования технология мультимодального синтеза использовала для анализа значения аудио- и видеоинформации для оценки изображения на основе оценки (CIDEr) **. Данный способ распознавания признан на 29% эффективнее, чем в случае использования только визуальной информации. Технология, разработанная компанией Mitsubishi Electric, представляет собой мощную кросс-функциональную систему для понятного взаимодействия с пользователем в разных ситуациях.

Законченное решение — технология осознанного взаимодействия с внешней средой — предоставит водителям расширенные рекомендации по маршруту. Например, вместо того, чтобы инструктировать водителя «поверните направо через 50 метров», система предоставит более детальное ориентирование на местности: «поверните направо перед почтовым ящиком» или «следуйте за серой машиной, поворачивающей направо». Кроме того, система будет генерировать голосовые предупреждения, такие как «пешеход переходит улицу», когда для близлежащих объектов будет спрогнозировано пересечение с траекторией автомобиля. Для достижения подобной функциональности, система анализирует окружающую среду выявляет визуальные ориентиры, движущиеся предметы и людей, а затем использует технологию распознавания объектов и происходящего для создания понятных инструкций.

Последние достижения в области предиктивной диагностики распознавания объектов, описания видео, генерации диалогов с использованием нейронных сетей позволяют машинам лучше взаимодействовать с людьми. Легко предположить, что данная технология будущего найдет широкое применение в автомобильной промышленности, а именно в информационно-развлекательных системах транспортных средств, в системах автоматизации зданий и предприятий, где подразумевается взаимодействие с роботами-манипуляторами, в здравоохранении для решения задач, требующих соблюдения социальной дистанции, на предприятиях и в общественных местах, где обязательным условием является бесконтактная работа с оборудованием.

Дополнительный материал:

MitsubishiElectric.com  и  MitsubishiElectric.ru