Хорошо выраженная мысль звучит умно на всех языках.Драйден
"Инфосистемы Джет" построила Data Lake для НЛМК
12.09.2019 13:42
Эксперты "Инфосистемы Джет" разработали для мирового лидера сталелитейной промышленности систему анализа данных и моделирования (САДиМ), которая отвечает за доступность и качество данных, а также предоставляет инструментарий для вычислений и анализа. Внедренная система уже сейчас позволяет группе НЛМК эффективнее вести разработку цифровых сервисов и моделей машинного обучения для оптимизации производственных процессов.
В цехах и на агрегатах предприятия эксплуатируются десятки систем, которые накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены десятки тысяч датчиков, которые непрерывно собирают и передают данные. Подразделению Data Science НЛМК требовался удобный инструмент для работы с получаемыми данными под разрабатываемые модели машинного обучения (ML).
Для решения задачи Центр программных решений ИТ-компании "Инфосистемы Джет" совместно с командой НЛМК создали Data Lake ёмкостью 300 терабайт на базе отечественного дистрибутива распределенной платформы хранения Hadoop. Для решения задач сбора, передачи, трансформации и накопления данных были использованы такие сервисы, как Apache Kafka, Apache NiFi, Apache Hive.
В рамках проекта специалисты запустили регулярную загрузку данных в Data Lake из более чем 70 источников (датчиков, а также MES и АСУ ТП), загрузили исторические данные за последние несколько лет работы предприятия и разработали карты данных технологических и производственных процессов отдельных цехов.
В рамках проекта команда "Инфосистемы Джет" разработала для НЛМК модель унифицированной витрины данных, а также процессы загрузки в неё, реализовала управление мета-данными средствами Apache Atlas (тэгирование, поиск и т.д.), настроила централизованную ролевую модель и её интеграцию с Active Directory. Это дало возможность дата-сайнтистам НЛМК оперативнее получать в Data Lake доступ к нужным им данным.
Для контроля работы Data Lake был также настроен комплексный мониторинг состояния сервисов системы в Zabbix, а также разработаны автотесты для контроля целостности и полноты данных. Для особо важных и уязвимых данных была создана возможность резервного копирования: то есть, в случае непреднамеренного уничтожения данных пользователем их можно будет восстановить.
"Создание озера данных, которое действительно приносит экономическую пользу заказчику - это непростая задача как с технической, так и с организационной точки зрения. И тут дело не только в железе, интеграции и программировании. Очень важна готовность производства собирать и передавать качественные данные, а потом использовать результаты анализа этих данных для принятия производственных решений. В сотрудничестве с коллегами из НЛМК, которые со стороны всех подразделений проявили высокий профессионализм и заинтересованность, нам удалось оперативно создать решение, сделавшее производство действительно цифровым", - подчеркивает Владимир Молодых, директор по разработке и внедрению программного обеспечения "Инфосистемы Джет".
Последний вышедший номер
Читайте в номере:
Готовится к печати
Читайте в номере:
Адрес редакции: 117997, Москва, Профсоюзная ул., д. 65, оф. 360
Телефон: (926) 212-60-97.
E-mail: info@avtprom.ru или avtprom@ipu.ru
© ООО Издательский дом "ИнфоАвтоматизация", 2003-2026 гг.
Сайт «Автоматизация в промышленности» предназначен для специалистов по промышленной автоматизации: главных инженеров, главных энергетиков, главных механиков, главных метрологов, инженеров служб АСУ ТП, АСУТП, КИПиА, КИП и А, отделов метрологии, отделов автоматизации, отделов главного инженера, специалистов инжиниринговых и внедренческих фирм, менеджеров фирм системных интеграторов, преподавателей вузов, научных работников, сотрудников научно-исследовательских институтов, студентов и аспирантов.
Сайт «Автоматизация в промышленности» неразрывно связан с одноименным журналом, в котором публикуются концептуальные, научно-практические и внедренческие статьи, посвященные промышленным автоматизированным системам, системам управления бизнес-процессов, программному и алгоритмическому обеспечению, техническим средствам автоматизации, вопросам сертификации, описанию промышленных стандартов, а также обзоры зарубежной прессы.
В каждом номере проводится обсуждение актуальных тем по проблемам создания и применения следующего инструментария: интегрированные АСУ, MES, АСУ П, АСУ ТП, SCADA, АСКУЭ, EAM, ТОИР, ERP, LIMS, ЛИУС, распределенные системы управления, РСУ, система управления качеством выпускаемой продукции, промышленные тренажеры, современные методы и алгоритмы управления и моделирования, коммуникационные средства, GSM–связь, РС-совместимые контроллеры, ПК, человеко-машинный интерфейс, встраиваемые системы, Web-технологии, HTML-технологии, числовое программное управление, ЧПУ, виртуальные приборы, виртуальное измерение, беспроводная связь, имитационное моделирование, Ethernet, Internet-технологии, Industry 4.0, Интернет вещей, промышленный Интернет вещей, IIoT, IoT, Четвертая промышленная революция, навигационные системы, роботы, датчики, сенсоры, диагностика клапанов, водоподготовка, экологические системы, производственная безопасность, идентификация, RFID-технологии, машинное зрение, промышленные сети, средства промышленного монтажа, корпуса и конструктивные решения, пневмоавтоматика, ПЛК, программируемые логические контроллеры, интеллектуальные датчики, сервосистемы, системы поддержки принятия решений и т.д.
Вниманию читателей предлагаются подборки по автоматизации следующих отраслей промышленности и народного хозяйства: металлургия, нефтегазовая отрасль, химическая промышленность, транспорт, сельское хозяйство, комбикормовая и перерабатывающая промышленность, автомобилестроение, энергетика, электроэнергетика, жилищно-коммунальное хозяйство, интеллектуальное здание, умный дом, непрерывное производство (рецептурное), дискретное производство, пищевая промышленность и др.