Архитектура и методология верификации гибридной интеллектуальной системы поддержки оператора АЭС

Предложены архитектурные и методические решения для верификации гибридной интеллектуальной системы поддержки оператора АЭС, объединяющей машинное обучение, базу экспертных правил и цифровой двойника. Методология строится как многоуровневый процесс верификации и валидации: покомпонентная верификация (включая статические ограничения, воспроизводимость обучения и динамические испытания моделей машинного обучения (МО)), формальная проверка логики и непротиворечивости правил с использованием SAT/SMT-подходов, а также интеграционная верификация согласованности выводов, временных ограничений и режимов управляемой деградации. Для выявления граничных случаев предложено применять метаморфное тестирование МО-компонентов, основанное на физических инвариантах и эксплуатационных ограничениях, а также сценарные проверки объяснимости и прослеживаемости рекомендаций. Показано, что предложенный подход позволяет выявлять несогласованности между разнородными подсистемами и снижать риск скрытых дефектов до этапа валидации системы.

Аффилиация авторов

Жарко Елена Филипповна – канд. техн. наук, старший научный сотрудник,

Абдулова Екатерина Алексеевна - научный сотрудник,

Чернышев Кирилл Романович – канд. физ.-мат. наук, старший научный сотрудник,

Институт проблем управления им. В.А. Трапезникова РАН.

Контактные телефоны: +7 495 198-17-20, (доб. 1422, 1842, 1332).

E-mail: zharko@ipu.ru; consoft@ipu.ru; myau@ipu.ru.

Список литературы

1. Тихонов А.И., Тучков М.Ю., Поваров В.П. Применение методов разработки компьютерно - ориентированных процедур системы информационной поддержки оператора (СИПО) как инструмента сохранения и передачи знаний персоналу // В книге: Безопасность ядерной энергетики. Тр. XX международной научно-практической конференции. Волгодонск, 2024. С. 55-58.

2. Grieves M., Vickers J. Digital Twin: Mitigating Unpredictable, Undesirable Emergent Behavior in Complex Systems // Transdisciplinary Perspectives on Complex Systems : New Findings and Approaches. Springer, 2017. Pp. 85–113.

3. Tao F., Zhang H., Liu A., Nee A.Y.C. Digital Twin in Industry: State-of-the-Art // IEEE Transactions on Industrial Informatics. 2019. Vol. 15(4). Pp. 2405–2415.

4. Kang J.S., Lee S.J. Conceptual design of dynamic emergency operating procedural system for NPPs: Integration of dynamic task management and safety monitoring // Nuclear Engineering and Technology. 2026. Vol. 58(1):103884.

5. Жарко Е.Ф., Чернышев К.Р., Абдулова Е.А. Гибридная интеллектуальная система поддержки операторов АЭС: подход к построению, архитектура и модуль данных // Автоматизация в промышленности. 2025. № 12. С. 3-11.

6. Huang X., Kroening D., Ruan W., Sharp J., Sun Y., Thamo E., Wu M., Yi X. A survey of safety and trustworthiness of deep neural networks: Verification, testing, adversarial attack and defence, and interpretability // Computer Science Review. 2020. Vol.37:100270.

7. Seshia S.A., Sadigh D., Sastry S.S. Toward verified artificial intelligence // Communications of the ACM. 2022. Vol. 65(7), Pp. 46-55.

8. Santner T.J., Williams B.J., Notz W.I. The design and analysis of computer experiments. Springer. 2018. 2nd ed. New York: Springer. 436 p.

9. Paleyes A., Urma R.G., Lawrence N.D. Challenges in deploying machine learning: A survey of case studies // ACM Computing Surveys. 2022. Vol. 55(6):114. Pp. 1-29.

10. Fazlyab M., Robey A., Hassani H., Morari M., Pappas G. Efficient and accurate estimation of Lipschitz constants for deep neural networks // Proceedings of the 33rd International Conference on Neural Information Processing Systems. 2019. Pp. 11427-11438.

11. Katz G., Barrett C., Dill D.L., Julian K., Kochenderfer M.J. Reluplex: An efficient SMT solver for verifying deep neural networks // Computer Aided Verification. Lecture Notes in Computer Science .2017. Vol. 10426. Pp. 97-117.

12. Riccio V., Jahangirova G., Stocco A., Humbatova N., Weiss M., Tonella P. Testing machine learning based systems: A systematic mapping // Empirical Software Engineering. 2020. Vol. 25(6). Pp. 5193-5254.

13. Pei K., Cao Y., Yang J., Jana S. Deepxplore: Automated whitebox testing of deep learning systems // Communications of the ACM. 2019. Vol. 62(11). Pp. 137-145.