SCCS Системы управления, связи и безопасности Systems of Control, Communication and Security 2410-9916 ООО «Корпорация «Интел Групп» 10.24412/2410-9916-2026-4-088-102 Научная статья Research Article Поддержка принятия решений на основе адаптивных нечетких ситуационных сетей и глубокого обучения с подкреплением Decision support based on adaptive fuzzy situational networks and deep reinforcement learning Шапкин Александр Павлович Shapkin Alexander Pavlovich shapkinap1999@gmail.com Борисов Вадим Владимирович Borisov Vadim Vladimirovich vbor67@mail.ru Филиал федерального государственного бюджетного образовательного учреждения высшего образования «Национальный исследовательский университет «МЭИ» в г. Смоленске Branch of the National Research University Moscow Power Engineering Institute in Smolensk Энергетический проезд, д. 1 Energeticheskiy proezd, 1 Россия Russia Военная академия войсковой противовоздушной обороны Вооруженных сил Российской Федерации им. А.М. Василевского Military Academy of Army Air Defence A.M. Vasilevsky Россия Russia 2026 21 4 2026 2026 4 88 102 © 2026 Shapkin A.P., Borisov V.V. © 2026 Шапкин А.П., Борисов В.В. 2026 Alexander Pavlovich Shapkin, Vadim Vladimirovich Borisov Шапкин Александр Павлович, Борисов Вадим Владимирович This article is licensed under a Creative Commons Attribution 4.0 International License (CC BY 4.0) Эта статья доступна по лицензии Creative Commons Attribution 4.0 International (CC BY 4.0)

Постановка задачи: известные нечеткие ситуационные модели позволяют представлять процесс поддержки решений в виде сети ситуаций и управляющих воздействий, однако недостаточно эффективны в условиях неопределенности из-за необходимости учета изменения системных и внешних факторов, стратегий принятия решений и иных ограничений. Цель работы: реализация поддержки принятия решений на основе предлагаемой разновидности адаптивных нечетких ситуационных сетей с использованием глубокого обучения с подкреплением, обеспечивающего оценку допустимых управляющих воздействий с учетом их долгосрочных последствий. Используемые методы: для построения сетевой структуры модели, оценки и выбора последовательности управляющих решений используется глубокое обучение с подкреплением. Для стабилизации процесса обучения с подкреплением применяются глубокая рекуррентная нейронная сеть. Недопустимые действия исключаются посредством бинарной маски переходов, формируемой по текущей структуре адаптивной нечеткой ситуационной сети. Стратегия управления задается параметризованной функцией награды, включающей компоненты достижения целевой ситуации, стоимости управляющего перехода и значений параметров следующей нечеткой ситуации. Новизна: реализуется подход, позволяющий использовать оценки управляющих решений не только для автономного выбора управляющих решений, но и для интеллектуальной поддержки действий оператора. Для каждого допустимого управляющего решения определяется оценка, характеризующая его ожидаемую полезность с учетом последующих переходов из ситуации в ситуацию. На основе полученных оценок формируется ранжированный набор альтернатив. Результат: описана процедура формирования ранжированного набора допустимых управляющих решений, согласованных с заданной стратегией управления. Рассмотрен пример поддержки принятия решений при управлении энергетической мини-сетью. Для альтернативных переходов сформированы числовые оценки, позволяющие обосновать выбор решений с учетом не только непосредственной стоимости их воздействия, но и ожидаемых последствий дальнейших решений. Практическая значимость: представленные результаты могут использоваться в системах поддержки принятия решений для операторов сложных технических и организационно-технических систем, предоставляя допустимые альтернативы решений, их ранжирование и количественные оценки ожидаемой полезности.

Problem statement: To support control decision-making in complex technical systems operating under uncertainty, it is necessary to determine the possible system states, available control actions, and a control strategy. Known fuzzy situational models allow one to represent a complex system as a network of situations and control actions; however, they do not provide automatic evaluation of permissible control decisions taking into account the selected control strategy. Objective: to develop a method for supporting control decision-making in adaptive fuzzy situational networks based on deep reinforcement learning, ensuring the evaluation of permissible control actions taking into account their long-term consequences. Methods used: the process of generating recommendations is presented as a reinforcement learning problem. The deep reinforcement learning method is used to evaluate control decisions. A target network and an experience replay buffer are used to stabilize learning. Inadmissible actions are excluded using a binary transition mask generated based on the current structure of the adaptive fuzzy situational network. The control strategy is defined by a parameterized reward function including components of achieving the target situation, the cost of the control transition, and the values of the parameters of the next fuzzy situation. Novelty: a method is proposed that enables the use of control decision states not only for autonomous action selection but also for intelligent operator support. For each feasible control decision, an estimate is determined that characterizes its expected utility, taking into account subsequent transitions. Based on the obtained estimates, a ranked set of alternatives is formed. Joint processing of the observation history and features of all fuzzy situations allows for the application of a single agent architecture to networks of varying dimensions, while dynamic masking ensures the compliance of recommendations with the current model structure. Result: a method for generating a ranked set of feasible control decisions consistent with a given control strategy has been developed. An example of decision support for managing an energy mini-grid is considered. Numerical estimates are generated for alternative transitions, allowing for the justification of the choice of a safe solution, taking into account not only the immediate cost of the impact but also the expected consequences of further movement through the network. Practical significance: The proposed method can be used in intelligent decision support systems for operators of complex technical and organizational systems. The system provides the operator with feasible alternatives, their ranking, and quantitative estimates of expected utility, while the final selection and implementation of the control decision remains with the decision maker.

 поддержка принятия решений ситуационное управление оценка управляющих решений адаптивные нечеткие ситуационные сети глубокое обучение с подкреплением Deep Recurrent Q-Network decision support situational management control decision evaluation adaptive fuzzy situational networks deep reinforcement learning Deep Recurrent Q-Network Исследование выполнено без привлечения внешних источников финансирования. The study was carried out without attracting external funding sources. Введение Литература Мелихов А. Н., Берштейн Л. С., Коровин С. Я. Ситуационные советующие системы с нечеткой логикой. М.: Наука, 1990. 272 с. Melikhov A. N., Bershteyn L. S., Korovin S. Ya. Situatsionnye sovetuyushchie sistemy s nechetkoy logikoy [Situational Advising Systems with Fuzzy Logic]. Moscow, Nauka Publ., 1990. 272 p. (in Russian). Борисов В. В., Авраменко Д. Ю. Нечеткое ситуационное управление сложными системами на основе их композиционного гибридного моделирования // Системы управления, связи и безопасности. 2021. № 3. С. 207-237. DOI: 10.24412/2410-9916-2021-3-207-237. Borisov V. V., Avramenko D. Yu. Fuzzy Situational Control of Complex Systems Based on Composite Hybrid Modeling. Systems of Control, Communication and Security, 2021, no. 3, pp. 207–237, DOI: 10.24412/2410-9916-2021-3-207-237 (in Russian). Борисов В. В., Зернов М. М. Реализация ситуационного подхода на основе нечеткой иерархической ситуационно-событийной сети // Искусственный интеллект и принятие решений. 2009. № 1. С. 17-30. Borisov V. V., Zernov M. M. Realizatsiya situatsionnogo podkhoda na osnove nechetkoy ierarkhicheskoy situatsionno-sobytiynoy seti [Implementation of the Situational Approach Based on a Fuzzy Hierarchical Situational-Event Network]. Artificial Intelligence and Decision Making, 2009, no. 1, pp. 17–30 (in Russian). Denisenkov M. A., Borisov V. V. Modeling the behavior of intelligent agents based on adaptive fuzzy situational networks // Proceedings of the 3rd Russian-Pacific Conference on Computer Technology and Application (RPC). Vladivostok, Russia, 18-25 Aug. 2018. P. 1–5. DOI: 10.1109/RPC.2018.8482217. Denisenkov M. A., Borisov V. V. Modeling the Behavior of Intelligent Agents Based on Adaptive Fuzzy Situational Networks. Proceedings of the 3rd Russian-Pacific Conference on Computer Technology and Application (RPC), Vladivostok, Russia, 18–25 August 2018, pp. 1–5, DOI: 10.1109/RPC.2018.8482217. Соколов А. М., Борисов В. В. Рекуррентные нечеткие ситуационно-прецедентные модели для оперативного управления сложными техническими объектами по прецедентам // Программные продукты и системы. 2024. Т. 37. № 4. С. 554–565. DOI: 10.15827/0236-235X.148.554-565. Sokolov A. M., Borisov V. V. Recurrent Fuzzy Situational-Precedent Models for Operational Control of Complex Technical Objects. Programmnye produkty i sistemy, 2024, vol. 37, no. 4, pp. 554–565, DOI: 10.15827/0236-235X.148.554-565 (in Russian). Дли М. И., Черновалова М. В., Соколов А. М. Построение нечетких ситуационно-прецедентных моделей региональных экономических систем с использованием онтологий // Прикладная информатика. 2025. Т. 20. № 2. С. 112-125. DOI: 10.37791/2687-0649-2025-20-2-112-125. Dli M. I., Chernovalova M. V., Sokolov A. M. Construction of Fuzzy Situational-Precedent Models of Regional Economic Systems Using Ontologies. Journal of Applied Informatics, 2025, vol. 20, no. 2, pp. 112–125, DOI: 10.37791/2687-0649-2025-20-2-112-125 (in Russian). AlMahamid F., Grolinger K. Reinforcement Learning Algorithms: An Overview and Classification // arXiv.org. 2022. URL: https://arxiv.org/abs/2209.14940 (дата обращения: 16.03.2024). AlMahamid F., Grolinger K. Reinforcement Learning Algorithms: An Overview and Classification. arXiv, 2022. Available at: https://arxiv.org/abs/2209.14940 (accessed 16 March 2024). Борисов В. В., Шапкин А. П. Нечеткие ситуационные сети с адаптацией на основе обучения с подкреплением // Вестник Московского энергетического института. 2025. № 3. С. 135-143. DOI: 10.24160/1993-6982-2025-3-135-143. Borisov V. V., Shapkin A. P. Fuzzy Situational Networks with Reinforcement Learning-Based Adaptation. MPEI Vestnik, 2025, no. 3, pp. 135–143, DOI: 10.24160/1993-6982-2025-3-135-143 (in Russian). Шапкин А. П., Борисов В. В. Способы внедрения обучения с подкреплением в адаптивные нечеткие ситуационные сети // XXII Международная научно-техническая конференция студентов и аспирантов (Смоленск, 23-24 апреля 2025 г.). Труды конференции. В 2 т. Т. 1. Смоленск: Универсум, 2025. С. 470-474. Shapkin A. P., Borisov V. V. Sposoby vnedreniya obucheniya s podkrepleniem v adaptivnye nechetkie situatsionnye seti [Methods for Integrating Reinforcement Learning into Adaptive Fuzzy Situational Networks]. XXII Mezhdunarodnaya nauchno-tekhnicheskaya konferentsiya studentov i aspirantov. Trudy konferentsii [Proceedings of the 22nd International Scientific and Technical Conference of Students and Postgraduates], Smolensk, 23–24 April 2025, Smolensk, Universum Publ., 2025, vol. 1, pp. 470–474 (in Russian). Mnih V., Kavukcuoglu K., Silver D., Rusu A. A., Veness J., Bellemare M. G., Graves A., Riedmiller M., Fidjeland A. K., Ostrovski G., Petersen S., Beattie C., Sadik A., Antonoglou I., King H., Kumaran D., Wierstra D., Legg S., Hassabis D. Human-level control through deep reinforcement learning // Nature. 2015. Vol. 518. P. 529–533. DOI: 10.1038/nature14236. Mnih V., Kavukcuoglu K., Silver D., Rusu A. A., Veness J., Bellemare M. G., Graves A., Riedmiller M., Fidjeland A. K., Ostrovski G., Petersen S., Beattie C., Sadik A., Antonoglou I., King H., Kumaran D., Wierstra D., Legg S., Hassabis D. Human-Level Control through Deep Reinforcement Learning. Nature, 2015, vol. 518, pp. 529–533, DOI: 10.1038/nature14236. Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. 1997. Vol. 9, no. 8. P. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735. Hochreiter S., Schmidhuber J. Long Short-Term Memory. Neural Computation, 1997, vol. 9, no. 8, pp. 1735–1780, DOI: 10.1162/neco.1997.9.8.1735. Hausknecht M., Stone P. Deep Recurrent Q-Learning for Partially Observable MDPs // arXiv.org. 2015. URL: https://arxiv.org/abs/1507.06527 (дата обращения: 16.03.2024). Hausknecht M., Stone P. Deep Recurrent Q-Learning for Partially Observable MDPs. arXiv, 2015. Available at: https://arxiv.org/abs/1507.06527 (accessed 16 March 2024). Moreno-Vera F. Performing Deep Recurrent Double Q-Learning for Atari Games // arXiv.org. 2019. URL: https://arxiv.org/abs/1908.06040 (дата обращения: 16.03.2024). Moreno-Vera F. Performing Deep Recurrent Double Q-Learning for Atari Games. arXiv, 2019. Available at: https://arxiv.org/abs/1908.06040 (accessed 16 March 2024). Narvekar S., Peng B., Leonetti M., Sinapov J., Taylor M. E., Stone P. Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey // Journal of Machine Learning Research. 2020. Vol. 21, no. 181. P. 1–50. Narvekar S., Peng B., Leonetti M., Sinapov J., Taylor M. E., Stone P. Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey. Journal of Machine Learning Research, 2020, vol. 21, no. 181, pp. 1–50. Huang S., Ontañón S. A Closer Look at Invalid Action Masking in Policy Gradient Algorithms // arXiv.org. 2020. URL: https://arxiv.org/abs/2006.14171 (дата обращения: 16.03.2024). Huang S., Ontañón S. A Closer Look at Invalid Action Masking in Policy Gradient Algorithms. arXiv, 2020. Available at: https://arxiv.org/abs/2006.14171 (accessed 16 March 2024). Ba J. L., Kiros J. R., Hinton G. E. Layer Normalization // arXiv.org. 2016. URL: https://arxiv.org/abs/1607.06450 (дата обращения: 22.06.2026). Ba J. L., Kiros J. R., Hinton G. E. Layer Normalization. arXiv, 2016. Available at: https://arxiv.org/abs/1607.06450 (accessed 22 June 2026). Dulac-Arnold G., Evans R., van Hasselt H., Sunehag P., Lillicrap T., Hunt J., Mann T., Weber T., Degris T., Coppin B. Deep Reinforcement Learning in Large Discrete Action Spaces // arXiv.org. 2015. URL: https://arxiv.org/abs/1512.07679 (дата обращения: 22.06.2026). Dulac-Arnold G., Evans R., van Hasselt H., Sunehag P., Lillicrap T., Hunt J., Mann T., Weber T., Degris T., Coppin B. Deep Reinforcement Learning in Large Discrete Action Spaces. arXiv, 2015. Available at: https://arxiv.org/abs/1512.07679 (accessed 22 June 2026). Zhu P., Li X., Poupart P., Miao G. On Improving Deep Reinforcement Learning for POMDPs // arXiv.org. 2018. URL: https://arxiv.org/abs/1804.06309 (дата обращения: 16.03.2024). Zhu P., Li X., Poupart P., Miao G. On Improving Deep Reinforcement Learning for POMDPs. arXiv, 2018. Available at: https://arxiv.org/abs/1804.06309 (accessed 16 March 2024). Благодарности

Исследование выполнено без привлечения внешних источников финансирования.

The study was carried out without attracting external funding sources.