Поддержка принятия решений на основе адаптивных нечетких ситуационных сетей и глубокого обучения с подкреплением
Шапкин Александр Павлович1, Борисов Вадим Владимирович1, 2
1Филиал федерального государственного бюджетного образовательного учреждения высшего образования «Национальный исследовательский университет «МЭИ» в г. Смоленске.
2Военная академия войсковой противовоздушной обороны Вооруженных сил Российской Федерации им. А.М. Василевского.
DOI 10.24412/2410-9916-2026-4-088-102
Полный текст статьи
XML JATSАннотация
Постановка задачи. известные нечеткие ситуационные модели позволяют представлять процесс поддержки решений в виде сети ситуаций и управляющих воздействий, однако недостаточно эффективны в условиях неопределенности из-за необходимости учета изменения системных и внешних факторов, стратегий принятия решений и иных ограничений. Цель работы: реализация поддержки принятия решений на основе предлагаемой разновидности адаптивных нечетких ситуационных сетей с использованием глубокого обучения с подкреплением, обеспечивающего оценку допустимых управляющих воздействий с учетом их долгосрочных последствий. Используемые методы: для построения сетевой структуры модели, оценки и выбора последовательности управляющих решений используется глубокое обучение с подкреплением. Для стабилизации процесса обучения с подкреплением применяются глубокая рекуррентная нейронная сеть. Недопустимые действия исключаются посредством бинарной маски переходов, формируемой по текущей структуре адаптивной нечеткой ситуационной сети. Стратегия управления задается параметризованной функцией награды, включающей компоненты достижения целевой ситуации, стоимости управляющего перехода и значений параметров следующей нечеткой ситуации. Новизна: реализуется подход, позволяющий использовать оценки управляющих решений не только для автономного выбора управляющих решений, но и для интеллектуальной поддержки действий оператора. Для каждого допустимого управляющего решения определяется оценка, характеризующая его ожидаемую полезность с учетом последующих переходов из ситуации в ситуацию. На основе полученных оценок формируется ранжированный набор альтернатив. Результат: описана процедура формирования ранжированного набора допустимых управляющих решений, согласованных с заданной стратегией управления. Рассмотрен пример поддержки принятия решений при управлении энергетической мини-сетью. Для альтернативных переходов сформированы числовые оценки, позволяющие обосновать выбор решений с учетом не только непосредственной стоимости их воздействия, но и ожидаемых последствий дальнейших решений. Практическая значимость: представленные результаты могут использоваться в системах поддержки принятия решений для операторов сложных технических и организационно-технических систем, предоставляя допустимые альтернативы решений, их ранжирование и количественные оценки ожидаемой полезности.
Ключевые слова
поддержка принятия решений, ситуационное управление, оценка управляющих решений, адаптивные нечеткие ситуационные сети, глубокое обучение с подкреплением, Deep Recurrent Q-Network.
Ссылка на статью
Шапкин А. П., Борисов В. В. Поддержка принятия решений на основе адаптивных нечетких ситуационных сетей и глубокого обучения с подкреплением // Системы управления, связи и безопасности. 2026. № 4. С. 88-102. DOI: 10.24412/2410-9916-2026-4-088-102
Литература
1. Мелихов А. Н., Берштейн Л. С., Коровин С. Я. Ситуационные советующие системы с нечеткой логикой. М.: Наука, 1990. 272 с.
2. Борисов В. В., Авраменко Д. Ю. Нечеткое ситуационное управление сложными системами на основе их композиционного гибридного моделирования // Системы управления, связи и безопасности. 2021. № 3. С. 207-237. DOI: 10.24412/2410-9916-2021-3-207-237.
3. Борисов В. В., Зернов М. М. Реализация ситуационного подхода на основе нечеткой иерархической ситуационно-событийной сети // Искусственный интеллект и принятие решений. 2009. № 1. С. 17-30.
4. Denisenkov M. A., Borisov V. V. Modeling the behavior of intelligent agents based on adaptive fuzzy situational networks // Proceedings of the 3rd Russian-Pacific Conference on Computer Technology and Application (RPC). Vladivostok, Russia, 18-25 Aug. 2018. P. 1–5. DOI: 10.1109/RPC.2018.8482217.
5. Соколов А. М., Борисов В. В. Рекуррентные нечеткие ситуационно-прецедентные модели для оперативного управления сложными техническими объектами по прецедентам // Программные продукты и системы. 2024. Т. 37. № 4. С. 554–565. DOI: 10.15827/0236-235X.148.554-565.
6. Дли М. И., Черновалова М. В., Соколов А. М. Построение нечетких ситуационно-прецедентных моделей региональных экономических систем с использованием онтологий // Прикладная информатика. 2025. Т. 20. № 2. С. 112-125. DOI: 10.37791/2687-0649-2025-20-2-112-125.
7. AlMahamid F., Grolinger K. Reinforcement Learning Algorithms: An Overview and Classification // arXiv.org. 2022. URL: https://arxiv.org/abs/2209.14940 (дата обращения: 16.03.2024).
8. Борисов В. В., Шапкин А. П. Нечеткие ситуационные сети с адаптацией на основе обучения с подкреплением // Вестник Московского энергетического института. 2025. № 3. С. 135-143. DOI: 10.24160/1993-6982-2025-3-135-143.
9. Шапкин А. П., Борисов В. В. Способы внедрения обучения с подкреплением в адаптивные нечеткие ситуационные сети // XXII Международная научно-техническая конференция студентов и аспирантов (Смоленск, 23-24 апреля 2025 г.). Труды конференции. В 2 т. Т. 1. Смоленск: Универсум, 2025. С. 470-474.
10. Mnih V., Kavukcuoglu K., Silver D., Rusu A. A., Veness J., Bellemare M. G., Graves A., Riedmiller M., Fidjeland A. K., Ostrovski G., Petersen S., Beattie C., Sadik A., Antonoglou I., King H., Kumaran D., Wierstra D., Legg S., Hassabis D. Human-level control through deep reinforcement learning // Nature. 2015. Vol. 518. P. 529–533. DOI: 10.1038/nature14236.
11. Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. 1997. Vol. 9, no. 8. P. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735.
12. Hausknecht M., Stone P. Deep Recurrent Q-Learning for Partially Observable MDPs // arXiv.org. 2015. URL: https://arxiv.org/abs/1507.06527 (дата обращения: 16.03.2024).
13. Moreno-Vera F. Performing Deep Recurrent Double Q-Learning for Atari Games // arXiv.org. 2019. URL: https://arxiv.org/abs/1908.06040 (дата обращения: 16.03.2024).
14. Narvekar S., Peng B., Leonetti M., Sinapov J., Taylor M. E., Stone P. Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey // Journal of Machine Learning Research. 2020. Vol. 21, no. 181. P. 1–50.
15. Huang S., Ontanon S. A Closer Look at Invalid Action Masking in Policy Gradient Algorithms // arXiv.org. 2020. URL: https://arxiv.org/abs/2006.14171 (дата обращения: 16.03.2024).
16. Ba J. L., Kiros J. R., Hinton G. E. Layer Normalization // arXiv.org. 2016. URL: https://arxiv.org/abs/1607.06450 (дата обращения: 22.06.2026).
17. Dulac-Arnold G., Evans R., van Hasselt H., Sunehag P., Lillicrap T., Hunt J., Mann T., Weber T., Degris T., Coppin B. Deep Reinforcement Learning in Large Discrete Action Spaces // arXiv.org. 2015. URL: https://arxiv.org/abs/1512.07679 (дата обращения: 22.06.2026).
18. Zhu P., Li X., Poupart P., Miao G. On Improving Deep Reinforcement Learning for POMDPs // arXiv.org. 2018. URL: https://arxiv.org/abs/1804.06309 (дата обращения: 16.03.2024).
Статья распространяется по лицензии Creative Commons Attribution 4.0 License.
Метаданные статьи распространяются по лицензии CC0 1.0 Universal