Deep Reinforcement Learning for Optimal Energy Management in Smart Multi-Energy Systems
Apprentissage par Renforcement Profond pour la Gestion Energétique Optimale dans les Systèmes Intelligents Multi-Energies
Résumé
This research introduces a Deep Reinforcement Learning (DRL)-based approach for the optimized energy management in Smart Multi-Energy Systems (SMES). A Smart Energy Management System (SEMS) is proposed to efficiently man-age flexible energy systems, including heating, cooling, electricity storage, and District Heating and Cooling Systems. The Meridia Smart Energy (MSE) eco-district, a real-world SMES project in southern France, serves as the case-study. The DRL framework uses actor-critic architecture and is compared to Model Predictive Control (MPC). Results from a first simplified MSE simulation model show that DRL closely approximates MPC’s theoretical optimum (within 98%) and even outperforms some realistic MPC variants. A more complex digital twin-based case-study further validates DRL’s promise for SMES energy management. Future work includes real-world integration, exploring additional objectives, and expanding to other SMES use-cases.
Cette thèse propose une approche de gestion de l’énergie basée sur l’Apprentissage par Renforcement Profond (DRL) pour les Systèmes Multi-Énergies Intelligents (SMEI). Le Système de Gestion Multi-Énergies Intelligente (SGMEI) est conçu pour optimiser la gestion des systèmes d’énergie flexibles, y compris le stockage de chaleur, de froid et d’électricité, ainsi que les systèmes de production dans les réseaux de chaleur et de froid, comm les Thermo-Frigo Pompes (TFPs). On propose ainsi l’application de cette approche sur l’étude de cas du projet Meridia Smart Energie (MSE), un projet réel de SMEI en cours de construction dans l’écoquartier de Nice Meridia, en France. L’agent DRL développé est comparé à un Contrôleur Prédictif (MPC) sur un premier cas d’étude simulé de SMEI simplifié, montrant que le DRL est capable d’approcher l’optimum théorique du MPC (à hauteur de 98%) en termes de réduction des coûts énergétiques. Cette étude suggère que le DRL est une approche prometteuse pour la gestion énergétique optimisée des SMEI. L’approche DRL est également appliquée sur un second cas d’étude à un jumeau numérique plus détaillé de MSE, développé sous Dymola, pour valider ces résultats sur un second cas d’étude plus complexe. Les futurs travaux porteront sur le transfert de l’apprentissage de la simulation à la réalité sur MSE et étendront l’application de cette approche à de nouveaux cas d’usage de SMEI.
Origine : Version validée par le jury (STAR)