Phương pháp điều khiển bám điểm công suất cực đại pin mặt trời sử dụng Double Deep Q Network

Việc sử dụng các phương pháp của lý thuyết điều khiển cổ điển cho bài toán bám điểm công suất cực đại (Maximum Power Point Tracking - MPPT) đã cho những kết quả rất tốt. Tuy nhiên, các phương pháp đó chưa tối ưu trong những điều kiện làm việc khác nhau, do vậy báo cáo này đề xuất một phương pháp điều khiển MPPT tổng quát dựa trên thuật toán học tăng cường (Reinforcement Learning – RL).
Nội dung trích xuất từ tài liệu:
Phương pháp điều khiển bám điểm công suất cực đại pin mặt trời sử dụng Double Deep Q Network CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION TWO SESSION 2 Phòng: Jasmine 1 | Chủ tọa: Hoàng Trung Kiên, Nguyễn Quốc Minh PHƯƠNG PHÁP ĐIỀU KHIỂN BÁM ĐIỂM CÔNG SUẤT CỰC ĐẠI PIN MẶT TRỜI SỬ DỤNG DOUBLE DEEP Q NETWORK Nguyen Duc Long (1), Hoang Tien Thang (1), Vu Thi Thuy Nga (1) Sinh viên chuyên ngành Điều Khiển và Tự Động Hóa – Trường Đại học Bách Khoa Hà Nội long.nd174033@sis.hust.edu.vn, thang.ht174198@sis.hust.edu.vn, nga.vuthithuy@hust.edu.vn TÓM TẮT Việc sử dụng các phương pháp của lý đó chưa tối ưu trong những điều kiện làm thuyết điều khiển cổ điển cho bài toán bám việc khác nhau, do vậy báo cáo này đề xuất điểm công suất cực đại (Maximum Power một phương pháp điều khiển MPPT tổng Point Tracking - MPPT) đã cho những kết quát dựa trên thuật toán học tăng cường quả rất tốt. Tuy nhiên, các phương pháp (Reinforcement Learning – RL) TỪ KHÓA: Điều khiển MPPT, thuật toán học tăng cường, Double Deep Q Network 1. GIỚI THIỆU 2. PHƯƠNG PHÁP Phần nội dung mà nhóm sinh viên muốn 2.1 Mô hình đề xuất trình bày đề xuất bao gồm 4 phần: Đề xuất một phương pháp điều khiển MPPT sử dụng Double Deep Q Network • Vấn đề điều khiển MPPT đem lại hiệu quả cao hơn trong bài toán • Phương pháp học củng cố áp dụng bám điểm công suất cực đại so với các mô cho bài toán MPPT (Reinforcement hình MPPT truyền thống và bằng phương learning for MPPT) pháp Q Learning đã được đề xuất trước đây • Thuật toán Double Deep Q Network 2.2 Đặc điểm kĩ thuật (DDQN) 2.2.1 Vấn đề điều khiển MPPT Điểm công suất cực đại (Maximum Power • Những kết quả mô phỏng bằng phần Point – MPP) là một điểm duy nhất trên mềm Matlab kiểm chứng đề xuất đường cong PV, nơi năng lượng được tạo 38 | DIỄN ĐÀN SINH VIÊN 2020 - NĂNG LƯỢNG TÁI TẠO CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION TWO ra từ nguồn PV (Photovoltaic Sources) là 3. PHÂN TÍCH tối đa, MPPT là một nhiệm vụ quan trọng 3.1 Phương trình trong hoạt động của các nguồn PV bởi Mô hình PV được sử dụng trong đề xuất trong phần lớn các ứng dụng, giá trị của này là một mô hình diode, có dòng điện tải điện trở là khác với giá trị điện trở được tạo ra từ nguồn PV được mô tả bởi tương ứng với MPP dưới nhiều điều kiện các phương trình trong (P. Kofinas, RL môi trường khác nhau MPPT, 2017) 2.2.2 Phương pháp học củng cố cho bài toàn MPPT Reinforcement Learning (RL) hay học củng cố/tăng cường, là lĩnh vực liên quan đến việc dạy cho máy (agent) thực hiện tốt một nhiệm vụ (task) bằng cách tương tác với môi trường Hình 2. Mô hình PV (environment) thông qua hành động (action) và nhận được phần thưởng Các phương trình: (reward). Và để áp dụng được điều này chúng ta cần định nghĩa một mô hình Markov Decision Process (MDP) với các thông số S, A, R, T 3.2 Thuật toán DDQN trong bài toán MPPT DDQN là một thuật toán nâng cấp từ Deep Q Network bằng việc sử dụng 2 mạng nơron: online network và target network. Hình 1. Ảnh hưởng của các điều kiện I-V Mạng online network được dùng để chọn đến điểm MPP giá trị hành động tại một trạng thái nhất định. Mạng target network được dùng DIỄN ĐÀN SINH VIÊN 2020 - NĂNG LƯỢNG TÁI TẠO | 39 CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION TWO để tính toán giá trị target khi huấn luyện 3.3 Kết quả và thảo luận mạng. Mạng target network được cập Với điều kiện môi trường bức xạ biến thiên nhật sau một số lần lặp nhất định. hoặc điều kiện tải thay đổi thì công suất phát ra của pin đã hội tụ về điểm công Lưu dồ thuật toán DDQN trong bài toán suất cực đại và sau khi điều kiện môi MPPT: trường được lặp lại thì công suất phát ra của pin hội tụ về điểm công suất cực đại chỉ trong một thời gian ngắn. Hình vẽ dưới đây là một kết quả mô phỏng của bài toán Double Deep Q Network so với đề xuất sử dụng thuật toán Q Learning trước đây trong trường trường hợp nguồn pin có công suất lớn. Có thể thấy DDQN cho tốc độ hội tụ nhanh hơn và mức độ biến thiên của công suất trong quá trình chạy nhỏ hơn. Tuy nhiên, công suất sau khi hội tụ của thuật toán DDQN có xu hướng dao động nhỏ quanh điểm công s ...