Điều khiển bám tối ưu cho tàu từ mặt nước đủ cơ cấu chấp hành dựa trên thuật toán học tăng cường tích phân trực tuyến

Bài viết trình bày phương pháp thiết kế bộ điều khiển bám tối ưu dựa trên thuật toán OIRL được thiết kế cho tàu mặt nước có bất định trong mô hình. Trong cấu trúc điều khiển một bộ điều khiển ảo được thiết kế dựa trên hàm điều khiển Lyapunov và bộ điều khiển Feed forward được thiết kế cho hệ thống không dừng với số lượng biến trạng thái nhỏ. Nó cho phép phát triển thuật toán OIRL cho quỹ đạo phụ thuộc thời gian.
Nội dung trích xuất từ tài liệu:
Điều khiển bám tối ưu cho tàu từ mặt nước đủ cơ cấu chấp hành dựa trên thuật toán học tăng cường tích phân trực tuyến I U KHI N BÁM T I U CHO TÀU M T N C C CẤU CHẤP HÀNH D A TRÊN THUẬT TOÁN H C TĂNG C NG TÍCH PHÂN TR C TUY N Vũ Văn Tú, Nguyễn Thị Thu Hiền, Phạm Thị Thanh Khoa Điện - Cơ, Trường Đại học Hải Phòng Email: tuvv@dhhp.edu.vnNgày nhận bài: 27/11/2023Ngày PB đánh giá: 08/12/2023Ngày duyệt đăng: 15/12/2023TÓM TẮT: Trong bài báo này, nhiệm vụ chính của chúng ta là thiết kế một bộđiều khiển bám tối ưu được áp dụng cho các hệ thống tàu mặt nước đủ cơ cấuchấp hành với một phần động học chưa biết. Một thành phần feed-forwardtrong bộ điều khiển đề xuất được giới thiệu để có được mô hình sai lệch bámtự trị. Một thuật toán học tăng cường tích phân trực tuyến (OIRL) được pháttriển để giải nghiệm phương trình Hamilton-Jacabi-Bellman (HJB) trong điềukiện của điều khiển tối ưu. Sự hội tụ của kỹ thuật được đề xuất với phân tíchnghiệm của phương trình HJB được đảm bảo. Ngoài ra hiệu quả của bám quỹđạo cũng được đề cập. Các nghiên cứu mô phỏng được đưa ra để đánh giá chấtlượng của phương pháp đề xuất.Từ khóa: Tàu mặt nước (SVs); học tăng cường tích phân trực tuyến (OIRL);quy hoạch động thích nghi (ADP); lý thuyết ổn định Lyapunov. OPTIMAL TRACKING CONTROL FOR FULLY-ACTUATED SURFACE VESSELS BASED ONLINE ON-POLICY INTEGRAL REINFORCEMENT LEARNINGABSTRACT: In this paper, our main mission is to design an optimal trackingcontroller applied to fully-actuated Surface Vessel Systems with partiallyunknown dynamics. A feed-forward component in the proposed controller isintroduced to obtain a corresponding autonomous tracking error model. An T P CHÍ KHOA H C S 62, Tháng 01/2024 137Online On-Policy Integral Reinforcement Learning algorithm (OIRL) is thendeveloped to solve Hamilton-Jacobi-Bellman (HJB) equation under theoptimal control term. The convergence of the proposed technique to thesolution analysis of the HJB equation is guaranteed. Additionally, thetrajectory tracking effectiveness is also mentioned. Simulation studies aregiven to evaluate the quality of the proposed method.Keywords: Surface Vessels (SVs); Online On-Policy IntegralReinforcement Learning (OIRL); Adaptive Dynamic Programming (ADP);Lyapunov Stability Theory. 1. Đặt vấn đề từ bộ quan sát bao gồm cả thành phần bất định, nhiễu ngoài và thành phần sai Trong những năm gần đây điều lệch vận tốc [2]. Trong công trình [3],khiển tối ưu được ứng dụng một cách mặc dù hệ thống điều khiển tầng đượcrộng rãi để phát triển, cải thiện hiệu suất xử lý nhưng rõ ràng nó khác với cáccủa hệ thống điều khiển SVs. Việc ứng phương pháp có trong [1, 2], kỹ thuậtdụng lý thuyết điều khiển tối ưu chủ Tan-Barrier Lyapunov đã giải quyếtyếu tập trung giải nghiệm xấp xỉ của vấn đề ràng buộc sai lệch và điều khiểnphương trình HJB sử dụng kỹ thuật học thời gian hữu hạn. Ngoài ra các tác giảtăng cường (Reiforcement Learning trong [3] đã giải quyết tình trạng bão(RL)) bởi vì phương trình HJB là hòa của cơ cấu chấp hành bằng cách bổphương trình dạng vi phân phi tuyến xung một thành phần vào cấu trúc điềukhông thể giải được nghiệm chính xác. khiển và sau đó thu được luật cập nhậtCác cấu trúc điều khiển cho SVs của nó. Trong công trình [4], các tác giảthường là các cấu trúc điều khiển tầng coi mô hình của SVs giống với mô hình[1-4]. Trong công trình [1], vấn đề điều của WMR nhưng phần thiết kế hệkhiển toàn bộ trạng thái của hệ thống thống điều khiển thì hoàn toàn khác vớiSVs được thực hiện bằng cách chia thiết kế hệ thống điều khiển của WMR,thành hai nhiệm vụ phụ đó là cấu trúc hệ thống con vòng ngoài là đủ cơ cấuđiều khiển chuyển động tịnh tiến và bộ chấp hành và hệ thống con vòng trongđiều khiển chuyển động quay được là hụt cơ cấu chấp hành. Ngoài ra, độthiết kế với bộ quan sát chính xác. bão hòa của cơ cấu chấp hành và bộNgoài ra, thiết kế một bộ điều khiển quan sát cũng được thực hiện trong [2,trượt thời gian hữu hạn được phát triển 3]. Ứng dụng của bộ điều khiển trượtcho SVs với biến trượt có thể thu được138 TR NG Đ I H C H I PHÒNG(SMC) cho SVs được mở rộng sang kỹ xây dựng trong bài báo này khác hoànthuật trượt tích phân (ISMC) trong toàn phương pháp hiện có đã đượccông trình [5]. Tr ...