Điều khiển thiết bị bay không người lái giám sát môi trường thông qua học sâu tăng cường

Bài viết "Điều khiển thiết bị bay không người lái giám sát môi trường thông qua học sâu tăng cường" trình bày ý tưởng thiết kế hệ thống giám sát môi trường sử dụng nhiều UAVs, tạo thành một mạng cảm biến dựa trên các hiện tượng quan tâm để giám sát môi trường mở không xác định cho trước. Hệ thống mà chúng tôi xem xét được áp dụng cho rất nhiều các trường hợp bao gồm giám sát các vật liệu nguy hiểm bị rò rỉ trên khu vực rộng mà không có sự can thiệp của con người. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
Điều khiển thiết bị bay không người lái giám sát môi trường thông qua học sâu tăng cường Hội nghị Quốc gia lần thứ 25 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2022) Điều khiển thiết bị bay không người lái giám sát môi trường thông qua học sâu tăng cường Nguyễn Trọng Bình∗ Trịnh Văn Chiến† Nguyễn Tiến Hòa∗ ∗ Trường Điện - Điện Tử, Đại học Bách khoa Hà Nội, Hà Nội, Việt Nam † Trường Công Nghệ Thông Tin và Truyền Thông, Đại học Bách khoa Hà Nội, Hà Nội, Việt Nam Email: binh.nt182905@sis.hust.edu.vn;hoa.nguyentien@hust.edu.vn; chientv@soict.hust.edu.vn Tóm tắt nội dung—Phương tiện bay không người lái (UAVs) cao. Hơn nữa, các nhà cung cấp thiết bị phần cứng cho phép đang ngày càng được sử dụng rộng rãi trong mạng 5G và định tích hợp các kiến trúc vi xử lý khác nhau vào UAVs [8]. Điều hướng mạng 6G tại nhiều lĩnh vực ứng dụng đa dạng, trong cả này cho phép UAVs xử lý các ứng dụng thời gian thực và tối dân sự lẫn quân sự. Một vài ví dụ điển hình của ứng dụng UAVs ưu tài nguyên vô tuyến phục vụ điều khiển quỹ đạo của UAVs. bao gồm: kiểm tra cơ sở hạ tầng, giám sát giao thông, viễn thám, bản đồ, cứu hộ con người và động vật. Tuy nhiên, việc sử dụng Việc triển khai mạng cảm biến không dây trong các ứng UAVs trong các ứng dụng trên yêu cầu nhất định về tính tự chủ. dụng thực thông qua trợ giúp của UAVs để đáp ứng nhiều yêu Nói cách khác, UAVs phải có khả năng hoàn thành nhiệm vụ cầu về hệ thống truyền thông, trong đó vùng phủ sóng và kết trong tình huống không có sự can thiệp của con người. Trong nối thường được coi là hai yếu tố tối quan trọng [9]. Phạm nghiên cứu này, chúng tôi đã sử dụng học tăng cường sâu với vi bao phủ được chỉ định các khu vực hoặc mục tiêu quan thuật toán Deep deterministic Policy Gradient (DDPG) để giải tâm được các cảm biến giám sát ở mức độ tin cậy, trong khi quyết bài toán về giám sát môi trường. Các bước trong bài nghiên cứu bao gồm: Xây dựng mô phỏng kết nối liên quan đến khả năng truyền dữ liệu cảm biến từ hệ thống giám sát môi trường sử dụng thiết bị bay không người các cảm biến đến trạm xử lý trung tâm [10]. Đảm bảo phạm lái với các tham số cơ bản, áp dụng thuật toán học tăng cường vi phủ sóng và kết nối là rất quan trọng vì trong nhiều ứng sâu DDPG. Kết quả mô phỏng được thực hiện trên python dụng, mạng được yêu cầu theo dõi và phân tích các mục tiêu Từ khóa—UAVs, Deep Reinforcement Learning, Coverage hoặc khu vực liên tục [11], [12]. Bên cạnh đó, mạng cảm biến Maximization, Connectivity Maintenance không dây là một hệ thống động. Khi một cảm biến xảy ra lỗ sẽ dẫn đến liên kết mạng bị thay đổi. do đó bảng định tuyến I. GIỚI THIỆU của mạng có thể bị phá vỡ, gây ra đụng độ trong quá trình Các phương tiện bay không người lái (unmanned aerial quy hoạch mạng và truyền nhận các gói tin. Cho đến nay, các vehicles-UAV) là các thực thể mạng nhỏ, nhanh, và tính linh thuật toán truyền thống giải quyết vấn đề này thường có độ động cao được sử dụng trong nhiều ngành công nghiệp khác phức tạp tính toán cao, khó có thể đưa vào các ứng dụng trong nhau, bao gồm: Kiểm tra hệ thống điện, giao vận như vận thực tế với kênh biến thiên nhanh [13]. chuyển bưu kiện và gói hàng, quản lý thảm họa, và giám sát Học tăng cường (reinforcement learning) cung cấp khuôn giao thông [1]–[3]. Việc sử dụng UAV không chỉ giới hạn trong khổ toán học để xây dựng các chiến lược hoặc phương thức công nghiệp và học thuật, mà còn phục vụ nhu cầu cá nhân ánh xạ các trạng thái thành các hành động với mục tiêu tối hàng ngày. Người điều khiển UAV phải luôn duy trì đường đa hàm phần thưởng tích lũy [14]. Học tăng cường đã được nhìn thẳng trực quan (visual line of sight - VLOS) của UAV áp dụng rộng rãi để giải quyết các vấn đề trong các lĩnh vực dưới một số điều kiện ràng buộc do các quy định hiện hành khác nhau, chẳng hạn như chế tạo và sản xuất, tối ưu hóa (ví dụ vùng bay hoặc từng địa điểm cụ thể), và ít được hỗ chính sách trong lĩnh vực tài chính, và hệ thống điều khiển rô trợ bởi công nghệ khác [4]. Trong khi UAV được sử dụng chủ bốt. Cùng với sự phát triển của các kỹ thuật học sâu, học tăng yếu trong VLOS, có nhiều tình hướng tới không phải VLOS cường hiện đã phát triển theo hướng học sâu tăng cường (Deep để kích hoạt các ứng dụng mới trong một vùng phủ sóng rộng reinforcement learning-DRL), trong đó mạng nơ-ron học máy lớn [5], [6]. Do đó, cần có sự đồng thuận giữa các bên liên sâu (DNN) được sử dụng trong quá trình hình thành chính sách quan nhằm mở rộng phạm vi hoạt động thương mại của UAV [15], [16]. Với cấu trúc học ngoại tuyến (offline-learning) và để bao phủ không phận khu vực đô thị mở rộng và các vùng mạng DNN có thể dự đoán và cập nhật trực tuyến khi kết hợp dân cư ở biên giới, núi cao, hải đảo nơi mà tầm nhìn bị hạn với DRL. Các kỹ thuật DRL có khả năng xử lý các vấn đề chế dẫn đến môi trường truyền dẫn không phải VLOS. Theo phức tạp ứng với tập dữ liệu nhiều chiều trong không gian xu hướng phát triển công nghệ hiện nay, UAV đang được tích hành động (thậm chí cho phép không gian ...