Tóm tắt Luận án Tiến sĩ Kỹ thuật: Nghiên cứu xây dựng mô hình mạng nơ ron xung trọng số nhị phân hướng tới thực thi trên kiến trúc tính toán trong bộ nhớ

Tóm tắt Luận án Tiến sĩ Kỹ thuật "Nghiên cứu xây dựng mô hình mạng nơ ron xung trọng số nhị phân hướng tới thực thi trên kiến trúc tính toán trong bộ nhớ" được nghiên cứu với mục tiêu: Phát triển mô hình mạng nơ-ron xung sâu với tất cả trọng số được nhị phân. Phát triển một kiến trúc tính toán trong bộ nhớ để thực thi mô hình mạng nơ-ron xung nhị phân, hướng tới các thiết bị Edge-AI. Phát triển một phương pháp giúp cải thiện khả năng phòng thủ cho các mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân trước các tấn công đối nghịch.
Nội dung trích xuất từ tài liệu:
Tóm tắt Luận án Tiến sĩ Kỹ thuật: Nghiên cứu xây dựng mô hình mạng nơ ron xung trọng số nhị phân hướng tới thực thi trên kiến trúc tính toán trong bộ nhớBỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ/ BTTM ĐINH VĂN NGỌC NGHIÊN CỨU XÂY DỰNG MÔ HÌNH MẠNG NƠ-RON XUNG TRỌNG SỐ NHỊ PHÂN HƯỚNG TỚI THỰC THI TRÊN KIẾN TRÚC TÍNH TOÁN TRONG BỘ NHỚ Ngành: Kỹ thuật điện tử Mã số: 9 52 02 03 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2024 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ/ BTTMNgười hướng dẫn khoa học: 1. PGS.TS Bùi Ngọc Mỹ 2. PGS.TS Trịnh Quang KiênPhản biện 1: GS.TS Trần Xuân Tú Đại học Quốc gia Hà NộiPhản biện 2: PGS.TS Đặng Hoài Bắc Học viện Công nghệ Bưu chính viễn thôngPhản biện 3: TS. Vũ Lê Hà Viện Khoa học và Công nghệ quân sự Luận án được bảo vệ tại Hội đồng đánh giá luận án tiến sĩ cấp Viện,họp tại Viện Khoa học và Công nghệ quân sự vào hồi … giờ … ngày …tháng … năm 2024 Có thể tìm hiểu luận án tại: - Thư viện Viện Khoa học và Công nghệ quân sự - Thư viện Quốc gia Việt Nam DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ[CT1]. Van-Ngoc Dinh, Ngoc-My Bui, and Quang-Kien Trinh, “Improving the robustness of binarized neural network using the EFAT method”. JMST, no. CSCE5, pp. 14–23, Dec. 2021. https://doi.org/10.54939/1859-1043.j.mst.CSCE5.2021.14-23[CT2]. Van-Ngoc Dinh, Ngoc-My Bui, Van-Tinh Nguyen, Quang-Manh Duong and Quang-Kien Trinh, FBW-SNN: A Fully Binarized Weights-Spiking Neural Networks for Edge-AI Applications. 2022 International Conference on IC Design and Technology (ICICDT), 2022, pp. 105-108. https://doi.org/10.1109/ICICDT56182.2022.9933108[CT3]. Van-Ngoc Dinh, Ngoc-My Bui, Van-Tinh Nguyen, Khoa-Sang. Nguyen, Quang-Manh Duong and Quang-Kien Trinh, A Study on Adversarial Attacks and Defense Method on Binarized Neural Network. 2022 International Conference on Advanced Technologies for Communications (ATC), 2022, pp. 304-309. https://doi.org/10.1109/ATC55345.2022.9943040[CT4]. Van-Ngoc Dinh, Ngoc-My Bui, Van-Tinh Nguyen, Deepu John, Long-Yang Lin, and Quang-Kien Trinh, “NUTS-BSNN: A Non- uniform Time-step Binarized Spiking Neural Network with Energy-Efficient In-memory Computing Macro”. Neurocomputing, 126838, 2023. https://doi.org/10.1016/j.neucom.2023.126838 Tạp chí quốc tế danh mục SCI/SCIE Q1, IF: 6,192.[CT5]. Ngoc-My Bui, Van-Ngoc Dinh, Van-Hau Pham, Quang-Kien Trinh, “Uncovering the Resilience of Binarized Spiking Neural Networks Under Adversarial Attacks”. 2023 International Conference on Control, Automation and Information Sciences (ICCAIS), 2023, pp. 674-679. https://doi.org/10.1109/ICCAIS59597.2023.10382270 1 MỞ ĐẦU 1. Tính cấp thiết của đề tài luận án Học sâu được triển khai trên các thiết bị biên rất phổ biến hiện nay nhưtrên các thiết bị không người lái, các hệ thống quang điện tử, các hệ thống cảmbiến thông minh, hệ thống kiểm soát ra vào tự động... Các thiết bị này sử dụnghọc sâu xử lý các tác vụ như phát hiện đối tượng, phân loại ảnh, nhận dạng ảnhtrong thị giác máy tính. Các mô hình học sâu thông thường được sử dụng là cácmô hình mạng nơ-ron nhân tạo với nhiều lớp ẩn. Số lớp ẩn của mạng càng tăngthể hiện độ sâu của mô hình, mục đích tăng độ chính xác chung cho mô hìnhnhưng cũng làm tăng kích thước (độ phức tạp) của mô hình. Các mô hình mạngnơ-ron nhân tạo có số lượng lớp mạng càng lớn dẫn đến số lượng trọng số củamô hình cũng tăng, điều này làm cho việc thực thi mô hình yêu cầu bộ nhớ lưutrữ lớn và số lượng phép tính tăng tương ứng. Khi yêu cầu tính toán tăng dẫn tớinăng lượng tiêu thụ chung của thiết bị cũng tăng theo. Do đó, nhu cầu nghiêncứu các mô hình mạng nơ-ron gọn nhẹ và yêu cầu tính toán thấp là cần thiếthướng tới phát triển các phần cứng cho các thiết bị Edge-AI. Một vấn đề nữa là khi sử dụng các thuật toán học sâu vào các ứng dụngtrong đời sống đòi hỏi độ chính xác cao và không bị ảnh hưởng nhiễu có chủđích (hay bị tấn công) để đưa ra các kết quả sai. Các mô hình học sâu được ứngdụng rộng rãi như hiện nay một phần nhờ độ chính xác khi thực hiện các tác vụphức tạp mà các thuật toán học máy trước đây chưa đạt được. Khi được đưa vàoứng dụng rộng rãi, một câu hỏi lớn đặt ra là có khi nào các mô hình học sâu bịtấn công để làm sai lệch kết quả hay không. Gần đây, tấn công đối nghịch đãđược các nhà khoa học đưa ra như là một phương pháp có thể đánh lừa các mạngnơ-ron nhân tạo khi thực thi một tác vụ quan trọng là nhận dạng đối tượng (phânloại ảnh). Phương pháp tấn công đối nghịch thêm một lượng nhiễu loạn nhỏ vàoảnh đầu vào nhưng có thể làm cho mạng nơ-ron nhân tạo nhận dạng sai khá trầmtrọng. Các mô hình mạng nơ-ron nhân tạo hướng tới các thiết bị Edge-AI nhưmạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân cũng chịu ảnh hưởng bởitấn công đối nghịch do tính chất tuyến tính của chúng. Do đó, nghiên cứuphương pháp cải thiện khả năng chống đối nghịch cho các mô hình mạng nơ-ron phù hợp với phần cứng yêu cầu khắt khe về tài nguyên và năng lượng là rất 2cần thiết, là một bước quan trọng trong quá trình thiết kế mạng nơ-ron nhân tạovào các ứng dụng trong đời sống. Từ hai yêu cầu cấp thiết của các ứng dụng có sử dụng học sâu triển khaitrên thiết bị biên là tiết kiệm tài nguyên, năng lượng và cải thiện khả năng chốngtấn công đối nghịch, hướng nghiên cứu phát triển một số kỹ thuật cải thiện hiệunăng mạng học sâu trên nền tảng phần cứng nhúng là rất quan trọng. Do đó luậnán nà ...