Ứng dụng học máy trong phát hiện bất thường trên nền tảng ELK

Bài viết "Ứng dụng học máy trong phát hiện bất thường trên nền tảng ELK" nhằm xây dựng một giải pháp phát hiện bất thường, dự đoán tấn công theo phương pháp học không giám sát, dựa trên bộ công cụ ELK Stack để thu thập và xử lý dữ liệu từ log ứng dụng, tạo các véctơ đặc trưng và sau đó áp dụng thuật toán PCA để phát hiện những điểm bất thường trong dữ liệu log. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
Ứng dụng học máy trong phát hiện bất thường trên nền tảng ELK Ứng dụng học máy trong phát hiện bất thường trên nền tảng ELK Vũ Đức Thịnh Khoa Công nghệ Thông Tin Đại học Công nghiệp Thực phẩm TP. Hồ Chí Minh TP. Hồ Chí Minh, Việt Nam thinhvd@hufi.edu.vn Abstract—Phát hiện bất thường đã được chứng minh là với các dấu hiệu khi phát hiện xâm nhập được lưu trữ phương pháp có giá trị trong nhiều lĩnh vực khác nhau như kinh trong cơ sở dữ liệu của hệ thống xét xem hành động tế, y tế, xâm nhập mạng…. Trong nghiên cứu này, tác giả xây đang được diễn ra đó là an toàn hay không an toàn. Ví dựng một giải pháp phát hiện bất thường, dự đoán tấn công theo dụ phát hiện xâm nhập dựa vào dấu hiệu: kiểm tra log phương pháp học không giám sát, dựa trên bộ công cụ ELK thấy một người dùng đang cố gắng kết nối vào hệ thống Stack để thu thập và xử lý dữ liệu từ log ứng dụng, tạo các véc- bằng quyền của tài khoản “root”, nhập sai mật khẩu tơ đặc trưng và sau đó áp dụng thuật toán PCA để phát hiện quá nhiều lần và vi phạm nguyên tắc đã thiết lập trong những điểm bất thường trong dữ liệu log. hệ thống; các thư điện tử không rõ nguồn mà có đính Keywords—ELK, PCA, phát hiện bất thường. kèm các file .exe, .pif, .application, .gadget, … có thể chứa mã độc. I. MỞ ĐẦU Kỹ thuật này đơn giản hiệu quả trong các trường hợp Phát hiện bất thường là xác định các sự kiện, mẫu khác đã từng gặp các mối đe dọa và đã được lưu trữ trong biệt đáng kể so với các hành vi hoặc khuôn mẫu tiêu chuẩn. cơ sở dữ liệu của hệ thống nhưng không hiệu quả trong Các dị thường trong dữ liệu còn được gọi là độ lệch chuẩn, giá những trường hợp chưa gặp phải bao giờ. Đây cũng là trị ngoại lệ, nhiễu, vật lạ, … Trong bối cảnh phát hiện bất mặt hạn chế của phương pháp này, nên rất ít dùng trong thường mạng/ xâm nhập mạng và phát hiện lạm dụng thì 2 mô hình mạng lớn hay giao thức ứng dụng vì không thuật ngữ được sử dụng phổ biến là bất thường và ngoại lệ. Ví thể theo dõi bao quát hết các thành phần có trong hệ dụ: các hoạt động làm tăng lưu lượng mạng đột biến thường thống và có độ tin cậy thấp. đáng chú ý, mặc dù một hoạt động tăng đột biến như vậy có thể nằm ngoài nhiều kỹ thuật phát hiện bất thường truyền • Phát hiện dựa vào sự bất thường thống; một mẫu lưu lượng bất thường trong một hệ thống Kỹ thuật phát hiện dựa vào bất thường là quá trình tổng mạng máy tính có nghĩa rằng một tin tặc đang tấn công và gửi hợp các hành động thông thường trong một khoảng dữ liệu nhạy cảm đến một điểm mà không được phép. thời gian từ nhiều đối tượng như những người dùng, Phát hiện bất thường là một bước trong khai thác dữ liệu máy chủ, kết nối mạng hay các dịch vụ tạo thành hồ sơ nhằm xác định các điểm dữ liệu, sự kiện hoặc quan sát khác thông tin để miêu tả hành động bình thường sau đó so với hành vi bình thường của tập dữ liệu. Dữ liệu bất thường sánh với các sự kiện diễn ra trên hệ thốn để phát hiện có thể chỉ ra các sự cố nghiêm trọng, chẳng hạn như trục trặc bình thường hay bất thường. Phương pháp này có độ kỹ thuật, như sự thay đổi hành vi trong quá trình sử dụng của chính xác cao khi một hệ thống phát hiện bất thường người dùng. Máy học đang dần được sử dụng để tự động hoá được thiết lập trong hệ thống và đã có thời gian vận việc phát hiện bất thường. hành dài để triển khai phân tích hoặc học tất cả các hành động bình thường của hệ thống. Trong nghiên cứu này, tác giả đã sử dụng bộ công cụ ELK Stack (Beat, Logstash, Elastic Search, Kibana) [1] để thu thập • Phương pháp phát hiện dựa trên mô hình và phân tích data log của các services; phát hiện dấu hiệu bất Phương pháp phát hiện dựa trên mô hình áp dụng các thường bằng cách sử dụng kỹ thuật Dimensionality Reduction kĩ thuật, phương pháp học máy; trí tuệ nhận tạo; mô (DR) [2]; theo dõi, dự đoán, phát hiện và cảnh báo các hành hình sử dụng các thuật toán để phát hiện ra các thời vi, điểm, dấu hiệu bất thường trong các file log, traffic vào ra điểm bình thường hay bất bình thường, triển khai các hệ thống, các hành động xâm nhập trái phép hay các hành qui luật phát hiện tấn công một cách tự động từ các cơ động truy cập hợp pháp trong quá trình hoạt động của hệ thống sở dữ liệu mô phỏng. Phương pháp này được sử dụng bằng thuật toán Principal Component Analysis (PCA)[3]. rộng rãi trong các hệ thống dự đoán, phát hiện các cuộc tấn công hay xâm nhập trái phép kể cả cũ hay mới tuy nhiên nhiều lúc nó có thể đưa ra các cảnh báo nhầm so II. CƠ SỞ LÝ THUYẾT với hai phương pháp trên. A. Các phương pháp phát hiện bất ...