Dự báo chuỗi thời gian với mô hình Transfomers

Bài viết Dự báo chuỗi thời gian với mô hình Transfomers trình bày một phương pháp dự báo chuỗi thời gian bằng phương pháp học sâu dựa trên mô hình Transformers. Chúng tôi huấn luyện bằng phương pháp cập nhật dữ liệu thực để tối ưu hiệu suất học giữa huấn luyện và dự đoán.
Nội dung trích xuất từ tài liệu:
Dự báo chuỗi thời gian với mô hình Transfomers KHOA HỌC VÀ CÔNG NGHỆ QUI SỐ 61/2022 DỰ BÁO CHUỖI THỜI GIAN VỚI MÔ HÌNH TRANSFOMERS TRANSFOMERS MODEL FOR TIME SERIES FORECAST Nguyễn Hồng Quân1,*, Lê Thị Phương1 1 Khoa Công nghệ thông tin, Trường Đại học Công nghiệp Quảng Ninh *Email: nguyenhongquan@qui.edu.vn Mobile: 0988677861 Tóm tắt Từ khóa: Trong bài báo này, chúng tôi trình bày một phương pháp dự báo chuỗi thời gian Tin giả; Học máy; Naive bằng phương pháp học sâu dựa trên mô hình Transformers. Chúng tôi huấn luyện Bayes; bằng phương pháp cập nhật dữ liệu thực để tối ưu hiệu suất học giữa huấn luyện và dự đoán. Chúng tôi thực nghiệm với dữ liệu là bộ dữ liệu độ ẩm theo thời gian của Woodsence. Kết quả cho thấy rằng có sự cải thiện rõ rệt giữa mô hình huấn luyện và dự báo độ ẩm. Abstract Keywords: In this paper, we present a time series forecasting method by deep learning based Fake news, Machine on Transformers model. We train using real data update method to optimize the Learning, Naive Bayes. learning performance between training and prediction. We experiment with data that is Woodsence's temporal moisture data set. The results show that there is a marked improvement between the training model and the moisture prediction. 1. GIỚI THIỆU trong tài liệu và được cộng đồng sử dụng. Đáng chú Gần đây, mô hình Transformer đã được sử dụng ý nhất trong số các mô hình học máy này là rất thành công để giải nhiều bài toán trong học máy Recurrent Neural Networks (RNN) và các biến thể và đạt được hiệu suất tối ưu. Ngoài các tác vụ Xử lý phổ biến của chúng, bao gồm Long-Short Term ngôn ngữ tự nhiên, Transformer cũng xử lý các bài Memory (LSTM) và Gated Recurrent Units (GRU) toán phân loại hình ảnh, phát hiện và phân đoạn đối [1]. Các mô hình này xử lý tuần tự các lô dữ liệu, tượng, tạo hình ảnh và ngôn ngữ, ra quyết định trong mỗi lần một mẫu và tối ưu hóa các tham số mô hình học tăng cường, xử lý dữ liệu đa phương thức (văn chưa biết bằng thuật toán giảm độ dốc nổi tiếng bản, lời nói và hình ảnh) cũng như phân tích bảng và (gradient descent). Thông tin độ dốc để cập nhật các dữ liệu chuỗi thời gian. Bài viết này tập trung vào tham số mô hình được tính toán bằng cách sử dụng phân tích chuỗi thời gian (time series) bằng lan truyền ngược theo thời gian (BPTT) [2]. LSTM Transformer. và GRU đã được sử dụng thành công trong nhiều Dữ liệu chuỗi thời gian bao gồm các mẫu, quan ứng dụng. sát hoặc tính năng được sắp xếp theo thứ tự được ghi lại tuần tự theo thời gian. Bộ dữ liệu chuỗi thời gian thường phát sinh một cách tự nhiên trong nhiều ứng dụng trong thế giới thực, dữ liệu được ghi lại trong một khoảng thời gian lấy mẫu cố định. Ví dụ như giá cổ phiếu, tín hiệu giọng nói được số hóa, đo lưu lượng truy cập mạng, dữ liệu cảm biến cho các kiểu thời tiết, dữ liệu đo đạc trong y sinh và các loại dữ liệu dân số khác nhau được ghi lại theo thời gian. Phân tích chuỗi thời gian có thể bao gồm xử lý dữ liệu số cho nhiều tác vụ, bao gồm dự báo, dự đoán hoặc phân loại. Các phương pháp thống kê liên quan đến việc sử dụng nhiều loại mô hình khác nhau, chẳng hạn như tự hồi quy (AR), trung bình động (MA), trung bình di chuyển hồi quy tự động Hình 1- So sánh RNN và Self-Attention (ARMA), MA tích hợp AR (ARIMA) và các kỹ Tuy nhiên, chúng gặp phải một số hạn chế do thuật phân tích quang phổ. Các mô hình học máy với việc xử lý tuần tự dữ liệu đầu vào và những thách các thành phần và kiến trúc chuyên dụng để xử lý thức liên quan đến BPTT, đặc biệt là khi xử lý các tính chất tuần tự của dữ liệu đã được đề xuất rộng rãi bộ dữ liệu có thời gian phụ thuộc dài. KH&CN QUI 29 SỐ 61/2022 KHOA HỌC VÀ CÔNG NGHỆ QUI 2. MÔ HÌNH TRANSFOMER khác đã được nhìn thấy trước đó trong chuỗi. Điểm 2.1 Vấn đề của LSTM được tính bằng tích vô hướng giữa véctơ Query của Quá trình huấn luyện của các mô hình LSTM và token đang xét với lần lượt các vectơ Key của các GRU cũng gặp phải các vấn đề về độ dốc biến mất token trong chuỗi. Ví dụ, khi ta tính self-attention và bùng nổ dữ liệu vào. Khi xử lý các chuỗi dài, trên token có vị trí 1, điểm của nó với chính nó là thuật toán giảm dần độ dốc (sử dụng BPTT) có thể q1.k, điểm của nó với token thứ hai là q1.k2, v..v.. không cập nhật các tham số mô hình do thông tin độ Điểm cao cho thấy mức độ liên quan cao, ngược lại, dốc bị mất (tiến tới 0 hoặc vô cùng). Về mặt lý điểm thấp cho thấy mức độ liên quan thấp. thuyết, thông tin rất quan trọng có thể lan truyền qua Chuẩn hóa điểm: Trong bài báo gốc, điểm các chuỗi dài vô hạn. Tuy nhiên, trong thực tế huấn được chia cho 8 (căn bậc 2 của 64 – số chiều của luyện, độ dốc sẽ bị giảm về 0, LSTM cuối cùng sẽ ...