Kiến trúc hồ dữ liệu: Lưu trữ và phân tích dữ liệu lớn trong các tổ chức tài chính - ngân hàng

Bài viết Kiến trúc hồ dữ liệu: Lưu trữ và phân tích dữ liệu lớn trong các tổ chức tài chính - ngân hàng tập trung nghiên cứu kiến trúc hồ dữ liệu cho mô hình dữ liệu ngân hàng dựa trên cơ sở tham chiếu đến mô hình dữ liệu của hãng IBM. Tiếp theo bài báo phân tích vai trò và sự cần thiết của hồ dữ liệu, trình bày về quy trình xây dựng cũng như kiến trúc hồ dữ liệu phù hợp trong các tổ chức tài chính ngân hàng.
Nội dung trích xuất từ tài liệu:
Kiến trúc hồ dữ liệu: Lưu trữ và phân tích dữ liệu lớn trong các tổ chức tài chính - ngân hàng Kiến trúc hồ dữ liệu: lưu trữ và phân tích dữ liệu lớn trong các tổ chức tài chính- ngân hàng Ngô Thùy Linh Khoa Hệ thống thông tin quản lý, Trường Học viện Ngân hàng Ngày nhận: 29/04/2022 Ngày nhận bản sửa: 16/06/2022 Ngày duyệt đăng: 22/06/2022 Tóm tắt: Data lake (hồ dữ liệu) là khái niệm mới xuất hiện những năm gần đây trong thời đại của dữ liệu lớn (big data). Mặc dù chủ đề về big data đã được thảo luận nhưng vẫn còn nhiều thách thức trong nghiên cứu, đặc biệt là sự đa dạng của dữ liệu. Một trong những thách thức đó là làm thế nào để tích hợp và truy vấn khối lượng dữ liệu lớn từ nhiều nguồn khác nhau khi phương thức lưu trữ dữ liệu truyền thống là kho dữ liệu không đáp ứng được. Data lake- Hồ dữ liệu được đề xuất như một giải pháp cho vấn đề này. Bài báo tập trung nghiên cứu kiến trúc hồ dữ liệu cho mô hình dữ liệu ngân hàng dựa trên cơ sở tham chiếu đến mô hình dữ liệu của hãng IBM. Tiếp theo bài báo phân tích vai trò và sự cần thiết của hồ dữ liệu, trình bày về quy trình xây dựng cũng như kiến trúc hồ dữ liệu phù hợp trong các tổ chức tài chính ngân hàng. Cuối cùng là thảo luận về lợi ích của hồ dữ liệu giúp cho các bộ phận nghiệp vụ truy cập và phân tích dữ liệu trên toàn bộ tổ chức, ngoài ra thách thức về công nghệ trong quá Data lake architecture: big data storage and analysis in financial banking organizations Abstract: Data Lake is one of the dominant concepts in the era of big data. Although big data has been discussed, it still has many research challenges, especially the variety of data. It poses a huge difficulty to efficiently integrate and query the large volume of diverse data in information silos with the traditional approaches such as data warehouses. Data lakes have been proposed as a solution to this problem. This paper focuses on studying data lake architecture for banking data model based on reference to IBM’s data model. Next, this paper analyzes the role and necessity of a data lake, presents the data lake execution process and the right data lake architecture in financial banking organizations. Finally, the author discusses the benefits of data lakes in helping business departments access and analyze data across the organization, besides the technological challenges of implementing data lakes in financial and banking institutions also described in this paper. Keywords: data lake architecture, the financial banking organizations, data lake, data warehouse, big data. Ngo, Thuy Linh Email: linhnt@hvnh.edu.vn Faculty of Management Information System, Banking Academy of Vietnam © Học viện Ngân hàng Tạp chí Khoa học & Đào tạo Ngân hàng ISSN 1859 - 011X 59 Số 243- Tháng 8. 2022 Kiến trúc hồ dữ liệu: lưu trữ và phân tích dữ liệu lớn trong các tổ chức tài chính- ngân hàng trình triển khai hồ dữ liệu tại các tổ chức tài chính ngân hàng cũng được nêu trong bài báo này. Từ khóa: kiến trúc hồ dữ liệu, tổ chức tài chính ngân hàng, hồ dữ liệu, kho dữ liệu, dữ liệu lớn 1. Giới thiệu thông mạng xã hội, các nhận xét, bình luận, các ứng dụng cài đặt trên thiết bị thông Theo báo cáo của tập đoàn dữ liệu quốc minh... Vào đầu những năm 2000, các tổ tế (IDC- International Data Corporation, chức doanh nghiệp chưa nghĩ đến việc phải 2021), năm 2020 có 64,2 ZB (Zettabyte1) theo dõi “lượt thích” của khách hàng trên dữ liệu đã được tạo ra và lượng dữ liệu sinh các kênh mạng xã hội. Nhưng ngày nay, ra mỗi ngày lớn hơn tổng lượng dữ liệu việc nắm bắt và phân tích các thông tin được tạo ra trong cả một năm ở thời điểm thực tế như vậy cũng có thể mang lại cơ những năm 2000. Câu hỏi đặt ra là: nên lưu hội kinh doanh quan trọng. Một lần nữa có trữ bao nhiêu trong số đó? Nhiều tổ chức thể khẳng định dữ liệu là chìa khóa để tạo nhận thấy rằng các phương pháp quản lý ra các quyết định trong các tổ chức doanh dữ liệu truyền thống đang trở nên lỗi thời, nghiệp. Do vậy, giải pháp về hồ dữ liệu quá chậm để đưa ra phản hồi (Michael (data lake) sẽ khắc phục hạn chế mà kho Lock, 2017). Chẳng hạn như với giải pháp dữ liệu chưa làm được. Cụ thể, hồ dữ liệu xây dựng kho dữ liệu (data warehouse) đã cho phép lưu lại đầy đủ các thuộc tính của giúp các tổ chức doanh nghiệp tích hợp dữ dữ liệu nhằm mục đích trả lời các câu hỏi liệu từ nhiều hệ thống khác nhau trong các có thể xuất hiện trong tương lai (Geoffrey bộ phận, phòng ban. Cách thiết kế và triển Keating, 2021). khai kho dữ liệu đã làm đơn giản hóa việc Theo báo cáo tổ chức nghiên cứu thị trường truy cập dữ liệu, đồng thời hỗ trợ cho tổ lớn nhất thế giới năm 2022 (Research and chức trong việc đưa ra câu trả lời cần thiết Markets, 2022), thị trường hồ dữ liệu đạt trong kinh doanh. Tuy nhiên, không thể 7,4 tỷ USD năm 2021. Dự kiến ​​thị trường lường trước được các câu hỏi mang tính này sẽ lên tới 30,2 tỷ USD vào năm 2027, chất quyết định và các báo cáo mà doanh với tốc độ tăng trưởng kép hàng năm ...