Phân tích dữ liệu lớn với các ứng dụng

Bài viết "Phân tích dữ liệu lớn với các ứng dụng" tìm hiểu các khái niệm, xu hướng của dữ liệu lớn (BD) và phân tích dữ liệu lớn (BDA) cũng như những thách thức và cơ hội của việc phân tích dữ liệu lớn; tìm hiểu ứng dụng hệ thống thông tin sử dụng BDA nhằm nâng cao chất lượng hỗ trợ cho quá trình ra quyết định và tìm hiểu các công cụ hỗ trợ quan trọng cho BDA. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
Phân tích dữ liệu lớn với các ứng dụng PHÂN TÍCH DỮ LIỆU LỚN VỚI CÁC ỨNG DỤNG ThS Trương Đình Hải Thụy ThS Trần Thanh San Trường Đại học Tài chính –Marketing Tóm tắt: Trong thời đại Công nghệ 4.0 với sự phát triển của nhiều ứng dụng trên nền tảng Internet vạn vật (Internet of Things – IoT), phát triển công nghệ Big Data trong các hệ thống thông tin…. phân tích dữ liệu lớn được xác định là một công nghệ quan trọng để hỗ trợ việc thu thập dữ liệu, lưu trữ và phân tích dữ liệu trong hệ thống nhằm nâng cao chất lượng của quá trình ra quyết định, đặc biệt là trong kỷ nguyên kỹ thuật số hiện nay. Câu hỏi liên quan là làm thế nào doanh nghiệp tận dụng được tiềm năng của việc phân tích dữ liệu. Phương pháp của bài viết này là tổng quan tài liệu có cấu trúc. Những phát hiện của nghiên cứu cho thấy các yêu cầu cần có của hệ thống, những thách thức cũng như cơ hội của việc phân tích dữ liệu lớn để hỗ trợ các hệ thống thông tin dựa trên đám mây. Từ khóa: phân tích dữ liệu lớn (BDA), điện toán đám mây, Internet of Thing (IoT), dịch vụ trên nền tảng đám mây (SaaS – PaaS – IaaS, DaaS) 1. Đặt vấn đề Bất kỳ hệ thống thông tin (HTTT) nào cũng được thiết kế để xử lý chuyển đổi dữ liệu đầu vào thành thông tin đầu ra như tri thức, biểu đồ trực quan hóa dữ liệu, các quyết định trong vận hành hệ thống. Độ phức tạp của hệ thống thông tin phụ thuộc vào dữ liệu đầu vào và thông tin đầu ra, mối tương quan của chúng cũng như thời gian sống của HTTT đó (Da Xu và cộng sự, 2013). Một HTTT được đo lường bằng khả năng xử lý khối lượng, sự đa dạng và tốc độ xử lý dữ liệu cũng như khả năng đáp ứng của nó trong việc hỗ trợ ra quyết định của các nhà quản lý. Ngày nay, thời đại công nghệ 4.0 với những công nghệ mới nổi như công nghệ dữ liệu lớn (Big Data), trí tuệ nhân tạo và điện toán đám mây đã ảnh hưởng to lớn đến sự phát triển và hiệu suất của các HTTT. Phân tích dữ liệu lớn (Big Data Analysis – BDA) đã và đang được áp dụng cho nhiều lĩnh vực khác nhau, ví dụ như (Xiang và cộng sự, 2015) áp dụng BDA trong lĩnh vực khách sạn để xác định sự trải nghiệm cũng như sự hài lòng của khách hàng, (Steed, 2013) đã khẳng định các phương pháp phân tích khí hậu thông thường đã trở nên không còn đáp ứng với khối lượng và sự phức tạp của dữ liệu ngày nay nữa và đề xuất một công cụ phân tích trực quan được gọi là phân tích dữ liệu khám phá để mô phỏng hệ thống trái đất; phân tích dữ liệu lớn được sử dụng để đẩy nhanh việc phân tích dữ liệu khí hậu. Từ năm 2014, Schanse và cộng sự đã phát triển một mô hình phân tích để dự đoán tiêu thụ điện năng trong các quy trình sản xuất. Hay như ngành - 233 bán lẻ, dùng BDA để nắm rõ hành vi người tiêu dùng nhằm cung cấp sản phẩm và dịch vụ được thiết kế riêng theo nhu cầu của từng khách hàng. Nhiều ứng dụng đã sử dụng BDA để thay thế kho dữ liệu thông thường và các hệ quản trị cơ sở dữ liệu truyền thống – RDDMS (Relational Database Management System). Giới hạn bài viết này, tác giả tìm hiểu (1) các khái niệm, xu hướng của dữ liệu lớn (BD) và phân tích dữ liệu lớn (BDA) cũng như những thách thức và cơ hội của việc phân tích dữ liệu lớn; (2) tìm hiểu ứng dụng HTTT sử dụng BDA nhằm nâng cao chất lượng hỗ trợ cho quá trình ra quyết định và (3) tìm hiểu các công cụ hỗ trợ quan trọng cho BDA. 2. Cơ sở lý thuyết 2.1. Dữ liệu lớn Việc thu thập và phân tích dữ liệu là cần thiết của bất kỳ HTTT nào, quy mô và độ phức tạp của HTTT phụ thuộc vào độ lớn dữ liệu và phương pháp xử lý dữ liệu. Với sự phát triển nhanh chóng của công nghệ, internet, mạng không dây, thiết bị cảm biến, thiết bị lưu trữ, thiết bị di động ngày càng giảm giá... đã góp phần cho dữ liệu tăng lên theo cấp số nhân và theo IDC – trung tâm dữ liệu internet – năm 2020 có khoảng 64 tỷ TB đã được tạo ra và dự đoán đến năm 2025 số liệu này sẽ là 180 zettabyte (1 zettabyte = 1 nghìn exabyte). Dữ liệu lớn (big data – BD) đã nổi lên như là một lĩnh vực nghiên cứu mới đó là Khoa học dữ liệu lớn (Big data science), và phân tích dữ liệu lớn (Big Data Analysis – BDA) là một phương pháp giúp hiểu bên trong (inside) của dữ liệu. Có thể nói rằng dữ liệu lớn có thể giúp các nhà quản lý thay đổi mô hình kinh doanh và nâng cao năng lực cạnh tranh của doanh nghiệp lên rất nhiều. Trong một báo cáo của Nhà Trắng (2014) xác định dùng dữ liệu lớn để phát triển nền kinh tế Hoa Kỳ, cải thiện y tế và giáo dục, đảm bảo an ninh quốc gia và giảm tiêu thụ năng lượng. Một nghiên cứu của IBM đã chỉ ra rằng các tổ chức sử dụng dữ liệu lớn hoạt động tốt hơn 20% so với các tổ chức chỉ dùng dữ liệu truyền thống. Công nghệ là động lực thúc đẩy sự tương tác giữa mọi người và thay đổi mô hình kinh doanh của doanh nghiệp. Sự phát triển của các hệ thống nhúng, hệ thống vi mô và thiết bị điện tử kích thích sự đổi mới và gia tăng giá trị giữa các nền kinh tế. Sự phát triển của Internet of Things (IoT) đã thu hút sự quan tâm và đầu tư trong nhiều lĩnh vực nghiên cứu trên toàn thế giới. Có thể xem một HTTT tương tự như một hệ thống sản xuất, dữ liệu được xem như là các nguyên liệu để sản xuất và sản phẩm là kiến thức, tri thức hoặc là các quyết định. Trong các HTTT, để thu thập dữ liệu, IoT sẽ giúp đám mây thu thập dữ liệu từ nhiều nguồn như từ Internet, các thiết bị cảm biến, các tập tin nhật ký (log files), từ các hệ quản trị cơ sở dữ liệu thông thường (RDBMS), mạng công nghiệp và các hệ thống theo dõi. Khối lượng dữ liệu tăng trưởng theo định luật Moore – cứ mỗi 18 tháng khả năng xử lý của máy tính sẽ tăng 234 - gấp đôi. Để quản lý dữ liệu này điện toán đám mây đã cung cấp các dịch vụ đáng tin cậy bằng cách triển khai các trung tâm dữ liệu đám mây. Một số công nghệ nền tảng cần thiết để xử lý dữ liệu lớn như MapReduce, NoSQL. Dịch vụ đ ...