Ứng dụng mô hình Mapreduce vào bài toán tìm kiếm những khách hàng có cùng nhu cầu sản phẩm trong thương mại điện tử

Bài viết này giới thiệu phương pháp phân tích hồ sơ cá nhân bằng cách áp dụng các giải thuật phổ biến vào mô hình Map-Reduce dựa trên Hadoop framework. Đây là phương pháp nhằm tạo ra công cụ hiệu quả, tiết kiệm thời gian và công sức tìm ra danh sách tối ưu những người có cùng sở thích để phục vụ doanh nghiệp tư vấn sản phẩm cho khách hàng.
Nội dung trích xuất từ tài liệu:
Ứng dụng mô hình Mapreduce vào bài toán tìm kiếm những khách hàng có cùng nhu cầu sản phẩm trong thương mại điện tử Tạp chí Khoa học – Trường Đại học Phú Yên, Số 27 (2021), 63-69 63 ỨNG DỤNG MÔ HÌNH MAPREDUCE VÀO BÀI TOÁN TÌM KIẾM NHỮNG KHÁCH HÀNG CÓ CÙNG NHU CẦU SẢN PHẨM TRONG THƯƠNG MẠI ĐIỆN TỬ Trần Xuân Hiệp, Phan Thị Thanh Thủy* Trường Đại học Phú Yên Ngày nhận bài: 07/05/2020; Ngày nhận đăng: 28/05/2021 Tóm tắt Tìm kiếm những khách hàng có cùng nhu cầu sản phẩm đang trở nên rất quan trọng trong lĩnh vực thương mại điện tử. Những người có cùng mối quan tâm, thông tin cá nhân phù hợp và những tương tác của họ với cộng đồng là nguồn dữ liệu quan trọng được chọn để phân tích. Bài báo này giới thiệu phương pháp phân tích hồ sơ cá nhân bằng cách áp dụng các giải thuật phổ biến vào mô hình Map-Reduce dựa trên Hadoop framework. Đây là phương pháp nhằm tạo ra công cụ hiệu quả, tiết kiệm thời gian và công sức tìm ra danh sách tối ưu những người có cùng sở thích để phục vụ doanh nghiệp tư vấn sản phẩm cho khách hàng. Từ khoá: MapReduce, Hadoop, so trùng ngữ nghĩa, phân tích ngữ nghĩa 1. Giới thiệu làm thế nào để mô tả sơ lược mối quan tâm Sự phát triển của cuộc cách mạng công sản phẩm của một người và làm thế nào để nghiệp 4.0 trong những năm gần đây đã tạo tính toán sự tương tự giữa các hồ sơ cá ra cơ hội hơn cho lĩnh vực thương mại điện nhân về lĩnh vực quan tâm. Phương pháp tử. Trước nhu cầu ngày càng cao của khách phổ biến nhất được sử dụng để tính độ hàng, những bài toán, giải pháp nhằm nâng tương tự là phép tính cosin (Rajesh cao chất lượng dịch vụ ngày càng trở nên Thiagarajan, Geetha Manjunath, and M. cấp thiết và phức tạp. Vấn đề tìm kiếm Stumptner, 2008). Trong phương pháp này, khách hàng có cùng nhu cầu về sản phẩm những profile được trình bày như là một tập trong thương mại điện tử một cách hiệu những từ khóa (có trọng số). Sự tương đồng quả, nhanh chóng trên một tập dữ liệu rất được tính bởi phép tính cosine của hai lớn là một trong những bài toán luôn đặt ra vectơ được đại diện bởi hai tập từ khoá nhiều vấn đề cho các nhà kinh doanh được đánh giá cao. Phương pháp này thì thương mại điện tử. Trên cơ sở này chúng đơn giản để thực hiện, nhưng nó chỉ đề cập ta có thể phát triển phương pháp xây dựng đến sự phù hợp cú pháp của từ và không có hồ sơ cá nhân (proflile) chứa các thông tin khả năng trong những trường hợp đòi hỏi của khách hàng một cách khoa học, từ đó so sánh ngữ nghĩa của từ. Để đáp ứng nhu xây dựng phương pháp so trùng các thông cầu cho việc phù hợp ngữ nghĩa chúng ta tin cá nhân để tìm ra sự tương đồng theo cần mô tả một cách rõ ràng mối quan hệ từng nhóm sản phẩm. giữa các từ. Những mối quan hệ giữa các từ Việc tìm kiếm những người có cùng mối hoặc các thuật ngữ cũng có thể được suy quan tâm một lĩnh vực bao gồm hai vấn đề: tính hoàn toàn, bằng cách sử dụng phương ___________________________ pháp phân tích ngữ nghĩa tiềm ẩn (T. K. * Email: thuycdsppy@yahoo.com Landauer, P. W. Foltz, and D. Laham, 1998). 64 Journal of Science – Phu Yen University, No.27 (2021), 63-69 Việc tra cứu trong kho dữ liệu khổng lồ việc. Thư viện MapReduce tiếp nhận các chứa thông tin cá nhân trong cộng đồng này kết quả này và xuất ra kết quả cuối cùng bằng cách lựa chọn từng người thực chất là của bài toán dưới các dạng dữ liệu khác nhau. một việc tốn rất nhiều thời gian, đồng thời Trong mô hình MapReduce, dữ liệu vào khả năng tìm được người thích hợp không được chia thành nhiều mảnh nhỏ, mỗi mảnh cao. Với sự bùng nổ thông tin hiện nay, được xử lý độc lập bởi các hàm Map. Kết việc xử lý và lưu trữ khối dữ liệu khổng lồ quả xử lý của các hàm Map sẽ lại được ngày một phát triển đã trở thành một thách phân thành nhiều tập hợp khác nhau, sắp thức lớn với nhiều vấn đề đặt ra. Nhưng xếp và chuyển tiếp đến các hàm Reduce. thực tế này đang dần thay đổi khi các kỹ Hình 1 sau minh họa cách làm việc trên. thuật xử lý phân tán xuất hiện, đáng kể nhất là MapReduce. Mục đích quan trọng nhất của MapReduce là tăng tốc độ thực thi xử lý dữ liệu trên tập hợp dữ liệu lớn (Jeffrey Dean and Sanjay Ghemawat, 2004). Mô hình MapReduce dựa trên hai hàm Map và Reduce. MapReduce là một giải pháp tốt cho các dạng bài toán xử lý khối lượng dữ liệu phát sinh khổng lồ với các tác vụ phân tích và tính toán phức tạp, trong các lĩnh vực như khai thác dữ liệu, phân tích và mô phỏng. Bài báo này trình bày phương pháp Hình 1: Mô hình hoạt động MapReduce nghiên cứu và kết quả thử nghiệm việc áp 2.1.2 Hadoop dụng giải thuật tìm kiếm những người có Hadoop là dự án chủ chốt của hãng cùng sở thích trong cộng đồng khoa học Apache nhằm cung cấp công cụ và hỗ trợ dựa trên mô hình MapReduce. cho các hệ thống tính toán phân tán. Dựa 2. Phương pháp nghiên cứu trên ý tưởng MapReduce của Google, 2.1. MapReduce Hadoop tự xử lý tất cả các khâu phức tạp để 2.1.1 Mô hình MapReduce bảo đảm hệ thống hoạt động thông suốt và Nhiệm vụ tính toán trong mô hình nhường việc định nghĩa tính toán luận lý MapReduce nhận dữ liệu vào và ra đều là của ứng dụng lại cho lập trình viên. một tập hợp lớn các cặp khóa/giá trị. Mô Hai thành phần chính của dự án Hadoop hình này dựa trên 2 bước cơ bản: là framework MapReduce cung cấp khả - Map: nhận dòng dữ liệu thô và xử lý, năng tính toán phân tán, và hệ thống file tạo ra các cặp khóa/giá trị. Thư viện HDFS (Hadoop Distributed File System). MapRedu ...