Xây dựng hệ thống hợp tác nghiên cứu thông qua việc chia sẻ dữ liệu và tài nguyên tính toán

Bài viết Xây dựng hệ thống hợp tác nghiên cứu thông qua việc chia sẻ dữ liệu và tài nguyên tính toán tập trung vào giải pháp xây dựng một hệ thống chia sẻ dữ liệu bảo mật và tài nguyên tính toán trong hoạt động hợp tác nghiên cứu giữa các nhà khoa học trong dự án MekongDelta.
Nội dung trích xuất từ tài liệu:
Xây dựng hệ thống hợp tác nghiên cứu thông qua việc chia sẻ dữ liệu và tài nguyên tính toán Tuyển tập Hội nghị Khoa học thường niên năm 2018. ISBN: 978-604-82-2548-3 XÂY DỰNG HỆ THỐNG HỢP TÁC NGHIÊN CỨU THÔNG QUA VIỆC CHIA SẺ DỮ LIỆU VÀ TÀI NGUYÊN TÍNH TOÁN Kiều Tuấn Dũng, Nguyễn Thanh Tùng Khoa Công nghệ Thông tin, Trường Đại học Thủy lợi, email: {dungkt, tungnt}@tlu.edu.vn 1. GIỚI THIỆU CHUNG 2.1. CKAN Hợp tác nghiên cứu khoa học và đào tạo là CKAN là một hệ thống quản lý dữ liệu xu thế tất yếu trong thời đại Cách mạng công mạnh mẽ giúp việc truy cập dữ liệu - bằng nghiệp 4.0. Nó không chỉ là công cụ có giá trị cách cung cấp các công cụ để hợp lý hóa việc để thúc đẩy mà còn nâng cao chất lượng xuất bản, chia sẻ, tìm kiếm và sử dụng dữ liệu. nghiên cứu và mở rộng lĩnh vực nghiên cứu. CKAN đang được nhiều chính phủ, các tổ Một trong những vấn đề của hợp tác nghiên chức và cộng đồng nghiên cứu trên khắp thế cứu là tiêu chuẩn đạo đức vô cùng nghiêm giới sử dụng: data.humdata.org (7685 + bộ dữ ngặt. Tạp chí Journal of Empirical Research liệu), data.gov.au (70000 + bộ dữ liệu), on Human Research đã chỉ rõ các vấn đề đạo europeandataportal.eu (800000 + bộ dữ liệu)… đức phát sinh khi các nhà nghiên cứu thực Những đặc trưng chính: hiện dự án ở các nước thu nhập thấp và trung - CKAN được phát triển dựa trên 2 công bình trong việc chia sẻ tài nguyên. Tài nghệ lõi được sử dụng phổ biến nhất hiện nay nguyên ở đây đã được Shamoo and Resnik Python (backend) và Javascript (frontend), hoàn toàn miễn phí, hỗ trợ hơn 200 (2003) định nghĩa bao gồm: “dữ liệu, cơ sở extensions, khả năng phát triển mở rộng và dữ liệu, ý tưởng, thiết bị, máy tính, phương dễ dàng tích hợp với các thư viện khoa học pháp, thuốc thử, các mẫu tế bào, địa điểm dữ liệu của Python. nghiên cứu, nhân sự và các nguồn lực kỹ - Được cồng động nghiên cứu hỗ trợ rộng thuật khác”. rãi. Bài báo này tập trung vào giải pháp xây - Ghi lại các log và quản lý phiên bản của dựng một hệ thống chia sẻ dữ liệu bảo mật và bộ dữ liệu. tài nguyên tính toán trong hoạt động hợp tác - Dễ dàng quản trị, kiểm soát dữ liệu và nghiên cứu giữa các nhà khoa học trong dự giữ chúng một cách an toàn. án MekongDelta. - Hỗ trợ biểu diễn dữ liệu và tương tác trên bản đồ. 2. PHƯƠNG PHÁP NGHIÊN CỨU Bài báo tập trung vào vấn đề phát triển hệ thống mà không phân tích chi tiết chuyên sâu về lý thuyết. Kết quả của bài báo là xây dựng một hệ thống chia sẻ dữ liệu bảo mật và năng lực tính toán trong cộng đồng các nhà nghiên cứu. Vì vậy, phương pháp nghiên cứu chính của bài báo là: - Thu thập, phân tích và lựa chọn giải pháp kỹ thuật phù hợp với mục tiêu đề ra Hình 1. So sánh ưu và nhược điểm nhất có thể. của CKAN với các nền tảng cùng nhóm - Triển khai thử nghiệm giải pháp và đánh (Ricardo Carvalho Amorim, João Aguiar giá kết quả. Castro, João Rocha da Silva,, 2017) 187 Tuyển tập Hội nghị Khoa học thường niên năm 2018. ISBN: 978-604-82-2548-3 Trong bài báo này, CKAN được sử dụng năng từ việc chia sẻ dữ liệu đơn giản tới tính để như một sự lựa chọn để xây dựng chức toán thông lượng cao đa nền tảng, đa tổ chức. năng chia sẻ và tìm kiếm metadata về dữ liệu  Cộng đồng nghiên cứu (Research giữa cộng đồng các nhà nghiên cứu về khu Community): Genesis II là một nền tảng có vực Mekong Delta. tính tương thích cao, linh hoạt, miễn phí để phát triển và đánh giá các công nghệ, mô 2.2. XSEDE và GENESIS2 GFFS hình lưới mới. Các lĩnh vực cụ thể trong cộng XSEDE - eXtreme Science and đồng này gồm có: truy cập dữ liệu, bảo mật, Engineering Discovery Environment 0 là một tính tin cậy và các tiêu chuẩn lưới. chương trình cung cấp cơ sở hạ tầng mạng ảo GenesisII GFFS bao gồm GFFS Server đơn nhất giúp các nhà khoa học sử dụng để (Container) và GFFS Client. tương tác lẫn nhau nhằm chia sẻ các tài - GenesisII Client: cho phép chia sẻ dữ liệu nguyên tính toán, dữ liệu và tri thức chuyên từ Campus lên Grid ngành. Các tài nguyên XSDE có thể phân - GenesisII Server: cho phép xuất (export) thành các nhóm như: Tính toán hiệu năng tài nguyên lên Grid hoặc ánh xạ tài nguyên cao; Tính toán thông lượng cao; Ảo hóa; Lưu trên Grid về máy cục bộ trữ; Dịch vụ dữ liệu. Hình 3. Mô hình triển khai phía Provider Hình 2. Kiến trúc XSEDE Ba thành phần chính (hệ thống phần mềm) triển khai XSEDE gồm: - Genesis II: CLIs, APIs, GUI, GFFS, XES services - Globus: XAUS (XD-data), gridFTP - UNICORE 6: GUI, XES, Genesis II là một nền tảng nguồn mở dựa trên nền tảng tính toán lưới được thiết kế để hỗ trợ cả tính toán thông lượng cao và chia sẻ Hình 4. Mô hình triển khai tại các trường, dữ liệu an toàn và lưu trữ dữ liệu. Các tính viện nghiên cứu năng của Genesis II được thiết kế hướng tới 2 cộng đồng 0:  Cộng đồng người dùng (User Community): Dự án Genesis II nhằm cung cấp cho cộng đồng người dùng lưới các công cụ miễn phí, dễ sử dụng để tận dụng công nghệ lưới nhằm đáp ứng nhu cầu quản lý dữ liệu và tính toán của họ. Nền tảng này được thiết kế để hỗ trợ một loạt các miền ứng dụng tiềm H ...