Bài giảng 1: Giới thiệu môn học Khoa học máy tính

Bài giảng 1: Giới thiệu môn học Khoa học máy tính với các nội dung chính nhắc lại kiến thức cơ bản về xác suất thống kê; Entropy, entropy tương đối, và thông tin tương hỗ; nén dữ liệu; dung lượng kênh. Cùng tìm hiểu để nắm bắt nội dung thông tin tài liệu.
Nội dung trích xuất từ tài liệu:
Bài giảng 1: Giới thiệu môn học Khoa học máy tính Bài giảng 1. Giới thiệu môn học Giảng viên: Nguyễn Phương Thái Bộ môn Khoa học Máy tính Trang web cá nhân: http://coltech.vnu.edu.vn/~thainp/ Trợ giảng: Nguyễn Kim Anh Nội dung bài giảng - Lịch sử môn học - Vai trò của lý thuyết thông tin - Nội dung môn học - Yêu cầu với sinh viên Lịch sử môn học C. E. Shannon, “A mathematical theory of communication,” Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948. Lịch sử môn học (tiếp) - Lần đầu tiên xác suất được áp dụng vào phân tích truyền thông. - Ý tưởng đột phá là “thông tin” (bất kể nguồn loại gì) về căn bản là mang tính số (digital). - Khái niệm “entropy” thông tin ra đời, dùng để đo “độ phức tạp” hay “độ ngẫu nhiên” của nguồn thông tin. - Các kênh thông tin có một dung tích mà nếu ta truyền tín hiệu với tốc độ nhỏ hơn nó thì tồn tại một cách mã hóa tín hiệu mà nhờ đó ta có thể đạt được xác suất lỗi nhỏ tùy ý. - Bài báo cũng đặt nền tảng cho ngành nén dữ liệu, mã hóa và giải mã tín hiệu với khả năng phát hiện lỗi và sửa lỗi. - Nhờ bài báo này, truyền thông có thể hiểu nôm na là bao gồm 3 bước chính: mã hóa tín hiệu, truyền tín hiệu qua kênh thông tin, và giải mã tín hiệu. Vai trò của Lý thuyết Thông tin Vai trò của Lý thuyết Thông tin (tiếp) - Trong kỹ thuật điện tử: các giới hạn của lý thuyết truyền thông - Trong khoa học máy tính: độ phức tạp Kolmogorov - Trong vật lý: lý thuyết thông tin lượng tử - Trong toán học: các bất đẳng thức, các định lý giới hạn, kiểm định giả thuyết thống kê, lượng thông tin Fisher - Triết lý của khoa học - Trong kinh tế học Nội dung môn học - Nhắc lại kiến thức cơ bản về XSTK - Entropy, entropy tương đối, và thông tin tương hỗ - Nén dữ liệu - Dung lượng kênh Mục tiêu môn học Môn học này giúp sinh viên: - Biết được ảnh hưởng của lý thuyết thông tin trong các lĩnh vực như thống kê, học máy, kinh tế, v.v. - Hiểu các khái niệm cơ bản của lý thuyết thông tin như entropy, thông tin tương hỗ - Có thể vận dụng để giải các bài toán cần xác định lượng tin - Hiểu mô hình truyền thông theo quan điểm của Shannon Yêu cầu với sinh viên - Tham gia học trên lớp và làm bài tập (1 điểm chuyên cần) - Kiểm tra giữa kỳ (hệ số 0.4) - Thi cuối kỳ (hệ số 0.5)