Bài giảng Cơ sở Toán học cho Machine Learning - Nguyễn Văn Sơn & Thân Quang Khoát

Bài giảng Cơ sở Toán học cho Machine Learning gồm có 4 phần, cung cấp cho người học những kiến thức như: Đại số tuyến tính; Giải tích; Xác suất cơ bản; Một số vấn đề về tối ưu hoá. Mời các bạn cùng tham khảo!
Nội dung trích xuất từ tài liệu:
Bài giảng Cơ sở Toán học cho Machine Learning - Nguyễn Văn Sơn & Thân Quang KhoátCơ sở Toán học cho Machine Learning Nguyễn Văn Sơn VinAI Research Thân Quang KhoátTrường Đại Học Bách Khoa Hà Nội Năm 2021 2 Phần 1Đại số tuyến tính 3Chuyển vị và Hermitianq Cho ? ∈ ?!×# , ta nói ? ∈ ?#×! là chuyển vị của A nếu: ?$% = ?%$ ∀1 ≤ ? ≤ ?, 1 ≤ ? ≤ ?Ký hiệu: ? = ?&Nếu ? = ?& thì ta gọi A là ma trận đối xứngq Cho ? ∈ ?!×# , ta nói ? ∈ ?#×! là chuyển vị liên hợp của A nếu: ?$% = ?%$ ∀1 ≤ ? ≤ ?, 1 ≤ ? ≤ ?Ký hiệu: ? = ?Nếu ? = ? thì ta gọi A là ma trận Hermitian 4Phép nhân hai ma trậnqCho hai ma trận ? ∈ ?!×# , ? ∈ ?#×$ , tích của hai ma trận được ký hiệu là ? ∈ ?!×$ với: # ?%& = ) ?% ?& , 1 ≤ ? ≤ ?, 1 ≤ ? ≤ ? ()Tính chất:§ Phép nhân hai ma trận không có tính giao hoán: ?? ≠ ??§ Tính kết hợp: ??? = ?? ? = ?(??)§ Tính phân phối đối với phép cộng: ? ? + ? = ?? + ?? *§ ?? = ?* ?* 5Ma trận đơn vị, Ma trận nghịch đảoq Một ma trận vuông với các phần tử trên đường chéo chính bằng 1, còn lại bằng 0 được gọi là ma trận đơn vị, và ký hiệu là ?# .q Cho một ma trận vuông ? ∈ ?#×# , nếu tồn tại ma trận vuông B ∈ ?#×# sao cho: ?? = ?# thì ta nói A là khả nghịch và B được gọi là ma trận nghịch đảo của A.Ký hiệu ? = ?+) .Tính chất: § ?. ?+) = ?# § ?? +) = ?+) ?+) 6Định thứcq Định nghĩa: Định thức của một ma trận vuông A được ký hiệu là ???? § Với ? = 1, detA chính là phần tử duy nhất của ma trận đó § Với một ma trận vuông bậc ? > 1: Với ?%& là ma trận thu được bằng cách xoá hang thứ i và cột thứ j của ma trận A, hay còn gọi là phần bù đại số của A ứng với phần tử ở hang i, cột j. 7Định thứcq Tính chất:§ ???? = ????*§ ????# = 1§ det ?? = ????. ???? )§ ????+) = ,-./§ Nếu một ma trận có một hang hoặc một cột là một vecto 0 thì định thức của nó bằng 0§ Một ma trận là khả nghịch khi và chỉ khi định thức của nó khác 0§ Định thức của một ma trận tam giác (vuông) bằng tích các phần tử trên đường chéo chính 8Tổ hợp tuyến tính-Không gian sinhq Tổ hợp tuyến tínhCho các vecto khác không ?) , … , ?# ∈ ?! và các số thực?) , ?0 , … , ?# . Khi đó vecto: ? = ?) ?) + ?0 ?0 + ⋯ + ?# ?#được gọi là một tổ hợp tuyến tính của ?) , … , ?# ∈ ?! .Xét ma trận ? = [?) , ?0 , … , ?# ] ∈ ?!×# và ? = ?) , ?0 , … , ?# * , ta cóthể viết lại: ? = ??và b là một tổ hợp tuyến tính các cột của A 9Tổ hợp tuyến tính-Không gian sinhq Tập hợp tất cả các vecto có thể biểu diễn được như là một tổ hợp tuyến tính của các vecto khác không ?) , … , ?# ∈ ?! được gọi là không gian sinh (span space) của hệ các vecto đó, và được ký hiệu là span(?) , … , ?# )q Nếu phương trình: ?) ?) + ?0 ?0 + ⋯ + ?# ?# = 0Có nghiệm duy nhất ?) = ?0 = ⋯ = ?# = 0 thì ta nói hệ ?) , ?0 , … , ?# là độc lập tuyến tính. Ngược lại ta nói hệ đó là phụthuộc tuyến tính. 10Cơ sở của một không gianq Một hệ các vecto ?) , ?0 , … , ?# trong không gian vecto m chiều ? = ?! được gọi là một cơ sở nếu hai điều kiện sau được thoả mãn: § ? ≡ ????(?) , ?0 , … , ?# ) § ?) , ?0 , … , ?# là một hệ độc lập tuyến tính à Nhận thấy: n=mKhi đó, mọi vecto ? ∈ ? đều có thể biểu diễn duy nhất dướidạng một tổ hợp tuyến tính của các ?% 11Hạng của ma trậnq Xét một ma trận ? ∈ ?!×# . Hạng (rank) của ma trận này, ký hiệu là rank(A), được định nghĩa là số lượng lớn nhất các cột của nó tạo thành một hệ độc lập tuyến tínhq Tính chất:§ ???? ? = ???? ?*§ Nếu ? ∈ ?!×# thì ????(?) ≤ min ?, ?§ ????(??) ≤ min(????(?), ????(?))§ ???? ? + ? ≤ ???? ? + ????(?)§ Nếu ? ∈ ?!×# , ? ∈ ?#× thì: ???? ? + ???? ? − ? ≤ ????(??)§ Nếu A là một ma trận vuông khả nghịch thì ???? ? = ? 12Hệ trực chuẩn, ma trận trực giaoq Một hệ cơ sở ?) , ?0 , … , ?! ∈ ?! được gọi là trực giao nếu: ?% ≠ 0 và ?%* ?& = 0 ∀1 ≤ ? ≠ ? ≤ ?q Một hệ cơ sở ?) , ?0 , … , ?! ∈ ?! được gọi là trực chuẩn nếu: ?% 0 0 = ?%* ?% = 1 và ?%* ?& = 0 ∀1 ≤ ? ≠ ? ≤ ?q Gọi ? = [?) , ?0 , … , ?! ] với ?) , ?0 , … , ?! ∈ ?! là một hệ trựcchuẩn ...