Bài giảng Đánh giá mô hình hồi quy Logistic

Bài giảng trình bày ba tiêu chí cho một mô hình tiên lượng: phân định, chính xác và tái phân nhóm; hai thước đo độ tin cậy của một mô hình; ý nghĩa thật của AUC; đánh giá độ chính xác calibration; ...
Nội dung trích xuất từ tài liệu:
Bài giảng Đánh giá mô hình hồi quy Logistic Tuan V. NguyenSenior Principal Research Fellow, Garvan Institute of Medical Research Professor, UNSW School of Public Health and Community Medicine Professor of Predictive Medicine, University of Technology Sydney Adj. Professor of Epidemiology and Biostatistics, School of Medicine Sydney, University of Notre Dame AustraliaPhân tích dữ liệu và ứng dụng | Đại học Dược Hà Nội | 12/6 to 17/6/2019 © Tuan V. Nguyen Ba tiêu chí cho một mô hình tiên lượng• Discrimination – phân định• Calibration – chính xác• Reclassification – tái phân nhómDiscrimination – phân định Hai thước đo độ tin cậy của một mô hình• Sensitivity – độ nhạy• Specificity – độ đặc hiệu Độ nhạy• Trong số những người mắc bệnh, bao nhiêu % có tiên lượng dương tính?• Gold standard – mắc bệnh trong thực tế• Test result – mô hình tiên lượng Độ đặc hiệu• Trong số những người không mắc bệnh, bao nhiêu % có tiên lượng âm tính• Gold standard – mắc bệnh trong thực tế• Test result – mô hình tiên lượng Ví dụTiên lượng Bệnh (n=177) Không bệnh (n=81)+ve (trên 20%) 120 20-ve (dưới 20%) 57 61Tổng số 177 81 Ví dụTiên lượng Bệnh (n=177) Không bệnh (n=81)+ve (trên 20%) 120 20-ve (dưới 20%) 57 61Tổng số 177 81 Sensitivity = 120 / 177 = 0.68 Specificity = 61 / 81 = 0.75 Tỉ lệ dương tính giả (false +ve)Tiên lượng Bệnh (n=177) Không bệnh (n=81)+ve (trên 20%) 120 20-ve (dưới 20%) 57 61Tổng số 177 81 Sensitivity (dương tính thật) = 120 / 177 = 0.68 Specificity = 61 / 81 = 0.75 Dương tính giả = 1 – 0.75 = 0.25 ROC curve• Receiver operating characteristic (ROC) curve• Đo lường khả năng phân định (power of discrimination) của một xét nghiệm hay mô hình tiên lượng• Thường dùng cho các kết quả biến liên tục• Y-axis (trục tung): true positive (sensitivity)• X-axis (trục hoành): false positive (1-specificity)Một ví dụ về một xét nghiệm hoàn hảoG Tripepi et al.: Diagnostic methods 24 h microalbuminuria cutoff tion ind True negatives True positives minate a large renal d (true-n positive individ classifie to the r 0 10 20 30 40 50 60 the fals 24h microalbuminuria (mg/24 h) the fals the cut Patients with renal dysfunction false-ne Healthy subjects false-poFigure 1 | Scattergram of 24 h microalbuminuria in patients cutoff cwith renal dysfunction (gray circles) and in healthy subjects(green circles). Because of the way we defined renal dysfunction,disease, indicating that a 24 h microalbuminuria 430 mg/day Clinica Nhưng trong thực tếperfectly discriminates between sick and healthy people. For thi diagno we con Urine albumin:creatinine ratio cutoff dysfun False negatives True positives microa assesse throug helps t An True negatives False positives sensitiv specific series ...