Xây dựng ngân hàng câu hỏi dựa trên lí thuyết trắc nghiệm hiện đại IRT và ứng dụng

Bài viết trình bày cách xây dựng các ngân hàng câu hỏi dựa trên phương pháp trắc nghiệm cổ điển và đặc biệt sử dụng lí thuyết trắc nghiệm hiện đại IRT với các công cụ như: Hàm thông tin đề thi (Test Information Fuction), Đường cong đặc trưng đề thi (Test Characteristic Curve), Phương pháp Sinh (Generation).
Nội dung trích xuất từ tài liệu:
Xây dựng ngân hàng câu hỏi dựa trên lí thuyết trắc nghiệm hiện đại IRT và ứng dụng Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XII về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR); Huế, ngày 07-08/6/2019 DOI: 10.15625/vap.2019.00072 D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆ ĐẠI IRT VÀ ỨNG DỤNG ĐH Thăng Long Email:ntichlang@yahoo.com TÓM TẮT: Ngân hàng câu hỏi là công cụ đắc lực để thực hiện kiểm tra sinh viên, đảm bảo tính khách quan, công bằng, khoa học trong việc đánh giá kết quả học tập. o đ trên thế giới cũng như ở Việt am, g n h ng c u hỏi được sử dụng ngày càng nhiều. Tuy nhiên ở Việt Nam hiện nay ngư i ta dựng đề kiểm tra bằng cách trích xuất ngẫu nhiên một số câu hỏi từ Ngân hàng, trộn câu, trộn phương án, tổ chức thi, chấm điểm… m chưa đưa các c u hỏi về cùng một thang đo bằng cách phân tích câu hỏi theo lý thuyết trắc nghiệm hiện đại, chưa đánh giá đề kiểm tra trước khi cho th sinh thi, trong đ c việc xây dựng các đề kiểm tra tương đương… Trong bài báo này, chúng tôi trình bày cách xây dựng các ngân hàng câu hỏi dựa trên phương pháp trắc nghiệm cổ điển v đặc biệt sử dụng lí thuyết trắc nghiệm hiện đại IRT với các công cụ như: H m thông tin đề thi (Test Information Fuction), Đư ng cong đặc trưng đề thi (Test Characteristic Curve), Phương pháp Sinh (Generation). Chúng tôi minh chứng việc sử dụng lí thuyết trắc nghiệm hiện đại IRT kết hợp với phương pháp cổ điển cho kết quả sát với thực tế v hiệu quả. Chúng tôi đã áp dụng cách làm này vào việc xây dựng “Ngân hàng câu hỏi Tiếng Anh” tại trư ng Đại học Thăng Long. I. MỞ ĐẦU Ngân hàng câu hỏi (NHCH) là một tập hợp các câu hỏi đã được đánh giá, đưa về một thang đo chung và phần mềm quản trị NHCH. Trong lịch sử phát triển của kiểm tra đánh giá, NHCH xuất hiện t sớm và c vai tr rất quan trọng. NHCH có chức năng soạn thảo câu hỏi và khả năng lưu trữ một dung lượng lớn câu hỏi cùng với âm thanh, hình ảnh. Đề kiểm tra “thích ứng với năng lực” cho phép chọn câu hỏi “hoàn toàn thông minh” phù hợp với trình độ của mỗi em học sinh. Hình thức thi dựa vào máy tính đã loại bỏ cả hai loại giấy là đề thi và phiếu thi... Có thể nói, NHCH là công cụ đắc lực để thực hiện các giai đoạn của phát triển kiểm tra: lưu trữ câu hỏi, chọn câu hỏi xây dựng đề kiểm tra và phân phát đề. Ngoài ra, đối với cấp quản lý và giảng viên, NHCH còn góp phần giảm bớt một số công việc trong quy trình xây dựng đề kiểm tra, đảm bảo tính khách quan, công bằng, khoa học trong việc đánh giá kết quả học tập của sinh viên, chuẩn hóa công tác kiểm tra đánh giá, nâng cao chất lượng dạy và học của giảng viên và sinh viên... Chính vì vậy, NHCH được sử dụng ngày càng nhiều trên thế giới cũng như ở Việt Nam. Trên thế giới, đặc biệt ở các nước phát triển, người ta đã nghiên cứu và xây dựng rất nhiều NHCH [1, 2, 3, 4]. Ở Việt Nam một số trường đại học đã xây dựng NHCH như Đại học Quốc gia Hà Nội, Đại học Vinh, Trường Đại học Y Hà Nội, Trường Đại học Khoa học Huế, Trường Đại học Hàng hải [5]. Tuy nhiên, phần lớn NHCH ở Việt Nam hiện nay chỉ chú trọng đến việc xây dựng đề kiểm tra bằng cách trích xuất ngẫu nhiên một số câu hỏi t Ngân hàng, trộn câu hỏi, trộn phương án, tổ chức thi, chấm điểm, lập áo cáo… mà chưa đưa các câu hỏi về cùng một thang đo, chưa đánh giá đề kiểm tra trước khi cho thí sinh thi, chưa xây dựng được các đề kiểm tra tương đương… Nhận thức được tầm quan trọng của NHCH đối với đổi mới công tác kiểm tra đánh giá, năm 2016 Trung tâm Đảm bảo chất lượng và Khảo thí, Bộ môn Ngôn ngữ Anh và Phòng Công nghệ thông tin của Trường Đại học Thăng Long đã thực hiện Đề tài “Xây dựng Ngân hàng câu hỏi tiếng Anh”. Đề tài này đã được đánh giá tốt trong quá trình ứng dụng vào thực tiễn của trường. II. KẾ QUẢ Trong phần này, chúng tôi trình bày các kết quả nghiên cứu và xây dựng các ngân hàng câu hỏi dựa trên phương pháp trắc nghiệm cổ điển và đặc biệt sử dụng lí thuyết trắc nghiệm hiện đại IRT với các công cụ như: H m thông tin đề thi (Test Information Fuction), Đư ng cong đặc trưng đề thi (Test Characteristic Curve), Phương pháp Sinh (Generation). Chúng tôi đã áp dụng cách làm này vào việc xây dựng “ Ngân hàng câu hỏi tiếng Anh” tại Trường Đại học Thăng Long. Về thực chất, cách làm này được thể hiện trên quy trình xây dựng ngân hàng câu hỏi. uy trình này được mô tả ằng Hình 1 dưới đây: 1: Xác định ục tiêu dạy học, Chuẩn đầu ra, Nội dung chương trình, hương pháp kiểm tra đánh giá, a trận môn học. Ma trận môn học là một bảng 2 chiều với một cột chứa đựng các phạm vi nội dung của môn học c thể được liệt kê theo chủ đề, theo chương; cột thứ hai là sự phân loại về mức độ mà sinh viên nắm vững nội dung, c thể theo thang Bloom. Thêm nữa, mỗi ô trong bảng ghi lại “trọng số” tương ứng mà giảng viên sẽ cho đối với mỗi nội dung. 562 D N N NH N C H D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆN ĐẠI IRT VÀ ỨNG DỤNG : Để xây dựng NHCH, n i chung cần 2 loại phần mềm: - hần mềm quản trị Ngân hàng câu hỏi: C thể do trường tự viết hoặc dùng phần mềm c s n Ch ng hạn Moodle, FastTEST, Mathematics Item Bank Project ...). - hần mềm l thuyết trắc nghiệm hiện đại T Conquest, PARSCALE, MULTILOG ..). : Câu hỏi của Đề tài c 2 loại: Trắc nghiệm khách quan và tự luận. : Sau khi tác giả viết xong câu hỏi, Đề tài sẽ thẩm định lại câu hỏi bằng phương pháp chuyên gia và tiến hành sửa chữa cho hoàn thiện. Mục tiêu, Chuẩn đầu ra Nội dung Chương trình a trận môn học ...