Thời gian cần thiết để đánh giá một công trình khoa học

Scientometrics mới có một bài phân tích rất thú vị (1), vì kết quả phân tích này có thể trả lời câu hỏi: cần bao lâu để đánh giá một công trình nghiên cứu khoa học? Trả lời được câu hỏi này cũng quan trọng, vì các cơ quan cấp tài trợ và hội đồng khoa học có thể căn cứ vào đó mà đánh giá chất lượng nghiên cứu khoa học của một cá nhân. Thử tưởng tượng có hai người đang xin đề bạt chức danh [ví dụ như] assistant professor. Cả hai đều có những công trình công...
Nội dung trích xuất từ tài liệu:
Thời gian cần thiết để đánh giá một công trình khoa học Thời gian cần thiết để đánh giá một công trình khoa học Scientometrics mới có một bài phân tích rất thú vị (1), vì kết quả phân tích này có thể trả lời câu hỏi: cần bao lâu để đánh giá một công trình nghiên cứu khoa học? Trả lời được câu hỏi này cũng quan trọng, vì các cơ quan cấp tài trợ và hội đồng khoa học có thể căn cứ vào đó mà đánh giá chất lượng nghiên cứu khoa học của một cá nhân. Thử tưởng tượng có hai người đang xin đề bạt chức danh [ví dụ như] assistant professor. Cả hai đều có những công trình công bố trên các tập san tốt, nhưng chỉ số trích dẫn thì còn thấp. Hai ứng viên lí giải rằng vì họ mới lấy PhD 5 năm nên chưa có đủ thời gian cho trích dẫn, và rất không công bằng nếu đánh giá thành tích của họ dựa trên chỉ số trích dẫn. Lí giải này hợp lí không? Thời gian cần thiết để đánh giá một bài báo khoa học là bao lâu? Đó cũng là câu hỏi mà Viện Garvan chúng tôi đang thảo luận, và tôi được giao nhiệm vụ đi tìm câu trả lời. Có lẽ ai cũng đồng ý rằng trong hoạt động nghiên cứu khoa học, chất lượng cũng quan trọng như (hay thậm chí hơn) số lượng. Một cá nhân có thể công bố rất nhiều bài báo khoa học, nhưng chất lượng thấp thì không thể xem tương đương với một cá nhân công bố ít bài nhưng toàn những bài “nặng kí”. Chỉ cần vài bài trên New England Journal of Medicine, JAMA, Lancet, Nature, Science, PNAS, Cell cũng xứng đáng hàng trăm bài trên Medical Journal of Australia (MJA)! Nhưng làm sao đo lường được chất lượng là một câu hỏi khó có câu trả lời dứt khoát. Chất lượng nghiên cứu là một khái niệm trừu tượng. Hay nói theo ngôn ngữ khoa học xã hội, chất lượng là một latent construct. Đã là latent thì nó rất khó mà cân đo đong đếm được. Thoạt đầu, người ta lấy tập san ra làm một thước đo, với hàm ý nói một bài trên JAMA có chất lượng hơn một bài trên MJA. Tại sao như thế? Tại vì JAMA có hệ số ảnh hưởng (impact factor – IF) cao hơn MJA. Do đó, hiểu theo cách đánh giá này, IF là một thước đo về chất lượng. Nhưng IF có vấn đề, vì nó phản ảnh uy tín của một tập san chứ không phải một công trình khoa học. Trong thực tế có những công trình công bố trên tập san xoàng (hiểu theo nghĩa IF thấp) nhưng được trích dẫn rất nhiều; ngược lại có những công trình trên Science nhưng ít ai trích dẫn hay thậm chí sai. Do đó, hầu hết giới khoa học đồng ý rằng số lần trích dẫn (citation) là một thước đo khách quan để đánh giá chất lượng một công trình nghiên cứu khoa học. Nhưng số lần trích dẫn phụ thuộc vào thời gian và chuyên ngành (hay thậm chí văn hoá ngành). Một công trình sau khi công bố đòi hỏi thời gian để đồng nghiệp xem xét và trích dẫn. Ngoài ra, có những ngành “nóng” (như miễn dịch học, di truyền học chẳng hạn) thì ngay sau khi công bố đã có người trích dẫn ngay. Như công trình nghiên cứu về gen FTO, chỉ sau 6 tháng công bố trên Science đã có trên 50 người khác trích dẫn (cho đến nay, sau 5 năm công bố, bài báo này đã được trích dẫn 1439 lần). Nhưng có những ngành như toán học thì tần số trích dẫn chẳng những thấp mà thời gian cần để trích dẫn cũng lâu hơn các ngành thực nghiệm khác. Do đó, câu hỏi đặt ra là thời gian [tính từ lúc công bố] cần thiết để có một đánh giá tương đối khách quan về tần số trích dẫn. Chúng ta biết rằng có những công trình kinh điển (như DNA của Watson và Crick), sau khi công bố dù cả mấy chục năm, mà vẫn còn được trích dẫn. Nhưng cũng có công trình chỉ được trích dẫn khi chủ đề còn “nóng” hoặc khi tác giả của nó còn … sống. Lại có những công trình không bao giờ được trích dẫn. Thật ra, con số công trình không bao giờ được trích dẫn có thể lên đến 50%. Vì thế, trả lời được câu hỏi về thời gian trích dẫn tối ưu là rất có ích. Scientometrics mới công bố một phân tích (1) nhằm trả lời câu hỏi đó. Tác giả bài này truy tìm tất cả 746,460 bài báo đăng trên các tập san có trong danh mục của ISI (Web of Science) trong năm 1980. Sau đó, tác giả tìm tất cả trích dẫn cho những bài báo đó từ 1980 đến 2010 (tức 30 năm). Sau đó, tác giả này làm như sau: (a) mỗi một bài báo, tác giả tính tổng số lần trích dẫn trong 30 năm theo dõi; (b) sau đó, tính số lần trích dẫn trong vòng 1, 2, 3, 4, 5 năm, v.v.; (c) kế đến tác giả tính hệ số tương quan giữa số lần trích dẫn từng giai đoạn và tổng số lần trích dẫn. Nói cách khác, tác giả có 30 hệ số tương quan (r1, r2, r3, r4, … r30) để đo lường độ tương quan giữa số lần trích dẫn mỗi giai đoạn và tổng số lần trích dẫn. Tác giả lấy cái mốc rt > 0.8 là phản ảnh độ tương quan cao, và do đó lấy tlàm thời điểm cần thiết để đánh giá chất lượng một công trình khoa học. Dĩ nhiên, phân tích này phải chia theo nhóm ngành khoa học. Kết quả cho thấy thời gian và hệ số tương quan dao động khá lớn giữa các ngành khoa học. Bảng sau đây (chỉ là trích dẫn một phần của bảng 3 trong bài báo) cho thấy nếu lấy r = 0.80 là chỉ số “đáng tin cậy” để đánh giá thì thời gian 4 hoặc 5 năm có lẽ là thích hợp nhất cho đa số các ngành. Hệ số tương quan giữa số lần t ...