Một bảng xếp hạng trông như đang so sánh công việc của người ta. Thực ra nó đang so mức bao phủ dữ liệu — và mức bao phủ khác nhau một cách có hệ thống giữa những người bị đem ra so.
Xếp hạng thực sự đo gì
- Lĩnh vực nào được lập chỉ mục tốt hơn.
- Ngôn ngữ nào được thu thập đầy đủ hơn.
- Loại công trình nào được ghi nhận — bài tạp chí có, hướng dẫn ngành không.
- Ai có thời gian dọn hồ sơ của mình.
- Không cái nào trong số đó là chất lượng nghiên cứu.
Vấn đề của việc gộp thành một số
- Chuẩn công bố khác nhau giữa các ngành — số bài không so được ngang.
- Trích dẫn tích luỹ theo thời gian nên thiên vị người làm lâu năm.
- Một số duy nhất che giấu toàn bộ phương sai bên dưới.
- Thứ hạng sát nhau không khác biệt gì về mặt thống kê.
Điều xảy ra khi có bảng xếp hạng
- Người ta tối ưu cho chỉ số thay vì cho công việc.
- Loại công trình không được đếm bị bỏ dần.
- Công trình tiếng Việt bị đánh giá thấp hơn nữa.
- Chỉ số trở thành mục tiêu và mất luôn giá trị làm thước đo.
Cái gì hợp lý thay thế
- Hiện các số liệu riêng lẻ kèm nguồn và mức bao phủ.
- Cho tra cứu và lọc, không cho xếp thứ tự.
- Nêu rõ hạn chế ngay cạnh mỗi con số.
- Để việc đánh giá cho người đọc được công trình.
Ranh giới
- Đếm số bài trong một tập hợp: được, nếu nêu quy tắc đếm.
- Sắp người theo con số đó: không.
- Khác biệt nằm ở chỗ cái sau ngụ ý một phán đoán mà dữ liệu không đỡ nổi.
Một điều đáng nhớ
Xếp hạng mời gọi đúng loại lạm dụng mà dữ liệu không chịu nổi.
Cùng một con số, đặt trong bảng tra cứu thì là dữ kiện; đặt trong bảng xếp hạng thì thành lời phán về giá trị một con người — và không có gì trong dữ liệu biện minh cho bước nhảy đó.
Câu hỏi thường gặp
Xếp hạng thực sự đo gì?
Lĩnh vực nào được lập chỉ mục tốt hơn, ngôn ngữ nào được thu thập đầy đủ hơn, loại công trình nào được ghi nhận, và ai có thời gian dọn hồ sơ — không cái nào là chất lượng nghiên cứu.
Vấn đề của việc gộp thành một số là gì?
Chuẩn công bố khác nhau giữa các ngành, trích dẫn tích luỹ nên thiên vị người làm lâu năm, một số duy nhất che giấu phương sai, và thứ hạng sát nhau không khác biệt thống kê.
Điều gì xảy ra khi có bảng xếp hạng?
Người ta tối ưu cho chỉ số thay vì cho công việc, loại công trình không được đếm bị bỏ dần, công trình tiếng Việt bị đánh giá thấp hơn, và chỉ số mất giá trị làm thước đo.
Cái gì hợp lý thay thế xếp hạng?
Hiện các số liệu riêng lẻ kèm nguồn và mức bao phủ, cho tra cứu và lọc chứ không cho xếp thứ tự, nêu rõ hạn chế cạnh mỗi con số, và để đánh giá cho người đọc công trình.
Ranh giới giữa đếm và xếp hạng là gì?
Đếm số bài trong một tập hợp thì được nếu nêu quy tắc đếm, nhưng sắp người theo con số đó thì không — vì nó ngụ ý một phán đoán mà dữ liệu không đỡ nổi.
