過度重視評核的陷阱：千篇一律? 千人一面?

筆者在美國一所基督教大學工作，大學有一個部門名為「信仰整合」（Faith integration），目的是鼓勵教授將基督教信仰與教學、研究融合在一起，教授能否升職的條件之一，就是要通過信仰整合的考核，而這些考核包含了對信仰整合論文的評分。一位同事提出這個挑戰：「這些考核本身有沒有通過考核？」他的意思是：我們怎可以知道這些分數可以真正反映出教授的信仰歷程和表現，坦白說，「說起來天下無敵，做起來有心無力」的情況不時出現。我更加進一步說：「雖然我以數據分析謀生，但是我並不認為任何東西都可以用數字去衡量與充份表達，我並不反對評分，但這只能作為參考，不可以絕對化。除了量化（quantitative）的證據之外，我們還需要其他質化（qualitative）的指標，例如對教授行為的觀察。」

筆者沒有通過第一次信仰整合考核，當時系主任給我一個十分簡單的建議：「他們要求甚麼，你就寫甚麼。」於是後來我加入一些官樣文章，將自己的屬靈境界說得天花龍鳳，結果取得合格的成績。這種千篇一律、千人一面的現象，在研究方法中被稱之為坎貝爾定律 （Campbell’s Law）或古德哈特定律 （Goodhart’s Law）。 簡單地說，坎貝爾和古德哈特都不約而同地指出：一旦某些東西被確定為主要指標，為了達標，人們便會無所不用其極地操控分數。

這種現象亦出現在大學爭取排名榜上的位置，不同的排名榜有不同的準則，若果準則之一是大學投放了幾多資源在研究上，那麼大學當局便盡量將開支寫入研究的賬簿上。例如教授需要坐得舒服才可以寫論文，那麼買傢俬便可以撥入研究經費；如果同行徵引教授文章的次數被納入指標，那麼論文作者便會定下協議，互相引用對方的作品，甚至是自己大量徵引自己。例如，科爾查多（ Juan Manuel Corchado ）是西班牙薩拉曼卡大學（ University of Salamanca） 的電腦科學家，因為他的論文被引用了 39,000 次，所以他在谷歌學者（ Google Scholar）的排名是全西班牙第一百四十五，但其中許多是自引。

在這種氛圍下，有些人自覺或不自覺地堆砌數字是不足為奇的。歷年來，《美國新聞與世界報道》（US News and World Report）都公佈大學排名榜，但今年3月美國南加州大學卻要求這份雜誌將自己的教育學院從名單上剔除，原因是校方發現，過去五年呈報的資料都有錯誤，南加州大學的內部數據在過去20年都是由一位主管負責，憑著亮麗的數字，去年南加大教育學院在全美排名第十一。可是，在兩年前換了主管之後，南加大卻發現以往提交的數據資料很有問題。

這並不是孤立、個別的事件，在今年3月，天普大學（Temple University）商學院前院長摩西．波拉特（Moshe Porat）被發現向《美國新聞與世界報道》提供不實資料，從而提高其商學院的排名，結果他被校方解僱，並且被法庭判監14個月。

即使在正常的情況下，分數能否充份反映質素亦受到爭議。ACT和SAT是美國大學入學資格考試，今年3月底美國喬治亞州大學系統宣佈，從下個學年開始，喬大系統旗下的26所學院不會要求學生申請入學時提交ACT或者SAT分數。無獨有偶，幾乎在同一時間，加州州立大學理事會教育政策委員會投票通過，今後加州大學招生不再採用ACT或者SAT成績作為錄取標準之一，未來加州系統的大學收生將會採用多元的綜合標準，來取代標準化考試成績，這些綜合指標包括了校內成績和學生的志願書。

年少時，筆者在香港曾經受過填鴨式教育和高壓力考試的荼害，我完全理解委員會不再採用標準化考試成績的原因。然而，我恐怕這些改革到最後仍然會落入坎貝爾定律或古德哈特定律的陷阱。當校內成績比較重要的時候，中學老師可能會「放水」；而學生的志願書更可能出現千篇一律、千人一面的現象。教育委員會這個決定，是希望能夠為來自不同社會階層、不同族裔的學生提供均等機會，但這種取向會形成了「標準化」的志願書：「我是來自一個貧苦的移民家庭，我父母是勞工階層，從未受過高深教育。英語並不是我的母語，我飽受歧視，經過了艱辛的掙扎，才可以爭取到今天的成績，我希望可以進入大學修讀政治學、社會學，將來致力於創造一個更加公平的社會，每個人都可以有機會實現美國夢……。」

這並不是新鮮的現象，《紐約時報》記者佛利民（Thomas Friedman）曾經說過這個有趣的故事：很多印度年青學子都希望可以來到美國留學，但能夠成功申請到學生簽證的機會並不高，其中一關是到美國領事館面試。在某次面試中，領事館工作人員詢問申請者為甚麼想到美國讀書，那名申請人回答：「我的父親是傷殘人士，行動十分不方便，我希望在美國大學研究怎樣製造更加優良的人工義肢。」領事館工作人員深為感動，於是批准了他的簽證申請。隨後，大量申請人說自己想到美國的理由，是為了幫助親人製造假肢。

量化分析、分數至上主義固然有問題，但換了質化分析（例如自願書、面試），亦不能保證考核結果會更加公平，因為兩者都可能會受到操控，而且後者更牽涉到評審人的主觀判斷。如果讀者期望我會提出甚麼新標準、新評核方法或者解決之道，你會很失望。在英語中，萬試萬靈的良方被比喻為能夠殺死人狼的銀子彈 （Silver bullets that can kill werewolves），但我並沒有對付坎貝爾定律或古德哈特定律的銀子彈，我只能夠說，千萬不要執著於任何分數或者考核結果，也許這就是銀子彈！