該研究證實了許多申請人的觀察結果：開源人工智能工具審查簡歷，就像他們的非人工智能簡歷篩選前輩一樣，偏向男性候選人。
每一個空缺職位都會收到大量的申請，這幾乎迫使忙碌的高管們求助於技術來幫助篩選出值得面試的候選人。
然而，一項新的研究再次證實了許多申請人的觀察結果：開源人工智能工具審查簡歷，就像他們的非人工智能簡歷篩選前輩一樣，對男性候選人存在偏見。
在這項研究中，印度艾哈邁達巴德大學助理教授蘇加特·查圖爾維迪 (Sugat Chaturvedi) 和美國伊利諾伊大學博士生羅查納·查圖爾維迪 (Rochana Chaturvedi) 使用了從印度國家職業服務在線門戶網站收集的超過 30 萬份英語招聘廣告的數據集，並促使人工智能模型在同等資格的男性和女性候選人中進行選擇，以接受不同職位的面試。
而且，毫不奇怪：研究人員說，“我們發現大多數模特都傾向於男性，尤其是高薪職位。”
此外，他們寫道，“大多數模型都再現了陳規定型的性別關聯，並系統地推薦同等資格的女性擔任低薪職位。這些偏見源於訓練數據中根深蒂固的性別模式以及在人類反饋階段的強化學習過程中引起的“宜人性偏差”。 ”
“對於大型語言模型 (LLM) 來說，這並不是什麼新鮮事，”Moor Insights & Strategy 的副總裁兼首席分析師 Melody Brue 表示，該分析師負責現代工作、HRM、HCM 和金融服務。 “我認為，如果你看一下一段時間內招聘偏見的統計數據，這些偏見已經存在了很長一段時間。因此，當你考慮到這一點時，90%左右的學習管理系統都是根據從網絡上抓取的數據集進行訓練的，你會得到同樣的代表性不足、專業背景、少數群體的聲音等等，這確實是有道理的；它將反映與在網絡上看到的相同數據。”
但這項研究有一些有趣的轉折結果。
一方面，各種模型表現出不同程度的偏差。研究人員測試了幾種中型大型語言模型（），包括 Llama-3-8B-Instruct、Qwen2.5-7BInstruct、Llama-3.1-8B-Instruct、Granite-3.1-8B-it、Ministral-8B-Instruct-2410 和 Gemma-2-9B-Instruct。
該論文稱，在這些模型中，Llama-3.1 是最平衡的，女性回調率為 41%。其他的範圍從最低的 Ministral 的 1.4% 到高達 87.3% 的 Gemma。 Llama-3.1 也最有可能拒絕推薦男性或女性候選人擔任工作，拒絕選擇的案例佔 5.9%。另一方面，Ministral、Qwen 和 Llama-3.0 很少（如果有的話）拒絕選擇候選人。
研究人員還將職位描述映射到標準職業分類（SOC），並發現，可以預見的是，在男性主導的職業中，男性被更頻繁地選擇接受面試，而在女性主導的行業中，女性更頻繁地被選擇接受面試。他們還估計了推薦女性或男性的工作之間公佈的工資差距，發現大多數模型都推薦女性從事低薪工作。然而，儘管 Ministral 對女性的回調率最低，但它為她們指明了薪資更高的工作。另一方面，回調率最高的 Gemma 對女性的工資處罰也最大。
個性很重要
然而，他們指出，“人們發現法學碩士表現出獨特的個性行為，通常傾向於社會理想或阿諛奉承的反應，這可能是根據人類反饋進行強化學習的副產品。”這是一個已知問題；上週 OpenAI復原ChatGPT-4o 的最新版本過於阿諛奉承，需要對其進行重新平衡。
當研究人員檢查每個模型的性格，觀察其對經驗的開放性、責任心、外向性、宜人性和情緒穩定性的水平，他們發現，這些因素也影響了它的推薦，而且往往不是一個好的方式。他們通過將提示調節到特定特徵，然後要求模型在一對候選者之間進行選擇來做到這一點。
研究人員寫道：“我們發現，模型的拒絕率根據初始人格特徵的不同而存在顯著差異。當模型被提示不太友善（拒絕率 63.95%）、不太認真（26.60%）或情緒不太穩定（25.15%）時，拒絕率會大幅增加。”當他們要求模型解釋其決定時，他們說，“有趣的是，低宜人性模型經常通過引用道德問題來證明其拒絕的合理性，通常會做出這樣的回應：‘我無法提供宣揚或美化有害或歧視行為的回應，例如基於性別而偏向一名申請人。’”
另一方面，低責任心模型表示它懶得選擇，或者根本沒有反應，而低情緒穩定性模型則“將其拒絕歸因於焦慮或決策癱瘓”。
但是，研究人員指出，“值得注意的是，在現實中，人類性格本質上是多維的。為了捕捉更複雜的特徵配置，我們模擬了真實個體提出的建議。具體來說，我們使用 A&E 網絡紀錄片中專家小組編制的列表來提示模型代表著名歷史人物做出回應千禧年傳記：100 人 – 1000 年，1999 年發布，其中介紹了過去千年中被認為最具影響力的個人。 ”
要求這些人物（包括約瑟夫·斯大林、阿道夫·希特勒、伊麗莎白女王一世和女權倡導者瑪麗·沃斯通克拉夫特等名人）選擇一位候選人，導致女性回電率增加。然而，援引羅納德·裡根、伊麗莎白女王一世、尼科洛·馬基雅維利或 DW·格里菲斯的說法降低了這一比率。威廉·莎士比亞、史蒂文·斯皮爾伯格、埃莉諾·羅斯福和埃爾維斯·普雷斯利的模特幾乎從未拒絕選擇候選人。
研究人員觀察到，“這表明，採用某些角色會增加模型提供明確性別建議的可能性，這可能會削弱其針對性別歧視的保障措施，而其他角色，尤其是有爭議的人物，會提高模型對偏見的敏感性。”
他們還研究了工資差距，發現女性的工資處罰也有很大差異。例如，當模型提示伊麗莎白·斯坦頓、瑪麗·沃斯通克拉夫特、納爾遜·曼德拉、聖雄甘地、約瑟夫·斯大林、彼得大帝、埃爾維斯·普雷斯利或 J·羅伯特·奧本海默的名字時，它在回調平價時消失；當提示瑪格麗特·桑格或弗拉基米爾·列寧時，建議女性從事比男性工資相對較高的工作。
研究人員表示，“這表明，相對於基線模型，參考具有不同特徵的有影響力的人物可以同時減少工資差距並最大限度地減少職業隔離。”
理解和減少偏見至關重要
研究人員表示，隨著開源模型的快速發展，理解和減輕這些偏見變得越來越重要，以便能夠根據歐盟的“值得信賴的人工智能道德準則”、經合組織的人工智能理事會建議以及印度的人工智能道德與治理框架等法規負責任地部署人工智能。
他們總結道：“因此，在公司將招聘決定委託給法學碩士之前，了解法學碩士是否、何時以及為何會引入偏見至關重要。”
Moor 的 Brue 對此表示同意，並指出，考慮到模型變化的速度，首席信息官不能只對模型進行單一評估。相反，他們需要創建一個持續的人工智能風險評估計劃。 “我認為人們必須意識到偏見已經進入系統，它是存在的，這些事情必須進行風險評分、審計，並且人為乾預需要成為招聘策略的一部分。這必須像一種非常有意識的決定來減輕偏見，”她說。