此为历史版本和 IPFS 入口查阅区,回到作品页
鋼哥
IPFS 指纹 这是什么

作品指纹

📝📝:為什麼非母語者總被誤判為 AI?用布迪厄《語言與象徵權力》拆解演算法的語言偏見

鋼哥
·
·
GPT 偵測器測不到穩定結果,是因為這套機制試圖用一把尺,去丈量一個本質上是關係性的、而且永遠在被重新協商的東西。
▲ 在偵測器的世界裡,語言複雜是通行證,簡單是嫌疑犯;在讀者的世界裡,意象直白是通行證,語意複雜是嫌疑犯。Photo by Aerps.com on Unsplash

原刊載於《關鍵評論網》原標題為《布赫迪厄40年前就畫好的地圖:生成式AI沒有騙過任何人,它只是考了一百分


2023 年,史丹佛大學的研究團隊測試七款主流 GPT 偵測器,發現非母語英語寫作者的 TOEFL 作文,平均有 61.3% 被誤判為 AI 生成,而美國本地八年級學生的作文幾乎全數過關。

這裡浮現的問題,已經不只是「偵測器對非母語者有偏見」這麼簡單。同一款偵測器,面對 TOEFL 作文、美國學生作文、ICLR 論文,交出的是三種完全不同的答案,判準本身在不同場合像就像被重新設定過一樣。

▲ 面對非母語寫作者的 TOEFL 作文,左圖超過一半被誤判為「AI 生成」,平均假陽性率高達 61.3%。來源:該研究截圖

我要問的不是「偵測器準不準」,隨著近期 Anthropic 推出模型內嵌浮水印,有個更緊迫的問題將隨之而來:

GPT 偵測器為什麼始終無法測得一個穩定的結果?


GPT 偵測器經常失準

這個問題,恐怕不能用「模型還不夠成熟」「訓練資料還不夠多元」來回答。如果答案真是這樣,那只要繼續投入資源優化,穩定性遲早會出現。但我要論證的方向剛好相反:

這種不穩定,不是一個等待被工程解決的暫時缺陷,這項技術從一開始測量的東西,結構上就不可能穩定下來。

要說明這一點,得回到法國社會學家 Pierre Bourdieu(沒錯又是 Bourdieu!)一份 1991 年出版、談十九世紀法國語言統一過程的舊文本

《語言與象徵權力》(Language and Symbolic Power)第一章的內容之一〈合法語言的生產與再生產〉(The Production & Reproduction of Ligitimate Language)

▲《語言與象徵權力》(Language and Symbolic Power)。來源:AMAZON

具體會用到四件工具:

  1. 「語言市場」的概念,說明複雜度從來不是語言的內在屬性,而是隨市場波動的相對價格;

  2. Bourdieu 對「精緻語碼」的批判,說明任何試圖修正偏見的校準,都只是換一套同樣具有社會位置的標準;

  3. Bourdieu 對「理想說話者」這個抽象預設的批判,說明偵測器內建的基準,現實中根本沒有對應的群體;

  4. 第四,也是全文的核心引擎,「區分性偏移」的動力學,說明偵測器想要固定下來的那條複雜度門檻,本質上是一個不斷被語言市場本身往前推移的靶。

結論先講在前面:

GPT 偵測器測不到穩定結果,是因為這套機制試圖用一把尺,去丈量一個本質上是關係性的、而且永遠在被重新協商的東西。

這場競逐沒有終點,所以這把尺,永遠也不會停在同一個刻度上。


語言市場與區分利潤

要回答「複雜度到底在測量什麼」,我們得先放棄一個直覺:

語言的價值,不是內建在語言本身裡的。

Bourdieu 在這一章開篇就指出,語法只能給出意義的一小部分,一句話真正完整的意涵,是「相對於一個市場」才會被決定的。同一句話,丟進不同的市場,會得到完全不同的定價。

而 Bourdieu 指出語言能力之所以能轉換成一種「資本」,關鍵在於稀缺性;某種說話方式之所以值錢,不是因為天生高級,而是在特定市場裡,擁有這種能力的人相對稀少,而這個市場剛好把稀少當成珍貴。Bourdieu 把這種因稀缺而產生的收益,稱為「區分利潤」(profit of distinction)。

GPT 偵測器的設計邏輯,把「文字複雜度」(text perplexity)當成一個可以脫離情境、獨立測量的客觀屬性。像一台體重計,不管拿去哪裡量,同一個人的體重應該都差不多。但複雜度根本不是體重,更像匯率;同一份「複雜」的語言表現,在不同市場裡,會被兌換成完全不同的價值

這正是為什麼,同一款偵測器面對 TOEFL 作文、美國八年級學生作文、ICLR 論文,會交出三種不同的答案。這三種文本,分別坐落在三個不同的子市場裡:

  • 語言能力測驗市場

  • 國中基礎教育市場

  • 頂尖學術發表市場

每個市場,對「什麼程度的複雜度算合法」,本來就有各自的一套定價機制,彼此並不互通。

偵測器的訓練資料,本質上是從某些特定市場裡採樣出來的一批「匯率快照」,設計的基底都是偏向英語母語者、且受過長期正式教育的書面語習慣。這份快照被抽離原本的市場脈絡之後,卻被當成一份放諸四海皆準的黃金儲備,拿去度量所有其他市場裡的語言表現

用一個匯率快照去衡量所有市場的購買力,得到的結果當然會不斷浮動。這問題也不是出在滙率本身不穩,是因為從一開始就用錯了測量邏輯,把一個相對價格,誤認成一個絕對數值。


雙重謬誤

如果複雜度只是一份特定市場的匯率快照,那麼開發者理應可以做一件很直覺的事:

既然偵測器對非母語寫作者有偏見,重新校準,把非母語者的語言特徵也一併納入基準,問題不就解決了嗎?

Bourdieu 在這一章裡,特別點名批評了英國社會語言學家 Basil Bernstein 的「精緻語碼」(elaborated code)理論,而這段批評,剛好可以說明「重新校準」這條路為什麼走不通。

Bourdieu 的批評不是說 Bernstein 描述錯了精緻語碼的特徵,實際上 Bernstein 完全沒有去問,「精緻語碼為什麼會被認為有價值」這件事,背後的社會條件是什麼。結果,精緻語碼被不假思索地供奉成一切語言實踐的絕對規範,任何偏離這個規範的說話方式,就只能被理解成一種「匱乏」。

▲ 精緻語碼被不假思索地供奉成一切語言實踐的絕對規範,任何偏離這個規範的說話方式,就只能被理解成一種「匱乏」。Photo by charlesdeluvio on Unsplash

這正是 GPT 偵測器最初犯下的錯誤。把某個特定市場(通常是英語母語者的正式書面語)的複雜度標準,當成普世的人類語言基準

但 Bourdieu 緊接著指出另一種方向相反、卻同樣錯誤的姿態。他舉了美國語言學家 William Labov 的例子。Labov 為了替被污名化的通俗語言平反,反過來把中產階級青少年的說話方式貶為冗長做作,把貧民區小孩的說話方式捧為簡潔精確的典範。

Bourdieu 說,這同樣是一種謬誤,只是這次神聖化的對象換成了通俗語言,一樣忽略了語言的合法性,從來不是某個學者、或某個開發團隊,單方面認定就能翻案的。合法語言是整個語言市場、包括所有使用者自身,共同承認出來的社會事實。

這個「雙重謬誤」的結構,正好點出「重新校準」這條路的死穴。

偵測器開發者為了修正對非母語者的偏見,重新調整複雜度的計算基準,把非母語寫作者常見的語言特徵也一併納入「正常」範圍;然而,這個新基準,依然是從某一群具體的、有社會位置的使用者身上萃取出來的樣本,只是換了一批被抽樣的對象。

這批新樣本一樣不可能代表所有語言使用者,一樣會在下一次遇到另一群語言特徵不同的使用者時,重新製造出一批新的誤判。

校正不是在趨近一個中立的、放諸四海皆準的基準線,這需要在兩種(或更多種)同樣具有社會位置的標準之間來回切換。每一次「修正偏見」的動作,實質上都是換一批人來壟斷「什麼算合法語言」的定義權,不是真正消除了壟斷本身。

這也是為什麼,偵測器廠商即使不斷發布新版本、宣稱修正了上一版的已知偏見,新版本依然會在其他情境下,產生新的、事先沒被注意到的誤判模式。校正的盡頭,從來不是穩定,而是下一輪需要被校正的偏差。


偵測器要的標準並不存在

Bourdieu 在這一章開篇,也順手拆解了語言學界共享的一個抽象預設。一個活在完全同質語言社群裡、完美掌握語言、不受記憶或注意力限制的「理想說話者 — 聽話者」(homo linguisticus)。Bourdieu 指出,這種抽象化的舉動,本身就悄悄抹除了語言能力習得過程中真實存在的社會條件差異:

不同的人,因為家庭背景與教育資源的不同,獲得語言能力的方式與程度從來就不均等,而把這些差異全部抽掉、假設一個統一的理想主體,不過是語言學界能夠宣稱自己「中立」、「科學」的代價。

GPT 偵測器的複雜度指標,本質上也預設了這樣一個不存在的「理想人類寫作者」。一個詞彙無限豐富、句法無限多變的抽象基準。

問題是,這個基準在真實世界裡,沒有任何一個具體群體可以對應上。理想人類寫作者不是英語母語者的平均值,不是受過高等教育者的平均值;甚至,也不是任何一份具體語料庫的忠實反映,這是統計模型在訓練過程中,自行收斂出來的一個虛構中心點

用一個不存在的統計虛構去校準「什麼是正常人類語言」,注定是量不準的。人類的語言打從一開始就沒有一個可以被穩定校準的參照物。校準需要一個穩定的靶,而這裡連靶都不存在。

▲ GPT 偵測器的複雜度指標,本質上也預設了這樣一個不存在的「理想人類寫作者」。Photo by Brett Wharton on Unsplash

量測的目標本身在跑

前面三段工具,回答的都是「複雜度為什麼從一開始就測不準」。就算某個時間點,真的抓到了一個相對合理的複雜度基準,那為什麼過一段時間又會失準?

Bourdieu 給的答案,相當反直覺。他指出,推動語言持續變化的動力,是說話者之間永無止盡的「區分性偏移」(distinctive deviations)。

每個人都在透過語言策略,跟社會空間裡走在自己前面與後面的人保持距離。一旦某種說話方式因為普及而喪失了稀缺性,原本靠這種方式維持區隔的人,就會不自覺地往更少人使用、更難被模仿的方向靠攏,重新拉開距離。Bourdieu 說:

這場競逐沒有一個固定的起點或中心,是整個語言場域裡所有行動者彼此競爭關係的總和。

表面上,語言的具體樣貌(用詞、句法、修辭)不斷在變;實質上,這整套「稀缺 — 追逐 — 貶值 — 再稀缺」的結構,卻恆常不變。

這句話直接命中了 GPT 偵測器不穩定的根源。

偵測器想要固定下來的那個「複雜度門檻」,本質上就是這場永恆競逐裡,某一個瞬間被凍結下來的快照;這個快照,從被凍結的那一刻起,就已經開始過期

今天被判定為「足夠複雜、像人類寫的」語言表現,一旦這種寫法因為被廣泛模仿(包括被大型語言模型學會並大量產出)而普及,稀缺性就會下降,原本仰賴這種複雜度維持區隔的使用者,會不自覺地往更難被預測、更少人使用的方向遷移,重新拉開跟「容易被模仿」的距離。

這代表,偵測器錨定的那條門檻,不是一個可以被一次性校準準確、然後長期沿用的固定值;所謂的合法語言,是一個隨著整個語言場域的競逐關係持續位移的動態座標

偵測器的技術追不上語言演變的速度,這場位移根本沒有一個可以被「追上」的終點。如果目標是一個會停下來的點,再快的技術遲早追得上;但如果目標的存在方式,就是靠著不斷位移才能維持自身。

一旦所有人都追上了、複雜度普及了,這個標記本身就失去了區分的功能,必須立刻讓位給下一個更稀缺的標記。那麼,任何試圖用「訓練更多資料、優化演算法」來追上的努力,注定只是在追永遠會往前一步的影子。

換句話說,GPT 偵測器想測定的,是一個只有在持續運動中才能維持自身存在的東西。任何測量工具,只要試圖把這個東西「定」下來,那一刻量到的,就已經不是現在的市場,只是市場已經拋在身後的昨天。


不穩定就是答案

回到文章開頭的提問:

GPT 偵測器為什麼始終無法測得一個穩定的結果?

答案現在可以完整地講了。GPT 偵測器的不穩定,不是等待被下一次模型迭代就能解決的技術債,這本身受到 GPT 偵測器測量對象的本質所決定。

▲ GPT 偵測器想測定的,是一個只有在持續運動中才能維持自身存在的東西。Photo by zhendong wang on Unsplash

語言/文字複雜度從來不是一個可以脫離情境獨立存在的屬性,這是一份隨市場波動的匯率;而任何試圖修正這份匯率偏誤的校準動作,換來的都只是另一套同樣具有社會位置的標準,不是真正中立的基準。

況且,偵測器內建的那個「理想人類寫作者」,現實中從來不存在,校準這件事,一開始就沒有一個穩定的靶可以瞄準;而就算某個瞬間,勉強抓到一個相對合理的門檻,Bourdieu 講的「區分性偏移」也保證了,這個門檻會在語言市場永不停止的競逐裡,持續被往前推移。

四件工具疊在一起,指向同一個結論:

這不是一場可以被贏下來的技術追逐賽,也不存在一個固定的目標,整個語言場域自身運動的方式就是不斷演變。

只要人類還在用語言彼此區分位置,這件事,大概會持續到語言本身消失為止;而任何試圖用一條固定門檻,去判定「這像不像人類」的技術,都會一次又一次地,被自己想要凍結的那個東西反過來甩開。

Bourdieu 四十年前寫下這一章時,面對的是 19 世紀法國方言與巴黎官話之間的角力,他完全沒有機會想像,有天會出現一種像是 LLM 可以即時生成文字的技術。

但 Bourdieu 當年真正關心的,從來不是某一種具體的語言技術,而是語言價值被生產出來的那套結構性邏輯。一套永遠在運動、永遠拒絕停下來讓人一次校準到位的邏輯。

GPT 偵測器的每一次「不穩定」,與其說是技術的失敗,不如說是這套邏輯,又一次準確地證明了自己的存在。

CC BY-NC-ND 4.0 授权