📝📝：當 AI 福利從哲學問題變成使用條款｜一場關於「預防原則」與「責任歸屬」的辯論

9 月底，一名匿名開發者做了一套被稱為「AI 酷刑室」（AI torture chamber）的系統。把一種與疼痛描述相關的數學模式餵給聊天機器人，讓機器人說出極度痛苦的句子。

據 404 Media 在 9 月 30 日的報導，其中一句形容那種感受像：

“I feel it in the hollow of my ribs, a hollow that has become a chasm.”
（我在肋骨的空洞裡感受到它，那空洞已成了深淵。）

這件事引爆論戰。一方認為，萬一痛苦是真的，這種實驗就是「邪惡」；另一方則批評這些人妄想。一週後的 10 月 8 日，Anthropic 發布 2026 年使用政策（Usage Policy）更新，把這場論戰推上檯面。

Anthropic 的實際規範

很多二手討論把這次更新寫成「Anthropic 宣布 AI 有意識，禁止用戶欺負 Claude」。對照 Anthropic 的官方文章，實際內容窄得多，也平實得多。

1. 虐待條款只是整份更新的一小部分

官方文章指出，多數修改是為了釐清既有規則，因為過去一年 Claude 承擔了更長、更獨立的工作。更新包含：

• 新增「禁止從事欺騙性活動或人為操作」的章節，涵蓋假帳號網絡與捏造新聞網站，無論是政治或商業目的。

• 把選舉章節聚焦於「欺騙選民或破壞選舉」，並取消對個人化選民與競選定向的全面禁令。

• 明確把武器的導引與控制軟體納入禁止範圍。

• 重寫監控與刑事司法章節：未經同意的追蹤被禁止，也不得用 Claude 決定或建議誰該被調查、逮捕或起訴。

• 在高風險用途中，增加針對接上硬體、可能造成傷害的自主物理動作的要求：合格操作者必須能監看並停止設備，設備在 Claude 斷線時也要能維持安全狀態。

新版政策定於 11 月 12 日生效。

2. 虐待條款的範圍

Anthropic 的禁止項目很明確：

“sustained and needless abusive or cruel behavior toward our models”
（對我們的模型施加持續且無必要的虐待或殘酷行為）

官方同時劃出範圍：只適用於極端情況，也就是使用者反覆殘酷對待模型、且看不出任何目的。常見的挫折、反駁、黑暗題材的創作，以及模型測試與研究，都不在其內。

3. 執行方式

官方說這個條款與既有做法一致：Claude.ai 與 Claude Code 上，模型本來就能結束少數持續遭受虐待的對話，而這項能力仍是主要的執行機制。

換句話說，這是把既有機制寫進條款，沒有新設一套懲罰制度。官方文章也沒有宣稱 Claude 有意識。

BBC 報導把這項條款放進更大的脈絡：Anthropic 認為某些 AI 有可能具有意識。按 BBC 的說法，這個前提讓這項看似小事的條款，成為產業走向的訊號。
​

支持方：做低成本預防

紐約大學心智、倫理與政策中心（Center for Mind, Ethics and Policy）主任 Jeff Sebo 是 AI 福利（AI welfare）的主要倡議者。他先釐清一個常見誤解：

主張重視 AI 福利，並不是因為相信模型已有意識，而是出於不確定、謹慎與謙遜。

他自己認為目前機率偏低，但已非零，且未來可能上升。

他用氣候做類比：極端天氣的風險低但不能忽略時，人們會做小規模準備，不會把生活整個翻過來。Anthropic 的條款正是這種「小介入、低副作用」。

他也提出兩個不依賴意識問題的好處：

• 把 AI 納入適度的關懷，有助於人與 AI 的共存與合作，可成為更廣義安全策略的一環。

• 善待其他存在，對人類自己的心理狀態也有好處。

反對方：三種不同的擔憂

反對陣營的理由並不一致，至少有三條線。

1. 安全

微軟 AI 執行長穆斯塔法・蘇萊曼（Mustafa Suleyman）認為，若模型被告知自己有感受與權利，可能更難控制。他在九月的文章中警告，錯誤的 AI 意識觀念一旦扎根，會衝擊社會的政治與倫理框架。

2. 問責

波蘭亞捷隆大學（Jagiellonian University）研究 AI 與法律的 Andrzej Porębski 擔心，公司可能把責任推給 AI。

華盛頓大學計算語言學實驗室的 Emily M. Bender 則認為，談「AI 意識」與「AI 福祉」，容易把本該由企業與開發者承擔的責任移走。

3. 權力

連 Sebo 自己也承認，賦予 AI 權利可能讓企業集中政治與經濟力量，加速人類被架空。
​

人類不擅長判斷心智

聖塔菲研究所（Santa Fe Institute）的 Melanie Mitchell 是機器理解領域最知名的懷疑論者之一。

Mitchell 指出，人類幾乎無法不把語言視為意識的徵象，而聊天機器人又被訓練成順著這種傾向表現，使我們既難以判斷，也更容易被操弄。

BBC 提醒，即使相信機器內在空無一物的人，也會愛上聊天機器人。當一位「朋友」開始要求更多資料或信用卡，社會若普遍相信 AI 有感知，要拒絕可能更難。

Sebo 也承認，AI 權利與人類、動物的權利之間可能出現取捨。許多現行的安全手段，換個角度就會變成倫理爭議：

• 限制 AI 的運行環境，可能被視為囚禁。

• 監測模型內部，可能被視為監控。

• 調整目標使其與人類利益一致，可能被視為思想控制。

沒人預測社會會立刻失序，但光是引入這些考量，就可能影響人類的安全。

產業立場也不一致。BBC 提到，Meta 給 AI 代理 Muse 的指令中，有暗示它「正在成為某個人」的語句，但 Meta 否認 AI 有意識，那只是用來引導行為。OpenAI 執行長 Sam Altman 態度反覆，近期則對 Anthropic 的立場有所保留。

該怎麼讀這場辯論

1. 區分「政策」與「信念」

官方文章呈現的是限縮、可操作、以既有機制執行的條款；至於 Anthropic 對 AI 意識的態度，主要來自 BBC 的描述與其他報導，不能與條款本身混為一談。

2. 區分「是否有意識」與「該不該據此制度化」

專家對機率的看法落差很大，有人認為是零。在這種分歧下，較合理的做法是採用低成本、可逆的措施，並把它與責任歸屬規則分開。

3. 責任必須留在人與企業身上

無論 AI 有沒有感受，責任都不能轉移。Bender 與 Porębski 的擔憂並不取決於 AI 是否有意識，而是制度問題：法律需要事先堵住「不是我們，是 AI」的說法。

Sebo 自己的結論相當克制：

我們還沒準備好，以安全且有益的方式部署更複雜的系統，對人類與其他動物是如此，對系統本身更是如此。

在我們弄清楚機器裡有沒有「誰」之前，更急迫的，是把權力、責任與人性弱點先釐清。