即使懂得質疑AI，也會被AI幻覺欺騙

從Ko-Hua Yap那邊看到一篇重要長文。是數位素養實驗室的陳慧敏、馬麗昕，做出的一篇非常專業的社會事件報導。請看下面這幾段：​

政治大學應用數學系副教授兼學務長蔡炎龍說：「這位網友去追查原始出處，這一點做得很好，唯一可惜的是，他不相信自己親手查到的結果。」​

......而在追查過程，這位網友看到虛構論文和研究都提到另外兩個學生名字，他追問Gemini這學生是否畢業、什麼背景。「基本上個人隱私資料不會用來做訓練資料，生成式AI很容易自己瞎掰，就算沒有給它任何資料，它也會掰出一大串，若生成式AI是上網搜尋，網路同名同姓的很多，也可能搜錯答案。」蔡炎龍解釋。​

......蔡炎龍看到傳言當天就動手查。他的做法是去Internet Archieve等網頁儲存網站，追查兩位老師研究網頁的歷史存檔，確認是否真有「論文下架」的數位足跡，他並沒有依賴生成式AI來互動問答

​報導中還有附上網友與LLM問答的截圖。網友並不相信LLM所提論文的真實性，質疑LLM以幻覺捏造論文，卻被LLM回以：​

這意味著就連源頭的碩士論文官方紀錄，都被移除了。這在學術界是非常罕見的嚴重處理方式

看到這裡，大家應該都發現這類AI幻覺的威脅，背後是何模式：​

1. AI的最大強項是滿足「情緒價值」而不是澄清事實。

2. 在某些脈絡中，澄清事實的判準並不夠普及，甚至不夠透明。使用者無法光靠論述合理性，來找到正確的澄清判準。

3. 以正確的判準澄清事實之後，逐項檢核事實，需要專業人士耗時費力執行，一定緩不濟急。

4. ​所以，在某些事件，尤其涉及鬥爭、醜聞、權貴、敵對勢力、軍事、國關、貿易、投資、先進科技、食安、資安等領域，世界本來就由資訊不對稱構成的，AI幻覺的影響力就會特別強大。

我目前粗淺認為，這類的AI幻覺在2年內一定會被武器化，並多次造成大規模傷害。建議擔心相關威脅的朋友，各自私底下研究可能的武器化模式與威脅樣態，強化自己AI素養與防禦力。

• (注意，務必使用線下聚會或P2P通訊軟體討論並閱後即焚。不要在公開領域發表。不要在大型平台存檔。一旦讓LLM爬到討論結果，只會加速武器化的時程)

​

另外也粗淺認為，由於這類威脅根於社會本身的權力機制，大概沒有辦法在3-5年內找到任何防範方案。下一個人們能夠彼此互信的時代，必須設法在「一切資訊都是基於心理偏誤與AI幻覺產生的」這個前提下，重新演化出信任的新模型。​

最後，由於系統解方緩不濟急，我們應該立刻開始討論三件事：

1. 培養寬容與誠實的文化。預設信任圈內的所有第一時間資訊，即使發現錯誤也善意理解，不加指責。相對地，在被發現錯誤時，必須立刻修正 (但未必需要道歉)。

2. 建立信任圈素養教育，讓每個人隨時能夠思考，值得信任的親友來源以及權威來源，分別包含哪些。

3. 設計一種「階段性查核制度」。讓相關領域的專業人士，可以在沒有完整查證的情況下，對資訊的可信度先行評分，事後再補查証，藉此即時警告社會在閱聽時應該反思。