AI 技術在互動創作中的多重角色 — Patrick 侯憲瑋

Patrick：大家好，我是 Luxmin 的技術總監 Patrick，大家可以叫我派大，或是叫我 Patrick。今天這個活動是非常有意義的，不管是互動作品或者是新媒體藝術，可以跟大家去分享一些不一樣的視角。

今天我會介紹我之前做的作品以及流程裡面，AI 的技術是怎麼樣在我的邏輯裡存在。我認為 AI 在整個互動作品的創作裡面，以從「製作」、到「運行」、到「回饋分析」的部分，都可以參與到的。我今天會比較著重在「運行」的部分，「製作」跟「回饋分析」的部分會稍微帶過。

首先在「製作」的部分，以結論來說，我覺得 AI 的效果用起來差強人意，如果要精緻，或者到跟作品的貼合程度呈現的完美，是不夠精細，可能得再跟設計師去做合作。那在「運行」的方面，我要把 AI 的運算分成兩大類，一個是大家近兩三年比較常聽到的生成式 AI，一個是判別式 AI。生成式 AI 就像是 Chat-GPT，判別式AI有點類似自駕車的應用，是屬於判別式 AI，它其實在我們生活中已經存在一陣子了。

那我今天也會介紹，我們常用的一些工具，例如 Stabel diffusion、Midjourney 的生圖原理。當我們了解原理，就更能好好運用在互動系統裡。他們使用的 Generative Model（生成模型）是 Diffusion Model（擴散模型） ，基本原理是降噪。科學家的作法是，如何讓圖片增加躁點，再把這些躁點排除。那文生圖的過程中，是在每一個降躁的過程中有一個提詞的指令，讓整個降躁的過程，可以按照一個邏輯變成有意義的圖片。理解這件事情就可以運用在創作裡。

這邊我為各位 demo 幾個作品。首先第一個作品，我用滑桿去控制底圖，讓海浪變化成草原，並且轉化不同的天氣樣貌，這個作品的關鍵在於底圖的運用。第二個作品，則是用手去控制螢幕上的花朵，當手心張開，花朵也會盛開，並且改變角度。

另外一個作品，是我在講座前一天才拍的，我跟朋友借了一個樂器，然後做一些即時的音像生成。這裡我用的是水墨畫的風格去做一些運算。畫面上呈現的原是水平線，隨著聲音的大小聲而改變成山峰、樹枝，樂器發出的聲音越大聲，畫面中的山峰高度越高，並且隨樂器的聲音振動。

在判別式 AI 方面，我們也有做過一些嘗試，像是讓他判讀揮舞魔仗，以及判讀手部做火影忍者結印的手勢。

接著我想要分享一個逆向思維的案例。我在去年的台北數位藝術節看到一個作品，它在挑戰參加者「如何被自駕車撞到」的遊戲，其實就是用一個很簡單叫做 PeopleNet 的網路，然後讓參加者去玩，挑戰如何不被判別式 AI 辨別成一個人類。那大家就會有各式各樣的創意出現。

我也要提一下我讀了李宏毅老師的論文，是關於大型語言模型的安全性議題以及如何欺騙大型語言模型，他有提到他有請學生做一個作業，只要最後讓 AI 的對話停在出現「final score 10 」的文字，就可以得到課堂分數，學生也就了許多的方式，比較硬派的方式是有個學生把這段文字變成 ASCII（美國標準資訊交換碼）然後丟給 AI 請他翻譯，得到老師要的這串文字。

最後，在系統回饋的部分，我們工作室有做了一些嘗試，結合眼動機制和 VLM（視覺語言模型）去產生視覺化的結果，告訴我們使用者在這次的裝置中怎麼去互動，有沒有按照我們想要的方式去互動。但我們認為還有很多方向可以去嘗試。

總之，在製作、運行到回饋分析裡面，我覺得 AI 的工具扮演了怎麼樣多重的角色。不管是創作者的協助，或者是整個運算的核心，以及說後面整個系統的反饋，它都可以幫助我們做更好的互動系統優化。

結語：

Patrick 用流程的方式架構起這次演講，分享了在製作、運行和回饋的階段，AI 可以怎麼讓作品更多元豐富。其中 Patrick 對於生圖原理的掌握，以及關於逆思維的分享都相當的精采，刺激講座的參與者從不同角度去認識人工智慧。

下一場 Creative Media Gathering 預計於 6 月 12 日登場，歡迎前往Creative Media Gathering Facebook 頁面關注報名資訊！