個人助理2026/01/11
接觸智能體
這其實是很誤打誤撞的專案。
原本是在做美股儀表板,也開發出網頁式,可以呈現一些資訊,新聞的部分需要LLM,則是拋給groq,但是這個不成材的傢伙,常常給不出看起正常的回饋,即便我用了思考鍊,跑出的結果仍然不佳。
滑手機看到智能體,這個東西跟LLM不一樣的地方在於,LLM其實是對話機器人,但是智能體奠基於LLM上,能夠將不明確的需求,自行分析轉化成規劃目標,呼叫所需工具,查詢所需資料,產出結果,聽起來就是一個助理。
所以研究一下,智能體,其實模擬大腦功能,例如記憶,智但能體需要有記憶能力,才能穩穩地產出(不會像上次有個LLM說他只能記得最近N則,所以每次給我的程式碼都不太一樣,被我削了一頓),要能呼叫工具(用MCP,但我沒用過),當然還需要一個思維大腦(我用groq,因為API免費)。
我用在新聞蒐集自動化,所以目標其實就是可以自動蒐集並解析新聞。聽起來很簡單,所以用RSS去抓,拋給groq,產生回饋,但LLM常常很老實地說素材不足,沒有產生報告,我就開始狐疑(其實到這邊已經排錯很多東西),到底是LLM能力的問題,還是素材不足問題?
高檔爬蟲技術
當知道RSS的素材真的不足時,Claude給了一個方案,Google Trends爬蟲可以知道有熱門關鍵字,從關鍵字去GDELT API(全球新聞索引),可以知道有哪些新聞的URL,利用Trafilatura(網頁全文抓取)爬取新聞內容,以充實資料。這個其實還是爬蟲的概念,但是比beautiful soup、seleium好用多。
知識圖譜
當抓下來後資料確實多了,且衍生出知識圖譜與向量資料庫。前者其實就是json檔,把新聞萃取成幾個關鍵詞(萃取,所以這中間需要有LLM,但技術上要知道設定降級),存成檔案,然後搭配圖譜(類似Obsidian)可以勾勒出彼此的關係,而且重點是,當彼此關係處來,就可以用來做推理(如知道上下游關係,就可以拋給LLM,詢問如果上游失火,下游會如何,此時即便沒有新聞資料,但是知識圖譜就是資料來源,LLM就可以依據圖譜知識圖譜關係進行推理)
只是這些需要一些低門檻技術,需要將json檔轉化成Neteorkx讀得懂的格式,然後用Pvpy去生成html圖案。但這些LLM都可以處理。
這個智能體我還測試,要求用既有資料庫生成(RAG),但在資料不多下,確實難有成果。
這次的心得:資料抓取清洗(方式+地點+清洗設定)+資料儲存(資料庫;圖譜)+資料可視化+資料RAG,技術上都可以請LLM提供,但重點是要能知道如何規劃,以及跟LLM溝通請其修正。如何不被LLM取代,這是關鍵。
SAGE(Self Adative Growth Engineer)
幹細胞
其實這個助理不特殊,主要價值在自動化。聽我說來,現在其實是用網頁式llm搭配python進行程式開發,而這個助理是利用API把llm與python結合另外搭配docker做程式的驗證,但這種的好處想一想一次從網頁貼到檔案去可能要花三到五分鐘,做個10次就要30到50分鐘,現在全部自動化完成還沒考慮驗證所花的時間。
寫程式是最基本的工作然後從這邊出發在思考可以加裝什麼功能上去,這個祝你被定義程式幹細胞,他可以寫出一些其他的工具然後透過這個幹細胞加工具來執行任務,例如寫出一隻爬蟲程式專門爬蟲景氣訊號的py檔,這樣日後跟幹細胞下打指令他就可以判斷出已經有一支程式所以直接利用這支程式去做爬蟲再把結果傳送回來,不用每一次都還要花費API來重新寫程式。
短期記憶:變數
長期記憶:ChromaDB
場景記憶:JSON/Redis
策略記憶:SQLite / JSON 表
記憶在程式開發中市很重要的一部分他不但是資料來源也是程式寫得好壞的關鍵,例如策略記憶可以記錄成功的方法失敗的原因怎麼做比較好,透過這三種混合可以減少大腦摸索的時間。長期記憶就是所謂圖譜。我要做成這些記憶實際上除了人工標籤外很大的時候還是靠llm,雖然會有幻覺但效率還是比人工標籤高的多。
多角色
這裡我並沒有用Langchain,可能是殺雞不用牛刀,概念上這個還是採用了多角色的方式,只是所謂的多角色,其實就是用程式寫了幾個流程然後用一個主流程把它串起來,主流程是一個角色其他流程也是各自的角色,這種的好處是隨時有外掛的時候只要增加外掛跟主流程的程序就好其他程式不會動到。
資安
但執行過程中API很容易就花會完畢這是比較苦惱的地方,此外發現一個重點叫做自然因為在運作過程中很可能會用到本機的檔案和機密文件資訊等等所以要嚴格限制不能把檔案留傳出去或是安裝來立不明的檔案這些都非常重要
第1段:系統修復與多API支援
今天解決了AI Engineer V5的Gemini API 429額度限制問題。提供了新的llm_client.py,支援Cerebras、Groq、Gemini三個API提供商,具備自動輪替和速率限制功能(Cerebras/Groq每分鐘30次,Gemini每分鐘10次)。系統會自動選擇可用的API,遇到429錯誤時自動切換到下一個提供商,並在達到速率限制時自動等待,避免觸發封鎖。測試時發現Builder生成的main.py被安全機制攔截(因為main.py是系統核心檔案),這是正確的保護行為,應該教導Builder使用其他檔名如app.py、run.py等。
第2段:SAGE資安架構設計
確定系統英文名稱為SAGE(Secure Adaptive Growth Engineer,安全自適應成長工程師)。深入討論了SAGE的資安風險,包括資料外洩、檔案刪除、後門植入等威脅。設計了完整的4週安全升級計劃:Phase 1危險操作檢測(本週)、Phase 2代碼審查介面(第2週)、Phase 3網路與檔案限制(第3週)、Phase 4日誌與稽核(第4週)。當前Docker沙盒、security.py黑名單、使用者確認三層防護有漏洞,需要加強代碼內容檢測、網路白名單、檔案權限分級、操作日誌等機制。Phase 1完成後即可降低60%風險,Phase 3完成後可達95%安全。
喜欢我的作品吗?别忘了给予支持与赞赏,让我知道在创作的路上有你陪伴,一起延续这份热忱!