Skip to content
第 I 卷 · No. 09·台北裝訂
LuvAI 手記
/EN
LuvAI 手記5 分鐘

我怎麼判斷一個 AI 工具

五個我信任的特質、三個我不信任的,以及為什麼我看到的大多數 AI 產品,都栽在同樣那幾個關鍵點上。

作者台灣台北的獨立工作室

PromptCraft 上線之後,有個副作用:大家開始丟各種 AI 工具給我試。少的時候一週兩三個,多的時候一打。所以就統計上來說,我現在手上的樣本蠻廣的。

慢慢地,模式浮現出來了。我想把「我評估一個 AI 工具時到底在看什麼」寫下來,一方面這答案對其他在做東西的人可能有用,另一方面,寫下來會逼我對自己重視的東西誠實。

五個我信任的特質。

清楚的守備範圍。這工具能用一句話講清楚它是幹嘛的。不是「一個給所有人的 AI 助理」——那根本沒有守備範圍。「一個給西班牙文學術寫作用的文法檢查器」才是守備範圍。守備範圍清楚的工具,通常那件事做得好,因為做的人被迫直面取捨、而不是把它揮手帶過。沒有守備範圍的工具,往往每件事都只做到 30%。

攤開來、而不是藏起來的預設值。當工具跑一個 AI 模型時,它會告訴我用的是哪個模型、哪個版本、哪些參數。如果我還能在不脫離主要流程的情況下自己改,加分。這很罕見。多數 AI 產品把模型當成一個黑盒子,這透露出兩件事之一:要嘛做的人自己也不知道,要嘛做的人覺得我不配知道。兩個都是壞徵兆。

誠實的限制。在產品文案或文件的某個角落,做的人寫下了這工具*不能*做什麼。可能是一句「這在 X 情況下沒用」,或者一個「目前限制」的區塊,或者對某個已知失效模式的低調承認。這是我最信得過的一個訊號,判斷一個做的人值不值得信任。願意對缺口誠實的人,通常在那些不是缺口的地方也做得更好。

尊重我時間的產出。當我跑這工具時,我能在幾秒內拿到可以用、可以改、可以複製的東西。不是一個華麗的預覽、然後要付費方案才能真的匯出。不是一個多步驟精靈。不是一段假裝自己在思考的神秘動畫。就只是:輸入丟進去,有用的產出跑出來,摩擦力降到最低。

背後有個真實的人。不一定要是名人。但在某個地方,有個名字、一張臉、一段聽起來像個「人」而不是像定位聲明的文字。一個工具越是給人「由一個有具體想法的具體的人做出來的」感覺,我就越信任這產品會往對的方向演化,而不是只是去追行銷團隊這一季在量的那個數字。

三個我不信任的特質。

經不起細看的模糊 AI 宣稱。「由 AI 驅動」毫無意義;「由 GPT-4 驅動」是個起點;「在 GPT-4 上再疊一個為了[某個特定任務]微調過的分類器」才是真的。一個產品越是講不清楚自己實際上到底在做什麼,它就越可能只是一層殼、裡面包著一段你自己花一個晚上就能複製出來的 prompt engineering。

行銷文案裡的每一個功能。當一個產品攤開來列了 40 項能力,那沒有一項是好的。工具是「要放什麼、要拿掉什麼」這些選擇的結果。一個沒辦法告訴我哪三個功能最重要的做的人,等於在告訴我他自己也不知道——這意味著他 roadmap 上的優先順序,是被有用性以外的某種東西在推著走。

讓我覺得被盯著看的華麗導引。我對友善的初次體驗沒有意見。但當歡迎流程在給我看這工具能做什麼*之前*,就先問我的職稱、我的產業、我的團隊人數、我的使用情境、我的公司名字、我的 LinkedIn 網址——我就把分頁關掉。我沒有義務為了「有機會搞清楚你的產品到底好不好」這件事,先交給一個陌生人一份個人檔案。

我把這些寫下來的原因是:在 2026 年做一個 AI 產品,每一條軸上的誘惑都往反方向拉。範圍做大感覺比較安全。藏起預設值感覺比較精緻。誠實的限制感覺像示弱。匿名感覺比較專業。華麗的導引感覺像一間真正的公司。

我覺得這大多是錯的。那些能夠好好變老的產品——我一年後還在用的、我會轉給別人的——它們的形狀,幾乎是上面這一切的相反。更窄、更透明、更誠實、更能認得出是個人做的。PromptCraft 試著長成那個形狀。我一直回頭去用的那些工具,也是。

如果你在做的正是那種工具,我很想看看。門檻很高,但那不是因為這世界上的 AI 工具太多了。而是因為它們大多數栽在上面那五道測驗的其中一道,而那些通過的,值得用等重的黃金去換。

更多手記
我怎麼判斷一個 AI 工具 — LuvAI