Sophos預期會出現使用AI的攻擊技術並做好偵測準備

Sophos發布兩份關於人工智慧應用於網路犯罪的報告。第一份報告名為《AI的黑暗面：由生成式AI支援的大型詐騙活動》，揭露了未來詐騙者如何利用像ChatGPT這樣的技術，只需最少技術門檻便能進行大規模的詐騙。然而，另一份名為《網路犯罪者對GPT仍無共識》報告發現，儘管人工智慧具有潛力，但有些網路犯罪者並不會積極採用像 ChatGPT這樣的大型語言模型（LLM），甚至對使用人工智慧進行攻擊持保留和懷疑的態度。

只要利用簡單的電子商務範本和如GPT-4的大型語言模型工具，Sophos X-Ops就能建立一個功能完整的網站，包括由人工智慧產生的圖片、聲音和產品描述，以及假的Facebook登入和結帳頁面，可用來竊取使用者的登入憑證和信用卡資訊。建立這種網站所需的技術門檻非常低，而且使用同一工具，Sophos X-Ops能夠在幾分鐘內一鍵建立數百個類似的網站。

Sophos資深資料科學家Ben Gelman表示，犯罪分子改用新技術來進行自動化是自然且可預料之事。最初導入垃圾郵件，就是詐騙技術的一個重要里程碑，因為它改變了攻擊的規模和方式。新的人工智慧正處於相同的位置；如果存在能夠產生完整自動化威脅的AI技術，人們最終就會使用它。已經看到生成式人工智慧元素被整合到經典的詐騙中，例如使用 AI 生成的文字或照片來誘騙受害者。進行這項研究的部分原因是為了超前犯罪分子一步。透過建立一個比犯罪分子現有工具更先進的大規模詐騙網站生成系統，有機會在威脅蔓延之前先進行分析和準備。

為了研究攻擊者對人工智慧的態度，Sophos X-Ops調查了四個知名的暗網論壇，檢視與大型語言模型相關的討論。儘管網路犯罪者對於人工智慧的使用似乎還處於早期階段，但暗網上的威脅行為者開始討論它在社交工程方面的潛力。Sophos X-Ops已經看到在以交友為基礎的加密貨幣詐騙中使用人工智慧的案例。

此外，Sophos X-Ops發現大多數貼文與出售被竊的ChatGPT帳戶以及「越獄」有關－這是繞過大型語言模型內建保護措施的方法，網路犯罪分子可以藉此濫用它們進行惡意用途。Sophos X-Ops還發現了十個 ChatGPT的衍生版本，創作者聲稱可以用於發動網路攻擊和開發惡意軟體。然而，威脅行為者對這些衍生版本和其他對大型語言模型的惡意應用反應不一，許多犯罪分子表示對這些模仿ChatGPT的創作者試圖欺騙自己人感到卻步。

Sophos X-Ops研究主管Christopher Budd表示，自ChatGPT釋出以來，網路犯罪分子是否會濫用人工智慧和大型語言模型引人矚目，但研究發現，到目前為止，威脅行為者對它的懷疑勝過熱情。在調查的四個暗網論壇中的兩個，我們只發現1百篇關於人工智慧的貼文。相比之下，在同一時間，則有1,000篇和加密貨幣有關的貼文。

確實看到一些網路犯罪分子試圖使用大型語言模型建立惡意軟體或攻擊工具，但成果都很不理想，常常遭到其他用戶的懷疑。在某個案例中，一名威脅行為者急於展示ChatGPT的潛力，還無意中透露了自己的真實身分。甚至發現許多人工智慧對社會可能會產生負面影響和道德問題的反省文。換句話說，至少目前看來，網路犯罪分子對大型語言模型的看法與我們其他人一樣，仍無共識。

若想了解更多由人工智慧生成的詐騙網站以及威脅行為者對大型語言模型的態度，歡迎至Sophos官網上
查詢《AI的黑暗面：由生成式AI支援的大型詐騙活動》和《網路犯罪者對GPT仍無共識》。