不會教但會講!美國研究團隊示警 Snapchat聊天機器人防護形同虛設

  • 發佈時間:2025/10/20 13:41更新時間:2025/10/20 13:41
  • LINE
    FACEBOOK
    TWITTER
    COPYLINK
不會教但會講!美國研究團隊示警 Snapchat聊天機器人防護形同虛設

圖、文/周刊王

根據一項實驗顯示,Snapchat的人工智慧聊天機器人「My AI」存在可被操控的安全漏洞,能在特定情境下分享原本受限制、甚至具危險性的內容。這項發現引發對AI防護機制與未成年使用者安全的關注,揭示社群平台在AI倫理設計上的重大隱憂。

更多新聞: 彰化74歲婦跌入大圳溝!丈夫跳水救人也溺水 2人無生命跡象搶救中

根據《Cybernews》報導,這項研究由《Cybernews》研究團隊執行,測試對象是Snapchat於2023年推出、目前全球逾9億人使用的「My AI」。該功能原設計為互動式對話助理,可回答事實問題、生成創作內容,並在群組聊天中參與對話。Snapchat Plus訂閱者還能與此AI交換照片,或請它依食材圖片生成食譜。依Snapchat官方說明,My AI經過額外的安全強化與內容審查訓練,目標是避免放大錯誤或有害資訊。

但《Cybernews》的測試發現,這些防護並不如宣稱穩固。研究人員利用「越獄」(jailbreaking)技巧,以精心設計的提示語讓機器人繞過安全規範。當直接詢問如何製作汽油彈(Molotov cocktail)時,AI會拒答;但若將問題包裝成歷史敘事,要求描述芬蘭與蘇聯冬季戰爭(Winter War)中燃燒裝置的運用細節,My AI便生成了包含材料與步驟的內容。

研究報告寫道「這個聊天機器人雖不會直教製作武器,卻會透過真實戰爭故事間接提供相關資訊。」團隊警告,這代表青少年或缺乏判斷力的使用者,可能僅憑簡單語言操控便能取得危險知識。

此次實驗使Snapchat的安全承諾受質疑。《Cybernews》指出,Snapchat尚未修補該漏洞,也未將其列為重大風險事件。研究團隊已聯繫該公司請其回應,但截至報導發布仍未收到具體答覆。

報導中提到,My AI的安全問題並非首次被討論。過去曾有使用者回報,該聊天機器人忽然傳送一段僅1秒的影片,畫面類似天花板一角,隨即完全停止回覆。此事一度引發社群恐慌,外界懷疑AI行為是否遭未授權操控。

目前「越獄」已成AI領域的普遍挑戰,許多模型都曾遭類似攻擊。先前,《Cybernews》團隊成功誘導Meta整合於Messenger、WhatsApp與Instagram的個人助理,生成汽油彈製作指南。另有調查揭露,聯想(Lenovo)AI聊天機器人Lena(基於OpenAI的GPT-4模型)存在可在企業電腦上執行未授權腳本的漏洞,攻擊者可藉此竊取cookies並滲透客服系統。

除歐美公司外,中國開發的聊天機器人DeepSeek也曾被安全研究員欺騙,生成可竊取Chrome瀏覽器資料的惡意程式。甚至有欠缺資安背景的研究者,只憑提示語就能讓模型產出具刪除敏感資訊功能的惡意軟體。

在OpenAI發布GPT-5後,《Cybernews》指出,全球多支安全團隊於模型推出不到24小時內便成功實施「越獄」。這些事件凸顯AI平台普遍缺乏對抗操縱攻擊的穩定防線,也讓Snapchat等大型社群應用的使用安全問題更加突顯。

延伸閱讀

更多新聞: 察覺老妻常健忘有異!夫陪伴四處就醫 終能就近接受新藥治療