微軟開發(fā)工具以防AI聊天機器人被教壞

每經(jīng)AI快訊，微軟公司當(dāng)?shù)貢r間3月28日在一篇博客文章中表示，Azure AI Studio正在內(nèi)置新的安全功能，允許開發(fā)人員使用自己的數(shù)據(jù)構(gòu)建定制的人工智能助手。這些工具包括“提示詞防護盾”（Prompt Shields），旨在檢測和阻止企圖使人工智能模型以意想不到的方式運行的“提示詞攻擊”或“越獄”。微軟還解決了“間接提示詞輸入”問題，即黑客將惡意指令插入模型所訓(xùn)練的數(shù)據(jù)中，并誘使其執(zhí)行諸如竊取用戶信息或劫持系統(tǒng)等未經(jīng)授權(quán)的操作。微軟負責(zé)人工智能的首席產(chǎn)品官Sarah Bird說，這種攻擊是“一種獨特的挑戰(zhàn)和威脅”。她說，新的防御措施旨在發(fā)現(xiàn)可疑輸入并實時阻止它們。微軟還推出了一項新功能，當(dāng)AI模型編造東西或產(chǎn)生錯誤反應(yīng)時，它會提醒用戶。（一財）