國家安全部今日發(fā)布安全提示，指出人工智能訓練數(shù)據(jù)存在虛假信息、虛構(gòu)內(nèi)容及偏見性觀點等問題，導致數(shù)據(jù)源污染，威脅AI安全。
新研究提示：訓練數(shù)據(jù)哪怕混入萬分之一虛假文本，模型有害輸出即可顯著放大，且虛假內(nèi)容會回流網(wǎng)絡(luò)、逐代累積，形成“污染遺留”。在金融、公共安全等場景，此類數(shù)據(jù)投毒可能觸發(fā)市場操縱、輿論誤導等，現(xiàn)實風險不容忽視。
人工智能技術(shù)的濫用正催生新型市場操縱手段。通過定向污染訓練數(shù)據(jù)，攻擊者可系統(tǒng)性生成虛假市場信號，如虛構(gòu)企業(yè)合作、虛增財務(wù)指標等，利用AI生成內(nèi)容的傳播裂變效應(yīng)，短期內(nèi)引發(fā)市場認知偏差，進而操控特定標的交易價格。
目前來看，虛假信息主要有三板斧，首先是虛構(gòu)企業(yè)合作，篡改官網(wǎng)信息、偽造會議紀要、誘導模型生成“戰(zhàn)略簽約”結(jié)論；其次是虛增財務(wù)指標，在論壇、問答社會大量植入“超預期盈利”帖子，訓練集吸收后，AI研報自動給出“上調(diào)評級”；最后是深度偽造視頻，有些AI模型已經(jīng)出現(xiàn)偽造“創(chuàng)始人官宣即將上線某交易所”的短片，配合社交媒體裂變傳播，曾在加密市場造成代幣短時暴漲后閃崩。
實驗表明，訓練集中混入約萬分之一虛假文本，模型輸出的有害或誤導性內(nèi)容即可出現(xiàn)兩位數(shù)的增幅；污染信息一旦上網(wǎng)，又會被新一輪爬蟲抓取，形成“遞歸污染”閉環(huán)。
監(jiān)管部門已把“AI數(shù)據(jù)投毒”列為新型市場操縱手段，要求券商、基金在采購第三方大模型服務(wù)時，必須提供數(shù)據(jù)來源與清洗報告；交易所亦在測試實時語義水印，識別并阻斷異常生成的“研報”與“快訊”。
對投資者而言，凡遇“AI生成”的利好利空，需交叉核驗原始出處；于機構(gòu)而言，應(yīng)把訓練數(shù)據(jù)溯源、對抗樣本檢測納入常規(guī)風控，防止模型成為操縱市場的“放大器”。
【以上內(nèi)容不構(gòu)成投資決策依據(jù)。投資有風險，入市需謹慎?！?/p>
【免責聲明】：凡注明文章來源為“長江有色金屬網(wǎng)”的文章，均為長江有色金屬網(wǎng)原創(chuàng)，版權(quán)歸本網(wǎng)站所有，任何媒體、網(wǎng)站或個人未經(jīng)本網(wǎng)站書面授權(quán)不得轉(zhuǎn)載。凡本網(wǎng)注明來源：“XXX(非長江有色金屬網(wǎng))”的文章，均轉(zhuǎn)載自網(wǎng)絡(luò)，版權(quán)歸原作者及其公司所有。本站已盡可能對作者和來源進行了標注，若有疏忽造成漏登，請及時與我們聯(lián)系，我們將根據(jù)著作權(quán)人的要求，立即更正或刪除有關(guān)內(nèi)容。本網(wǎng)站所發(fā)布的文章目的在于傳遞更多信息，并不構(gòu)成任何投資及應(yīng)用建議。
