隨著人工智慧（AI）生成的內容充斥網際網路，它正在破壞未來模型訓練的資料。當AI「吃掉」自己時，會發生什麼？
得益於生成式人工智慧的蓬勃發展，普通人也可隨時使用計算機程式來生成文字、計算機程式碼、影像和音樂。與此同時，新的AI模型開發需要更多資料進行訓練，這些由AI生成的內容可能很快會進入訓練新模型的資料集。一些專家表示，這將在無意中引入錯誤，並隨著每一代模型的誕生而不斷積累。
越來越多證據顯示，人工智慧生成的文字，即使被引入訓練資料集的量很少，最終也會對訓練中的模型產生「毒害」。而目前，幾乎還沒有有效的「解毒劑」。英國愛丁堡大學資訊學院計算機科學家裡克·薩卡爾說：「雖然現在或幾個月後，這可能還不是問題，但我相信，幾年後這將成為一個必須要面對的問題。」
AI生成資料「毒害」已真實存在
AI模型以自身產生的資料「毒害」自身的狀況，可能有點類似於核試驗帶給人類的困境。
自1945年人類引爆第一顆原子彈後，數十年的核試驗使得大量放射性塵埃進入地球大氣層。而當這些空氣進入新制造的鋼材時，就會增高這些鋼材的輻射性。
對輻射特別敏感的鋼材應用而言，例如蓋革計數器（一種用於測量放射性輻射的探測器），就必需使用低輻射金屬。因此，人們只能搶購日益減少的低輻射金屬，比如在舊船殘骸中尋找1945年前生產的鋼鐵廢料。
一些業內人士認為，類似的迴圈將在AIGC中重演——研究人員不得不尋找沒有被「汙染」的訓練資料。
AI模型是如何「中毒」的？研究人員將一些由AI生成的語料作為訓練資料，「喂」給一個正在訓練的語言模型，然後使用它所輸出的結果再來訓練新模型，並重復這一迴圈。他們發現，模型每迭代一次，錯誤就會疊加一次。當人們要求第10次被訓練出的模型寫出有關英國曆史建築的內容時，它「吐出」的卻是有關豺兔的一堆胡言亂語。
英國牛津大學機器學習研究員伊利亞·舒邁洛夫及其同事稱這種現象為「模型崩潰」。他們在語言模型、生成手寫數字和區分機率分佈等模型中，都觀察到了這種現象。「即使在最簡單的模型中，這種情況也已經發生。」舒邁洛夫說，「我向你保證，在更復雜的模型中，也肯定已經發生了」。
在最近的一項預印本研究中，薩卡爾及其在西班牙馬德里和英國愛丁堡的同事，用一種名為擴散模型的AI影像生成器進行了類似的實驗：第一個模型可以生成可識別的花朵或鳥類，但到了第三個模型，所生成的圖片就變得模糊不清了。
薩卡爾說，其他測試也表明，即使是部分由AI生成的訓練資料集也是「有毒」的。他解釋說：「只要有一部分訓練資料來源自人工智慧所生成的內容，就會產生問題。」但更多具體細節還有待研究。
目前研究表明，模型在其資料的「尾部」（模型訓練集中出現頻率較低的資料元素）所受到的影響最大。由於這些尾部包含的資料與「標準」相去甚遠，模型崩潰可能導致AI輸出的結果失去「人類資料」特有的多樣性。
令舒邁洛夫特別擔心的是，這會加劇模型對邊緣群體的既有偏見，「我們需要加緊努力，來遏制這種情況的發生」。
阻止「模型崩潰」尚需求解
無可辯駁的事實是，AI生成的內容已經開始進入機器學習工程師們所習慣於獲取訓練資料的領域。以語言模型為例：即使是主流新聞媒體也已經開始釋出人工智慧生成的文章，一些百科網站的編輯也希望使用語言模型為網站生成內容。
瑞士洛桑聯邦理工學院（EPFL)學者維尼亞明·韋謝洛夫斯基認為，人類正處於這樣一個拐點，「許多我們用來訓練模型的現有工具，很快就會被AI生成的文字‘餵飽’」。
有跡象表明，AI生成的資料也可能透過其他途徑進入模型訓練。韋謝洛夫斯基及其同事透過統計分析發現，已有約1/3的醫學研究摘要有ChatGPT生成文字的痕跡。
EPFL小組的研究成果於上個月釋出在預印本伺服器arXiv.org上。不過，機器學習工程師們也提出反駁。EPFL的研究生馬諾埃爾·奧爾塔·裡貝羅認為，使用ChatGPT對文字資料進行註釋更加便捷且效果更佳。
面對模型崩潰的威脅，機器學習工程師該怎麼辦？答案可能相當於蓋革計數器中的戰前鋼鐵：已知不受（或儘可能不受）AIGC影響的資料。
例如，薩卡爾提出了採用「標準化」影像資料集的想法。這些資料集將由人類進行策劃，因為人類知道這些資料集的內容僅由人類創作組成，並且可供開發人員免費使用。
一些工程師可能想開啟網際網路檔案館，查詢AI熱潮之前的內容，但舒邁洛夫並不認為使用歷史資料是一種解決方案。首先，可能沒有足夠的歷史資訊來滿足不斷增長的模型需求。另外，這些歷史資料不一定能反映不斷變化的世界。
「如果你想收集過去100年的新聞，並試圖預測今天的新聞，這顯然是行不通的，因為技術和時代都已經發生了變化。」舒邁洛夫說。
因此，我們面臨的挑戰可能更為直接：從合成內容中分辨出人工生成的資料，並過濾掉後者。不過，即使有了這方面的技術，這也遠不是一項簡單的任務。正如薩卡爾指出的那樣，如果Adobe Photoshop允許使用者使用人工智慧生成技術編輯影像，那麼這樣編輯出來的影像到底是不是人工智慧生成的呢？
作者：楊馥溪/編譯
編輯：許琦敏
*文匯獨家稿件，轉載請註明出處。
