基于大模型的正樣本異常檢測方案-實現(xiàn)用戶簡單點擊即可將識別為異物的物體定義為正常物體

變電站中存在諸多潛在異常風(fēng)險，其一是來自外界的不可預(yù)測的異物威脅，容易引發(fā)短路、電弧甚至火災(zāi)事故，需要采取措施預(yù)防。由于異物未知且采集異物圖像成本非常高，需要算法實現(xiàn)在僅擁有正常圖像樣本的條件下實現(xiàn)對未知異物的檢測。

項目利用大模型檢測并提取場景中物體的特征，并使用特征融合和存儲庫技術(shù)讓算法“記住”正常場景，再通過融合特征比對的方式分辨出異常物體。該算法充分發(fā)揮了大模型跨模態(tài)、預(yù)訓(xùn)練、開放性等眾多優(yōu)勢，以很小的代價就能完成傳統(tǒng)深度學(xué)習(xí)算法無法完成的任務(wù)。

在算法落地過程中，獲取稀缺圖像一直是一大挑戰(zhàn)。在本項目中，正樣本檢測技術(shù)巧妙地避開這一難題，運用先進技術(shù)，避免了困難的負(fù)樣本采集工作的同時，還具有更好的精度和泛化能力。本項目的正樣本檢測算法不僅能在電力變電行業(yè)表現(xiàn)出色，同時也適用于其他工業(yè)或生活場景。

變電站作為電力系統(tǒng)的關(guān)鍵設(shè)施，承擔(dān)著輸電、變壓、配電等重要任務(wù)，是電力供應(yīng)的核心節(jié)點。然而，由于其特殊的地理位置和功能屬性，變電站存在著諸多潛在的異常風(fēng)險。其中，最為突出的問題之一是來自外界的不可預(yù)測異物的威脅。風(fēng)箏、塑料袋等物體，一旦進入變電站區(qū)域，可能與高壓設(shè)備接觸，引發(fā)短路、電弧甚至火災(zāi)等嚴(yán)重安全事故，威脅到變電站設(shè)備的安全運行和周邊地區(qū)的人身財產(chǎn)安全。

這些不可知的異物對變電站的安全穩(wěn)定造成了潛在威脅，因此需要采取有效的措施來應(yīng)對。由于異物未知且采集異物圖像成本高，客戶要求僅利用易獲得的正常樣本進行訓(xùn)練，實現(xiàn)場景中異物的準(zhǔn)確檢測，以降低成本并提高效率。

基于大模型的方法與傳統(tǒng)工業(yè)視覺檢測的區(qū)別：以往的工業(yè)視覺檢測大多需要采集大量所需類別的圖像樣本并訓(xùn)練一個針對性的小模型，這樣的模型容量小，能力有限，也難以運用到已有的海量預(yù)訓(xùn)練數(shù)據(jù)集的知識。而大模型發(fā)展至今，僅預(yù)訓(xùn)練的模型在很多視覺任務(wù)的精度上已經(jīng)碾壓傳統(tǒng)小模型，再經(jīng)過行業(yè)數(shù)據(jù)微調(diào)后可以更加適合于特定的工業(yè)視覺檢測任務(wù)。

基于大模型的正樣本檢測技術(shù)：通過檢測大模型的開放詞匯識別出物體，然后用特征提取大模型的編碼物體的深度特征，結(jié)合存儲庫技術(shù)，能夠?qū)崿F(xiàn)在僅見過正常場景圖片的有限條件下，精準(zhǔn)檢測出場景中出現(xiàn)的任何未知的異常物體，精度相較于傳統(tǒng)深度學(xué)習(xí)方法大幅提升。

正樣本在線增量訓(xùn)練技術(shù)：通過對存儲庫和交互方式的設(shè)計，并結(jié)合大模型的特性，實現(xiàn)用戶簡單點擊即可將識別為異物的物體定義為正常物體。這一技術(shù)實現(xiàn)了模型和存儲庫的在線更新，有效解決了模型部署后更新難、反饋慢的問題。

多點位模型通用技術(shù)：實際項目中需要部署的點位可達成百上千，本項目利用大模型的通用性和特征存儲庫技術(shù)打破了一個點位對應(yīng)一個模型的限制，實現(xiàn)在不改變主網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)的條件下，快速訓(xùn)練出各個點位的特征存儲庫，并且能夠在不同點位間快速切換。

樣本生成技術(shù)：對圖像生成大模型進行微調(diào)訓(xùn)練后，通過對邊緣、文字提示和正常圖像的結(jié)合來實現(xiàn)在變電站圖像中任意位置（許多位置工人難以到達但又容易出現(xiàn)異物）生成任意形態(tài)的異物，用于測試算法的能力并進行迭代提升。

實施效果

項目目前已在國家電網(wǎng)某變電站進行了超300個攝像頭點位的部署運行，綜合漏報率低于3%，誤報率低于5%。

正樣本巡視系統(tǒng)采用定時排查和人工下任務(wù)兩種方式，全面檢測所有點位。工作人員在系統(tǒng)中復(fù)核告警圖像并清理異物，實現(xiàn)了異常檢測的自動化和智能化。相較于純?nèi)斯げ欢ㄆ谘惨�，該系統(tǒng)能全天候定時檢測所有場景，顯著減少人力成本，且算法速度快、資源消耗低。每增加一個點位只需額外3MB內(nèi)存和磁盤存儲空間，適用于大規(guī)模部署應(yīng)用。

該項目的應(yīng)用極大地減少了變電站的潛在異常風(fēng)險，得到了國家電網(wǎng)上海練塘站領(lǐng)導(dǎo)的一致好評，并已開始向全國范圍內(nèi)其他變電站推廣。此外，這種正樣本技術(shù)不僅局限于變電站場景，還可以應(yīng)用于其他工業(yè)和生活場景。

本方案基于攝像頭等國產(chǎn)硬件感知設(shè)備，配合自主研發(fā)基于大模型的正樣本檢測關(guān)鍵技術(shù)，形成整套的解決方案產(chǎn)品；相比于傳統(tǒng)深度學(xué)習(xí)模型只能檢測固定類別的異常，本項目靈活使用視覺大模型，可以有效檢測出未知的缺陷種類。本產(chǎn)品最早應(yīng)用于變電站異常識別領(lǐng)域，可以檢測出變電站中出現(xiàn)的異常現(xiàn)象，有效保障電力穩(wěn)定安全運行。從經(jīng)濟的角度為傳統(tǒng)行業(yè)提質(zhì)增效智能化升級、減低人力成本；從社會角度，對各行業(yè)的智能巡檢場景實現(xiàn)“機器代人眼”，對釋放數(shù)字經(jīng)濟潛力、形成新的經(jīng)濟增長點具有重要意義。同時，其應(yīng)用場景除電力外，仍可覆蓋石油、化工、煙草、園區(qū)等需要智能巡視的領(lǐng)域，可提高各個應(yīng)用場景系統(tǒng)運維工作效率與質(zhì)量。