<span id="xltbl"></span>

            <form id="xltbl"><track id="xltbl"><address id="xltbl"></address></track></form>

            <rp id="xltbl"></rp>
              <dl id="xltbl"><dfn id="xltbl"></dfn></dl>
              合肥金星智控科技股份有限公司
              宣傳

              位置:中冶有色 >

              有色技術頻道 >

              > 采礦技術

              > 基于深度學習的帶式輸送機輸送帶跑偏監測方法

              基于深度學習的帶式輸送機輸送帶跑偏監測方法

              194   編輯:中冶有色技術網   來源:山東科技大學  
              2023-11-03 15:06:12
              一種基于深度學習的帶式輸送機輸送帶跑偏監測方法

              1.本發明涉及煤礦裝備智能化技術領域,尤其涉及一種基于深度學習的帶式輸送機輸送帶跑偏監測方法。

              背景技術:

              2.帶式輸送機作為散狀物料連續輸送的首選裝備,是煤礦井下和露天煤礦開采的主要運輸裝備,同時也廣泛應用在礦山、碼頭、港口、化工等領域。輸送帶是帶式輸送機的重要組成部分,起著承載物料與傳遞動力的重要作用。因為加工精度、安裝精度、物料不均衡裝載等的影響,使得輸送帶在運行過程中經常出現跑偏。跑偏是帶式輸送機最常見的故障之一,會引起諸多事故,諸如會引起承載物料灑落;引起輸送帶邊緣磨損或脫膠等,縮短輸送帶使用壽命;增大輸送機運行阻力系數,增加輸送機能耗;同時,它也是引起輸送帶撕裂的一個重要原因。跑偏事故的產生與擴大嚴重影響煤礦安全高效運輸的進行與綠色可持續發展。

              3.文獻cn113772364a中公開了一種皮帶輸送機跑偏檢測及自動調整方法,包括視覺檢測模塊和托輥控制模塊。首先通過安裝在皮帶輸送機中部的視覺檢測模塊,分別獲取皮帶輸送機工作時的中部皮帶運行圖像、中部前后方運行圖像及中部煤流信息,使用伽馬和分數階進行圖像增強處理,對處理后的圖像進行canny邊緣檢測以獲取托輥與皮帶邊緣信息,通過皮帶中部前后的托輥和皮帶邊緣直線計算出跑偏角度,再根據中部邊緣檢測得出的信息檢測出橫向跑偏量,算法比較復雜。目前煤礦皮帶跑偏監測方式主要通過跑偏開關傳感器,跑偏傳感器確定跑偏量并對跑偏進行處理,然而實際煤礦生產環境較為復雜,需要在皮帶運行的兩側安裝較多的跑偏開關傳感器,這種檢測方式在皮帶運行過程中,主要會存在相鄰傳感器的磁性干擾,輸出處于不穩定狀態,影響數據的判讀,皮帶跑偏開關與保護裝置還需要定期停機校對和測試,并且井下輸送帶較長,需要投入人力和時間進行檢測,會對煤礦井下生產效率產生影響。

              技術實現要素:

              4.為解決上述技術問題,本發明提供一種基于深度學習的帶式輸送機輸送帶跑偏監測方法,采用具有特定標注要求的標注方法對輸送帶邊緣區域進行數據標注得到輸送帶跑偏數據集,進而利用該數據集對通用目標檢測網絡進行訓練,而后將訓練完成后的網絡用于輸送帶邊緣區域的預測,通過對預測框四個頂點坐標位置的計算,得到輸送帶邊緣區域預測框的對角線位置及其方程,并以此表征輸送帶邊緣直線。通過對比所得輸送帶左右邊緣直線分別距離相機視野邊界的距離,實現輸送帶跑偏狀態的有效監測。本發明利用通用目標檢測網絡進行輸送帶邊緣直線特征的檢測并實現跑偏狀態的有效判定,簡化了復雜環境下輸送帶邊緣直線提取流程,有力保障了帶式輸送機的安全高效運行。

              5.在本發明中方法包括以下步驟:步驟1,在帶式輸送機沿線設置相機,用于實時采集帶式輸送機運行圖像建立輸送帶跑偏圖像數據集;步驟2,基于步驟1所建立的圖像數據

              集,利用深度學習技術如labelimg等對輸送帶邊緣特征進行提取標注,每一張圖像內的輸送帶的左右邊緣上分別標注一個標注框,所述輸送帶的邊緣與相對應的標注框的一條對角線對齊,并將標注完成的數據集劃分為訓練集、驗證集和測試集,以供后續深度學習目標檢測網絡訓練調用;步驟3,搭建基于深度學習的目標檢測網絡模型,將輸送帶邊緣區域設置為檢測目標,將將步驟2中所構建數據集中的訓練集和驗證集輸入到建立的目標檢測網絡模型中進行訓練,直至網絡收斂,得到訓練權重及檢測模型;步驟4,基于步驟3對以輸送帶邊緣區域為目標的目標檢測網絡預測,生成預測框,并輸出預測框的參數,并不斷通過目標檢測網絡改進其輸出,使其具備檢測直線的能力;步驟5,在步驟4所檢測出的輸送帶邊緣直線的基礎上,在相機視野建立一條虛擬參考線,所述虛擬參考線平行于x軸,且與x軸間的距離標記為



              y,所述虛擬參考線與相機視野邊界的左右分別相交于為點l和r,與輸送帶左右邊緣分別為相交于點m和n,記lm為l點和m點之間的線段距離,rn為r點和n點之間的線段距離;步驟6,分別計算lm和nr的長度,確定輸送帶在相機視野范圍內的位置,通過算法實時計算lm與nr的絕對差值,與閾值進行實時比對,即可實現跑偏狀態及跑偏量的確定;步驟7,將改進后的目標檢測部署到工業現場,實現跑偏的聯動控制與調節。

              6.進一步地,基于步驟3所述的網絡模型為yolo網絡模型或是rcnn網絡模型或ssd網絡模型等通用目標檢測模型。

              7.進一步地,所述的步驟4中所述參數為預測框的中心點坐標、預測框長度和寬度值,基于預測框的中心點坐標、預測框長度和寬度值,可得到預測框的四個頂點坐標,因此輸送帶左側邊緣的左標注框對角線所在直線的直線方程和輸送帶右側邊緣的右標注框對角線所在直線的直線方程均可以計算獲得,即為輸送帶左右邊緣所在的直線。

              8.進一步地,所述輸送帶邊緣所在直線方程通過如下計算得出,在輸送帶左邊緣的左標注框內記定a點坐標是(xa,ya),b點坐標是(xb,yb),在輸送帶右邊緣的右標注框內記定c點坐標是(xc,yc),d點坐標是(xd,yd),則左標注框內與左邊輸送帶邊緣重合的對角線ab的方程為:右標注框內與右邊輸送帶邊緣重合的對角線cd的方程為:。

              9.進一步地,基于步驟5所述的l點和m點之間的線段距離,r點和n點之間的線段距離計算為即為輸送帶左右邊緣距離視野相機視野邊界的距離,且w為相機視野的寬度。

              10.進一步地,基于步驟6所述的算法為當,即判斷輸送帶不跑偏;當,即判斷輸送帶跑偏,其中d

              lm

              為l點和m點之間的距離,d

              nr

              為r點和n點之間的距離,τ為跑偏判定的閾值。

              11.采用上述技術方案后,本發明與現有技術相比具有以下有益效果:1.本發明提出了一種基于深度學習的帶式輸送機輸送帶跑偏監測方法,該方法基于通用目標檢測網絡檢測直線,極大簡化了復雜環境下輸送帶邊緣的直線特征提取流程,具有良好的實時性。

              12.2.本發明設計的方法提供了復雜場景下輸送帶邊緣快速準確檢測新方法。

              13.3.本發明設計的方法中所述的算法拓展性強,只需要少量數據集訓練就可以遷移到其他場景,適應性較強。

              14.4.本發明設計的方法極大簡化了復雜環境下直線特征提取的流程,并有助于實現帶式輸送機智能化及煤礦的無人化、節能化水平,在保證帶式輸送機安全高效運輸的同時實現綠色節能可持續發展。

              15.本發明提供的技術方案針對復雜環境下基于視覺的輸送帶邊緣特征提取操作復雜的問題,提出了基于通用目標檢測網絡的直線檢測算法,并重新規劃設計了跑偏的判定方法,實現了輸送帶邊緣特征的快速、準確提取,提高了帶式輸送機輸送帶跑偏檢測的精準度,適應性強,解決了復雜背景下帶式輸送機輸送帶邊緣的快速特征提取與跑偏判定問題,實現了輸送帶跑偏狀態檢測的可視化。

              附圖說明

              16.從結合附圖的以下詳細說明中,將會使本發明的上述和其他目的及優點更加完整清楚。

              17.圖1為輸送帶正常運行狀態示意圖。

              18.圖2為輸送帶向右跑偏狀態示意圖。

              19.圖3為輸送帶向左跑偏狀態示意圖。

              20.圖4輸送帶跑偏判定原理圖。

              21.附圖標記:1-相機視野、2-虛擬參考線、3-輸送帶實際位置、4-輸送帶參考位置、5-預測框。

              具體實施方式

              22.下面結合實施例對本發明進行進一步詳細的說明。本發明的優點和特點將會隨著描述而更為清楚。但這些實施例僅是范例性的,并不對本發明的范圍構成任何限制。本領域技術人員應該理解的是,在不偏離本發明的精神和范圍下可以對本發明技術方案的細節和形式進行修改或替換,但這些修改和替換均落入本發明的保護范圍內。

              23.諸如“包含”和“包括”之類的用語表示除了具有在說明書和權利要求書中有直接和明確表述的部件以外,本發明的技術方案也不排除具有未被直接或明確表述的其它部件的情形。在本文的描述中,使用了“上”、“下”、“前”、“后”等方位術語中,應當理解到,這些方向性術語是相對的概念,它們用于相對位置的描述和澄清,其對應的具體定向可以根據相機的方位的變化而相應地發生變化。

              24.本發明提供一種基于深度學習的帶式輸送機輸送帶跑偏監測方法,采用具有特定標注要求的標注方法對輸送帶邊緣區域進行數據標注得到輸送帶跑偏數據集,進而利用該數據集對通用目標檢測網絡進行訓練,而后將訓練完成后的網絡用于輸送帶邊緣區域的預測,通過對預測框5四個頂點坐標位置的計算,得到輸送帶邊緣區域預測框5的對角線位置

              及其方程,并以此表征輸送帶邊緣直線。通過對比所得輸送帶左右邊緣直線分別距離相機視野1邊界的距離,實現輸送帶跑偏狀態的有效監測。本發明利用通用目標檢測網絡進行輸送帶邊緣直線特征的檢測并實現跑偏狀態的有效判定,簡化了復雜環境下輸送帶邊緣直線提取流程,有力保障了帶式輸送機的安全高效運行。

              25.在本發明中方法包括以下步驟:步驟1,在帶式輸送機沿線設置相機,用于實時采集帶式輸送機運行圖像建立輸送帶跑偏圖像數據集;步驟2,基于步驟1所建立的圖像數據集利用深度學習技術對輸送帶邊緣特征進行提取標注,每一張圖像內的輸送帶的左右邊緣上分別標注一個標注框,所述輸送帶的邊緣與相對應的標注框的一條對角線對齊,并將標注完成的數據集劃分為訓練集、驗證集和測試集,以供后續深度學習目標檢測網絡訓練調用;步驟3,搭建基于深度學習的目標檢測網絡模型,將輸送帶邊緣區域設置為監測目標,將將步驟2中所構建數據集中的訓練集和驗證集輸入到建立的目標檢測網絡模型中進行訓練,直至網絡收斂,得到訓練權重及檢測模型;基于步驟3所述的網絡模型為yolo網絡模型或是rcnn網絡模型或ssd網絡模型等通用目標檢測網絡。

              26.步驟4,基于步驟3對以輸送帶邊緣區域為目標的目標檢測網絡預測,生成預測框5,如圖2所示,并輸出預測框5的參數,并不斷通過目標檢測網絡改進其輸出,使其具備檢測直線的能力;所述參數為預測框5的中心點坐標、預測框5長度和寬度值,基于預測框5的中心點坐標、預測框5長度和寬度值,可得到預測框5的四個頂點坐標,如圖4所示,輸送帶左側邊緣的左標注框對角線所在直線的直線方程和輸送帶右側邊緣的右標注框對角線所在直線的直線方程均可以計算獲得,即為輸送帶左右邊緣所在的直線;所述輸送帶邊緣所在直線方程通過如下計算得出,在輸送帶左邊緣的左標注框內記定a點坐標是(xa,ya),b點坐標是(xb,yb),在輸送帶右邊緣的右標注框內記定c點坐標是(xc,yc),d點坐標是(xd,yd),則,左標注框內與左邊輸送帶邊緣重合的對角線ab的方程為:右標注框內與右邊輸送帶邊緣重合的對角線cd的方程為: 。

              27.預測框5的大小不會對檢測結果產生影響,因為輸送帶邊緣直線所在方程是通過該直線上的任意兩點進行確定。

              28.步驟5,在步驟4所檢測出的輸送帶邊緣直線的基礎上,如圖3所示,在相機視野1建立一條虛擬參考線2,所述虛擬參考線2平行于x軸,且與x軸間的距離標記為



              y,所述虛擬參考線2與相機視野1邊界的左右分別相交于為點l和r,與輸送帶左右邊緣分別為相交于點m和n,記lm為l點和m點之間的線段距離,rn為r點和n點之間的線段距離;其中l點和m點之間的線段距離,r點和n點之間的線段距離計算為

              即為輸送帶左右邊緣距離視野相機視野邊界的距離,且w為相機視野的寬度。

              29.步驟6,分別計算lm和nr的長度,確定輸送帶在相機視野范圍內的位置,通過算法實時計算lm與nr的絕對差值,與閾值進行實時比對,即可實現跑偏狀態及跑偏量的確定;當,即判斷輸送帶不跑偏;當,即判斷輸送帶跑偏,其中d

              lm

              為l點和m點之間的距離,d

              nr

              為r點和n點之間的距離,τ為跑偏判定的閾值。

              30.步驟7,將改進后的目標檢測部署到工業現場,實現跑偏的聯動控制與調節。

              31.在本實施例中,如圖1、圖2和圖3所示展示了輸送帶的三種常見的運行工況,依次是正常運行,向右跑偏和向左跑偏。在圖1中以相機視野1范圍的左上角建立如圖2所示的坐標系,構建虛擬參考線2,該直線平行于x軸,且與x軸間的距離為



              y。虛擬參考線2與相機視野1邊界的左右交點分別為l和r,與輸送帶邊緣的交點分別為m和n。在保證相機被對中安裝并忽略機架振動的基礎上,則跑偏的狀態可以通過如下規則進行判定:當,即判斷輸送帶不跑偏;當,即判斷輸送帶跑偏,其中d

              lm

              為l點和m點之間的距離,d

              nr

              為r點和n點之間的距離,τ為跑偏判定的閾值。

              32.跑偏判定閾值與帶寬和圖像分辨率有關,跑偏判定閾值的設定與相機的安裝位置、相機的視野范圍及分辨率有關。本實施例中展示了相機居中安裝在輸送機中間的場景,τ跑偏判定的閾值設定為80像素,輸送帶左右兩側邊應距離圖像左右兩邊緣的距離相等算法在很好地識別輸送帶兩邊緣的同時,準確的給出輸送帶兩邊緣距離視野邊緣的距離的差值,并以此判斷了是否發生跑偏。有些場景中,相機并不能被居中安置在輸送帶的中間,需要在輸送機的一側安裝,此時的閾值設定需要根據實際情況去設定。

              33.本發明基于yolo目標檢測網絡,通過對網絡的輸出預測結果進行相應的修改,從而實現了所述的輸送帶邊緣區域檢測,使其具備檢測直線的能力。yolo以cspdarknet_spp作為主干特征提取網絡。通過focus模塊對輸入圖像進行切片,通過像素值的提取與重新組合,實現了將圖像的寬高信息向通道空間的整合,從而變相的實現了下采樣操作。focus模塊的使用是使得網絡在沒有信息丟失的情況下,減少計算量;采用跨階段局部網絡cspdarknet,可有效解決大型卷積神經網絡在主干特征提取過程中網絡優化梯度信息重復的問題,將梯度的變化從頭到尾地集成到特征圖中,因此減少了模型的參數量和計算量,既保證了推理速度和準確率,又減小了模型尺寸;采用了spp+fpn+pan模塊作為特征增強部分,提升了特征信息的多樣性和魯棒性;同時應用了類似于efficientnet的網絡通道數和網絡層數調節因子來靈活配置不同復雜度的模型,得到了s-m-l-x復雜度依次提高的模型。

              34.yolo目標檢測網絡的損失函數loss由三部分組成,分別是定位損失l

              iou

              ,分類損失l

              cls

              ,和置信度損失l

              obj

              ,計算公式如式所示:loss=λ1×

              l

              iou

              +λ2×

              l

              cls

              +λ3×

              l

              obj

              λ

              1-3

              ∈(0,1 ],為分配系數,在本發明中λ1=λ2=λ3=1。

              35.定位損失l

              iou

              又稱邊界框回歸損失,用來表征預測框5與真實框之間的距離,通過計算兩個邊界框相交面積與相并面積的比值(交并比iou)來實現,交并比越大,意味著預測

              框5與真實框之間的重合度越高,二者之間的距離越小,損失越小。

              36.在yolo中采用了giou函數來進行定位損失的計算,它是iou的升級版,當預測框5與真實框完全重合時iou=1,l

              giou

              =0,當預測框5與真實框完全不重合,且距離較遠時,iou=0且l

              giou

              =2,這就解決了在函數中存在的梯度消失問題。

              37.使用yolo在coco2017數據集上的預訓練權重進行遷移學習,batchsize設置為4,訓練100個epoch;采用moscaic數據增強的方式,通過隨機選取4張圖像,隨機縮放,再隨機拼接的方式,極大豐富了數據集。

              38.上述實施例中的實施方案可以進一步組合或者替換,且實施例僅僅是對本發明的優選實施例進行描述,并非對本發明的構思和范圍進行限定,在不脫離本發明設計思想的前提下,本領域中專業技術人員對本發明的技術方案做出的各種變化和改進,均屬于本發明的保護范圍。技術特征:

              1.一種基于深度學習的帶式輸送機輸送帶跑偏監測方法,其特征在于,該方法包括以下步驟:步驟1,在帶式輸送機沿線設置相機,用于實時采集帶式輸送機運行圖像建立輸送帶跑偏圖像數據集;步驟2,基于步驟1所采集的圖像數據利用數據標注軟件,對輸送帶邊緣特征進行提取標注,每一張圖像內的輸送帶的左右邊緣上分別標注一個標注框,所述輸送帶的邊緣與相對應的標注框的一條對角線對齊,并將標注完成的數據集劃分為訓練集、驗證集和測試集,以供后續深度學習目標檢測網絡訓練調用;步驟3,搭建基于深度學習的目標檢測網絡模型,將輸送帶邊緣區域設置為檢測目標,將步驟2中所構建的數據集中的訓練集和驗證集輸入到建立的目標檢測網絡模型中進行訓練,直至網絡收斂,得到訓練權重及檢測模型;步驟4,基于步驟3對以輸送帶邊緣區域為目標的目標檢測網絡預測,生成預測框,并輸出預測框的參數,改進目標檢測網絡輸出結果,使其具備檢測直線的能力;步驟5,在步驟4所檢測出的輸送帶邊緣直線的基礎上,在相機視野建立一條虛擬參考線,所述虛擬參考線平行于x軸,且與x軸間的距離標記為



              y,所述虛擬參考線與相機視野邊界的左右分別相交于為點l和r,與輸送帶左右邊緣分別為相交于點m和n,記lm為l點和m點之間的線段距離,rn為r點和n點之間的線段距離;步驟6,分別計算lm和nr的長度,確定輸送帶在相機視野范圍內的位置,通過算法實時計算lm與nr的絕對差值,與閾值進行實時比對,即可實現跑偏狀態及跑偏量的確定;步驟7,將改進后的目標檢測部署到工業現場,實現跑偏的聯動控制與調節。2.根據權利要求1所述的一種基于深度學習的帶式輸送機輸送帶跑偏監測方法,其特征在于:基于步驟3所述的網絡模型為yolo網絡模型或是rcnn網絡模型或ssd網絡模型通用目標檢測網絡。3.根據權利要求2所述的一種基于深度學習的帶式輸送機輸送帶跑偏監測方法,其特征在于:所述的步驟4中所述參數為預測框的中心點坐標、預測框長度和寬度值,基于預測框的中心點坐標、預測框長度和寬度值,可得到預測框的四個頂點坐標,因此輸送帶左側邊緣的左標注框對角線所在直線的直線方程和輸送帶右側邊緣的右標注框對角線所在直線的直線方程均可以計算獲得,即為輸送帶左右邊緣所在的直線。4.根據權利要求3所述的一種基于深度學習的帶式輸送機輸送帶跑偏監測方法,其特征在于:所述輸送帶邊緣所在直線方程通過如下計算得出,在輸送帶左邊緣的左標注框內記定a點坐標是(x

              a

              ,y

              a

              ),b點坐標是(x

              b

              ,y

              b

              ),在輸送帶右邊緣的右標注框內記定c點坐標是(x

              c

              ,y

              c

              ),d點坐標是(x

              d

              ,y

              d

              ),則左標注框內與左邊輸送帶邊緣重合的對角線ab的方程為:右標注框內與右邊輸送帶邊緣重合的對角線cd的方程為:。5.根據權利要求4所述的一種基于深度學習的帶式輸送機輸送帶跑偏監測方法,其特征在于:基于步驟5所述的l點和m點之間的線段距離,r點和n點之間的線段距離計算為

              即為輸送帶左右邊緣距離視野相機視野邊界的距離,其中w為相機視野的寬度。6.根據權利要求5所述的一種基于深度學習的帶式輸送機輸送帶跑偏監測方法,其特征在于:基于步驟6所述的算法為當 ,即判斷輸送帶不跑偏,當 ,即判斷輸送帶跑偏,其中d

              lm

              為l點和m點之間的距離,d

              nr

              為r點和n點之間的距離,τ為跑偏判定的閾值。

              技術總結

              本發明提供一種基于深度學習的帶式輸送機輸送帶跑偏監測方法,利用通用目標檢測網絡進行輸送帶邊緣直線特征的檢測并實現跑偏狀態的有效判定。本發明采用具有特定標注要求的標注方法對輸送帶邊緣區域進行數據標注得到輸送帶跑偏數據集,進而利用該數據集對通用目標檢測網絡進行訓練,而后將訓練完成后的網絡用于輸送帶邊緣區域的預測,通過對預測框四個頂點坐標位置的計算,得到輸送帶邊緣區域預測框的對角線位置及其方程,并以此表征輸送帶邊緣直線。通過對比所得輸送帶左右邊緣直線分別距離相機視野邊界的距離,實現輸送帶跑偏狀態的有效監測。本發明簡化了復雜環境下輸送帶邊緣直線提取流程,有力保障了帶式輸送機的安全高效運行。高效運行。高效運行。

              技術研發人員:張夢超 張媛 周滿山 于巖 郝妮妮 曹越帥 周丹

              受保護的技術使用者:山東科技大學

              技術研發日:2022.02.10

              技術公布日:2022/3/8
              聲明:
              “基于深度學習的帶式輸送機輸送帶跑偏監測方法” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
              我是此專利(論文)的發明人(作者)
              分享 0
                       
              舉報 0
              收藏 0
              反對 0
              點贊 0
              全國熱門有色金屬技術推薦
              展開更多 +

               

              中冶有色技術平臺微信公眾號
              了解更多信息請您掃碼關注官方微信
              中冶有色技術平臺微信公眾號中冶有色技術平臺

              最新更新技術

              報名參會
              更多+

              報告下載

              第五屆中國浮選大會
              推廣

              熱門技術
              更多+

              衡水宏運壓濾機有限公司
              宣傳
              環磨科技控股(集團)有限公司
              宣傳

              發布

              在線客服

              公眾號

              電話

              頂部
              咨詢電話:
              010-88793500-807
              專利人/作者信息登記
              国产成人A∨激情视频厨房_中文字幕在线2021一区_久久五月精品中文字幕_99精品视频在线

                    <span id="xltbl"></span>

                        <form id="xltbl"><track id="xltbl"><address id="xltbl"></address></track></form>

                        <rp id="xltbl"></rp>
                          <dl id="xltbl"><dfn id="xltbl"></dfn></dl>