本公開涉及測量，尤其涉及一種基于多目立體視覺與超分辨的條紋投影圖像增強(qiáng)方法及裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、半導(dǎo)體生產(chǎn)工藝日趨微型化與密集化，特別是隨著先進(jìn)封裝技術(shù)的發(fā)展，檢測對象在高度方向呈現(xiàn)出密集堆疊的特征，這使得三維光學(xué)檢測成為一種不可或缺的手段，條紋投影輪廓術(shù)作為工業(yè)在線測量領(lǐng)域的一種成熟方法，在速度和精度的平衡方面表現(xiàn)優(yōu)異。該方法因投影與成像需保持一定夾角，易受陰影遮擋和多重反射效應(yīng)影響，導(dǎo)致條紋圖像的調(diào)制度較低，從而引發(fā)相位歧義和相位斷裂等問題，造成局部測量精度下降。

2、雖然，多相機(jī)方案能一定程度上改善上述問題，但是單純依靠相位或者高度進(jìn)行插值融合這類后處理，并沒有從根本上改善條紋質(zhì)量，得到的區(qū)域精度仍然不理想。此外，通過提高相機(jī)面陣和數(shù)量來改善測量精度。但是，隨著硬件設(shè)備的增加，成本上升。而且，這種方法會導(dǎo)致數(shù)據(jù)采集量、計算量急劇增加，嚴(yán)重影響測量時效性。

技術(shù)實現(xiàn)思路

1、有鑒于此，本公開提出了一種基于多目立體視覺與超分辨的條紋投影圖像增強(qiáng)方案。

2、根據(jù)本公開的一方面，提供了一種基于多目立體視覺與超分辨的條紋投影圖像增強(qiáng)方法。該方法包括：獲取包含投射有條紋圖案的待測物體的主視圖像，以及側(cè)視圖像；對所述側(cè)視圖像進(jìn)行重建，得到重建側(cè)視圖像，所述重建側(cè)視圖像的質(zhì)量優(yōu)于所述側(cè)視圖像；確定所述重建側(cè)視圖像的質(zhì)量指標(biāo)；在所述質(zhì)量指標(biāo)不滿足質(zhì)量條件的情況下，基于所述重建側(cè)視圖像，確定優(yōu)化側(cè)視圖像，將所述優(yōu)化側(cè)視圖像作為新的側(cè)視圖像，迭代地執(zhí)行所述重建至所述確定優(yōu)化側(cè)視圖像的操作，直到所述重建側(cè)視圖像的質(zhì)量指標(biāo)滿足所述質(zhì)量條件，得到目標(biāo)側(cè)視圖像，所述目標(biāo)側(cè)視圖像用于結(jié)合所述主視圖像確定所述待測物體的形貌數(shù)據(jù)。

3、在一種可能的實現(xiàn)方式中，所述對所述側(cè)視圖像進(jìn)行重建，得到重建側(cè)視圖像，包括：基于所述主視圖像、所述側(cè)視圖像，確定深度數(shù)據(jù)；基于所述深度數(shù)據(jù)，確定所述主視圖像與所述側(cè)視圖像的映射關(guān)系；以所述映射關(guān)系作為引導(dǎo)參數(shù)，基于所述主視圖像，對所述側(cè)視圖像進(jìn)行重建，得到所述重建側(cè)視圖像。

4、在一種可能的實現(xiàn)方式中，所述確定所述重建側(cè)視圖像的質(zhì)量指標(biāo)，包括：將所述重建側(cè)視圖像，劃分為多個第一區(qū)域；確定各所述第一區(qū)域的第一質(zhì)量指標(biāo)。

5、在一種可能的實現(xiàn)方式中，所述質(zhì)量條件包括第一質(zhì)量條件，所述在所述質(zhì)量指標(biāo)不滿足質(zhì)量條件的情況下，基于所述重建側(cè)視圖像，確定優(yōu)化側(cè)視圖像，包括：在任一所述第一質(zhì)量指標(biāo)不滿足所述第一質(zhì)量條件的情況下，將所述重建側(cè)視圖像作為所述優(yōu)化側(cè)視圖像。

6、在一種可能的實現(xiàn)方式中，所述確定所述重建側(cè)視圖像的質(zhì)量指標(biāo)，包括：對所述重建側(cè)視圖像進(jìn)行下采樣處理，得到低分辨率圖像，所述低分辨率圖像與所述側(cè)視圖像分辨率相同；將所述低分辨率圖像，劃分為多個第二區(qū)域；確定各所述第二區(qū)域的第二質(zhì)量指標(biāo)。

7、在一種可能的實現(xiàn)方式中，所述質(zhì)量條件包括第二質(zhì)量條件，所述在所述質(zhì)量指標(biāo)不滿足質(zhì)量條件的情況下，基于所述重建側(cè)視圖像，確定優(yōu)化側(cè)視圖像，包括：將所述側(cè)視圖像，劃分為多個第三區(qū)域；確定所述第二質(zhì)量指標(biāo)不滿足第二質(zhì)量條件的目標(biāo)第二區(qū)域；使用與所述目標(biāo)第二區(qū)域?qū)?yīng)的第三區(qū)域，替換所述目標(biāo)第二區(qū)域，得到所述優(yōu)化側(cè)視圖像。

8、在一種可能的實現(xiàn)方式中，所述確定所述重建側(cè)視圖像的質(zhì)量指標(biāo)，包括：確定分項指標(biāo)，所述分項指標(biāo)包括以下多個：條紋圖案周期、條紋圖案前景和背景對比度、條紋圖案灰度變化范圍、像素在條紋圖案周期中的位置、待測物體材質(zhì)、條紋圖案亮度分布、以及鄰域像素質(zhì)量；基于所述分項指標(biāo)，確定所述質(zhì)量指標(biāo)。

9、根據(jù)本公開的另一方面，提供了一種基于多目立體視覺與超分辨的條紋投影圖像增強(qiáng)裝置。該裝置包括：

10、圖像獲取單元，用于獲取包含投射有條紋圖案的待測物體的主視圖像，以及側(cè)視圖像；

11、重建側(cè)視圖像確定單元，用于對所述側(cè)視圖像進(jìn)行重建，得到重建側(cè)視圖像，所述重建側(cè)視圖像的質(zhì)量優(yōu)于所述側(cè)視圖像；

12、質(zhì)量指標(biāo)確定單元，用于確定所述重建側(cè)視圖像的質(zhì)量指標(biāo)；

13、目標(biāo)側(cè)視圖像確定單元，用于在所述質(zhì)量指標(biāo)不滿足質(zhì)量條件的情況下，基于所述重建側(cè)視圖像，確定優(yōu)化側(cè)視圖像，將所述優(yōu)化側(cè)視圖像作為新的側(cè)視圖像，迭代地執(zhí)行所述重建至所述確定優(yōu)化側(cè)視圖像的操作，直到所述重建側(cè)視圖像的質(zhì)量指標(biāo)滿足所述質(zhì)量條件，得到目標(biāo)側(cè)視圖像，所述目標(biāo)側(cè)視圖像用于結(jié)合所述主視圖像確定所述待測物體的形貌數(shù)據(jù)。

14、在一種可能的實現(xiàn)方式中，所述重建側(cè)視圖像確定單元，進(jìn)一步用于：

15、基于所述主視圖像、所述側(cè)視圖像，確定深度數(shù)據(jù)；

16、基于所述深度數(shù)據(jù)，確定所述主視圖像與所述側(cè)視圖像的映射關(guān)系；

17、以所述映射關(guān)系作為引導(dǎo)參數(shù)，基于所述主視圖像，對所述側(cè)視圖像進(jìn)行重建，得到所述重建側(cè)視圖像。

18、在一種可能的實現(xiàn)方式中，所述質(zhì)量指標(biāo)確定單元，進(jìn)一步用于：

19、將所述重建側(cè)視圖像，劃分為多個第一區(qū)域；

20、確定各所述第一區(qū)域的第一質(zhì)量指標(biāo)。

21、在一種可能的實現(xiàn)方式中，所述質(zhì)量條件包括第一質(zhì)量條件，所述目標(biāo)側(cè)視圖像確定單元，進(jìn)一步用于：

22、在任一所述第一質(zhì)量指標(biāo)不滿足所述第一質(zhì)量條件的情況下，將所述重建側(cè)視圖像作為所述優(yōu)化側(cè)視圖像。

23、在一種可能的實現(xiàn)方式中，所述質(zhì)量指標(biāo)確定單元，進(jìn)一步用于：

24、對所述重建側(cè)視圖像進(jìn)行下采樣處理，得到低分辨率圖像，所述低分辨率圖像與所述側(cè)視圖像分辨率相同；

25、將所述低分辨率圖像，劃分為多個第二區(qū)域；

26、確定各所述第二區(qū)域的第二質(zhì)量指標(biāo)。

27、在一種可能的實現(xiàn)方式中，所述質(zhì)量條件包括第二質(zhì)量條件，所述目標(biāo)側(cè)視圖像確定單元，包括：

28、將所述側(cè)視圖像，劃分為多個第三區(qū)域；

29、確定所述第二質(zhì)量指標(biāo)不滿足第二質(zhì)量條件的目標(biāo)第二區(qū)域；

30、使用與所述目標(biāo)第二區(qū)域?qū)?yīng)的第三區(qū)域，替換所述目標(biāo)第二區(qū)域，得到所述優(yōu)化側(cè)視圖像。

31、在一種可能的實現(xiàn)方式中，所述質(zhì)量指標(biāo)確定單元，進(jìn)一步用于：

32、確定分項指標(biāo)，所述分項指標(biāo)包括以下多個：條紋圖案周期、條紋圖案前景和背景對比度、條紋圖案灰度變化范圍、像素在條紋圖案周期中的位置、待測物體材質(zhì)、條紋圖案亮度分布、以及鄰域像素質(zhì)量；

33、基于所述分項指標(biāo)，確定所述質(zhì)量指標(biāo)。

34、根據(jù)本公開另一方面，提供了一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序以實現(xiàn)上述方法的步驟。

35、根據(jù)本公開另一方面，提供了一種非易失性計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)上述方法的步驟。

36、根據(jù)本公開另一方面，提供了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，或者承載有計算機(jī)程序的非易失性計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)上述方法的步驟。

37、在本公開實施例中，迭代地對側(cè)視圖像進(jìn)行重建、質(zhì)量評估、并基于重建側(cè)視圖像確定優(yōu)化圖像，直到側(cè)視圖像的質(zhì)量指標(biāo)滿足質(zhì)量條件，以提升各角度獲取的側(cè)視圖像本身的質(zhì)量，進(jìn)而提升對待測物體測量的準(zhǔn)確性。無需增加相機(jī)數(shù)據(jù)量、也無需提高相機(jī)面陣，不用改變已有的測量設(shè)備，未增加硬件成本。另外，由于沒有增加相機(jī)數(shù)量和面陣，不會增加數(shù)據(jù)采集量、需要處理的圖像數(shù)量沒有增加，所以不影響測量的時效性。由此可見，本公開的方法可以在不增加硬件成本的前提下，提高測量精度。

38、根據(jù)下面參考附圖對示例性實施例的詳細(xì)說明，本公開的其它特征及方面將變得清楚。