科學報科學文摘 1探索

解構數字文化遺產

字體大小：
更新日期：2022年3月07日
文章欄目：
文章標籤：

GIS擺渡人
分割和註釋多標量3D傳統資料
無論是作為2D圖紙還是3D點雲，數字文化遺產都已成為當今遺產文獻中的規範。 但是，原始數字資料仍然需要手動標記，以便將有形資訊新增到其他本來嚴格的幾何資料中。 本文介紹了一種演算法方法，可將3D傳統資料系統地解構和語義註釋為不同的元素。 所開發的方法有助於減輕標記任務，併為基於人工智慧的細分的未來發展提供培訓資料。 
面對自然和人為威脅的潛在破壞，適當的遺產記錄的重要性不斷提高。 在最近的幾十年中，地理資訊科技的發展使3D掃描對於保護參與者來說更加容易和可行。 攝影測量和雷射掃描領域已取得了長足的進步，這是傳統文獻領域中3D資料生成的兩種最主要形式。 為了支援遺產管理，還開發了3D GIS和遺產建築資訊模型（HBIM）等系統。 
解決兩個主要瓶頸
建立統一的多利益相關者遺產管理系統的過程中的主要瓶頸是點雲上元素的手動數字化和標記。 為了正確理解場景，從而透過3D GIS或HBIM框架進行有意義的分析，這是必需的。 雖然在執行這些任務中使用人工智慧也可以看到巨大的進步，但這也遇到了訓練資料可用性形式的瓶頸。 此外，在遺產領域，世界各地建築風格的多樣性為這一問題增加了一層。 開發的方法試圖同時解決這兩個瓶頸。 首先，使用演算法或基於規則的方法可以快速準確地生成標記資料集，以用於某些較簡單的案例研究。 其次，結果可以在以後的任何機器學習（或實際上是基於深度學習的）方法中作為一種引導方法重新用於訓練資料。 
圖1：DBAT中的攝影測量處理（左）和生成的度量（右）。 
質量控制
在點雲本身上執行操作之前，必須進行適當的質量控制。 3D傳統文件的這一方面至關重要，但實際上卻經常被遺忘。 儘管視覺效果可能會吸引使用者，但幾何精度仍然是任何遺產存檔工作不可或缺的一部分。 實際上，測量師和測繪工程師有義務維護地理空間產品的幾何質量，尤其是當他們必須保證使用所述產品進行長期遺產歸檔時，更是如此。 
例如，在攝影測量學中，運動（SfM）和密集匹配演算法帶來的結構提升產生了令人印象深刻的結果。 但是，SfM軟體的黑匣子性質意味著質量控制很難執行。 為了解決這個問題，作者及其團隊開發了一種協議，該協議使用阻尼束調整工具箱（DBAT）從SfM攝影測量專案中提取質量指標（示例參見圖1）。 使用這種開源方法進行攝影測量質量評估，可以儘早發現專案中的問題，並在錯誤進一步蔓延之前將其糾正。 除其他事項外，DBAT還提供了經典的攝影測量指標，而現代基於黑箱的基於SfM的3D重建軟體通常不提供這些攝影測量指標，例如外部方向協方差矩陣，相交角等。 
多標量除法
在保證了專案的質量之後，可以對所得的點雲進行進一步處理。 作者開發方法的第一步是將3D傳統資料系統地分為多個步驟。 例如，第一步步驟涉及某個站點周圍的大區域，這些區域可能會被無人駕駛飛機（UAV或「無人機」）掃描。 然後，第二步可能涉及單個建築物，可以透過地面雷射掃描（TLS）或攝影測量法對其進行重建。 然後，第三步可能涉及建築物的更詳細的部分，即諸如柱子，牆壁，地板等建築元素。 這種從粗到細的分割方法有助於演算法功能建立語義資訊的系統層次結構，以及大大減少了處理時間。 日-century Kasepuhan富麗堂皇的複雜在井裡汶，印度尼西亞。 
圖2：文化遺產資料集的多標量分層結構。 
多標量方法還嘗試適應當今可用的各種3D感測器。 實際上，每種方法都可能適用於某個規模級別，但不適用於其他級別，因此，此資料的分層結構也可以用於資料管理。 
細分和註釋
按照先前已建立的多標量正規化，解構過程首先從較大的點雲（即周圍建築群的點雲）分割建築物開始。 這是在預先存在的2D GIS檔案的幫助下執行的。 此類GIS檔案通常已可用於遺產地，但是如果缺少此類資料，則也可以基於衛星或UAV影像進行快速向量化。 GIS的使用還具有另一個優點：語義類和資訊作為屬性嵌入GIS層和實體中。 因此，已開發的「曲奇切割器」演算法使用GIS向量多邊形作為指導進行了幾何分割。 連結到每個多邊形實體的語義屬性此後可以自動註釋為分割結果。 圖3顯示了這種操作的結果，從而，GIS向量充當2.5D模具以分割原始點雲。 使用GIS屬性自動標記意味著可以從基本資料庫的意義上查詢生成的構建點雲。 
因此，這種分割的結果-從文物建築到文物建築-包括具有語義資訊的獨立建築，這些語義資訊來自原始GIS檔案，而幾何資料則來自原始點雲。 在這方面，它提供了例項分段的示例，與更一般的語義分段相反。 就分割質量而言，作者的演算法使用這種方法在測試資料集上的F1指數得分為89.32％。 
圖3：「 Cookie Cutter」樣式的點雲分割和語義註釋。 
進一步的解構涉及將建築物拆卸（上一步的結果）為建築元素。 在此過程中使用了各種幾何規則，不僅可以執行簡單的分割，還可以將類歸因於每個例項。 作者和他的團隊開發了幾種功能，可以對遺產資料中常見的兩種建築元素（例如，柱子/柱子和屋頂框架）進行檢測和分類。 該檢測演算法基於RANSAC，霍夫變換和最近鄰分割等幾種演算法。 在五個具有不同建築風格的不同資料集上對支柱檢測演算法進行了測試，併成功完成了F1分數平均為88.97％的任務。 
圖4：在五個測試資料集上對支柱進行分割和分類的結果4
結束語
本文描述的方法的最終目的是在文化遺產文獻的背景下幫助點雲分割和分類的過程。 在這方面，開發的演算法以令人驚訝的良好準確性顯示出令人鼓舞的結果。 實際上，在許多簡單情況下使用這種啟發式方法就足夠了，而無需訴諸機器學習。 此外，作者提出了一個完整的工作流程，其中包括在流程開始時的幾何質量評估。 但是，在處理更多樣化的資料集時，演算法的功效可能會遇到更多的限制，在文化遺產領域就是這種情況。

本文朗讀完畢，請繼續下一頁。喜歡、科學報 cn-n.net 的內容，請記得按讚、收藏及分享！

GIS擺渡人

分割和註釋多標量3D傳統資料

解構數字文化遺產

無論是作為2D圖紙還是3D點雲，數字文化遺產都已成為當今遺產文獻中的規範。但是，原始數字資料仍然需要手動標記，以便將有形資訊新增到其他本來嚴格的幾何資料中。本文介紹了一種演算法方法，可將3D傳統資料系統地解構和語義註釋為不同的元素。所開發的方法有助於減輕標記任務，併為基於人工智慧的細分的未來發展提供培訓資料。

面對自然和人為威脅的潛在破壞，適當的遺產記錄的重要性不斷提高。在最近的幾十年中，地理資訊科技的發展使3D掃描對於保護參與者來說更加容易和可行。攝影測量和雷射掃描領域已取得了長足的進步，這是傳統文獻領域中3D資料生成的兩種最主要形式。為了支援遺產管理，還開發了3D GIS和遺產建築資訊模型（HBIM）等系統。

解決兩個主要瓶頸

建立統一的多利益相關者遺產管理系統的過程中的主要瓶頸是點雲上元素的手動數字化和標記。為了正確理解場景，從而透過3D GIS或HBIM框架進行有意義的分析，這是必需的。雖然在執行這些任務中使用人工智慧也可以看到巨大的進步，但這也遇到了訓練資料可用性形式的瓶頸。此外，在遺產領域，世界各地建築風格的多樣性為這一問題增加了一層。開發的方法試圖同時解決這兩個瓶頸。首先，使用演算法或基於規則的方法可以快速準確地生成標記資料集，以用於某些較簡單的案例研究。其次，結果可以在以後的任何機器學習（或實際上是基於深度學習的）方法中作為一種引導方法重新用於訓練資料。

解構數字文化遺產

圖1：DBAT中的攝影測量處理（左）和生成的度量（右）。

質量控制

在點雲本身上執行操作之前，必須進行適當的質量控制。3D傳統文件的這一方面至關重要，但實際上卻經常被遺忘。儘管視覺效果可能會吸引使用者，但幾何精度仍然是任何遺產存檔工作不可或缺的一部分。實際上，測量師和測繪工程師有義務維護地理空間產品的幾何質量，尤其是當他們必須保證使用所述產品進行長期遺產歸檔時，更是如此。

例如，在攝影測量學中，運動（SfM）和密集匹配演算法帶來的結構提升產生了令人印象深刻的結果。但是，SfM軟體的黑匣子性質意味著質量控制很難執行。為了解決這個問題，作者及其團隊開發了一種協議，該協議使用阻尼束調整工具箱（DBAT）從SfM攝影測量專案中提取質量指標（示例參見圖1）。使用這種開源方法進行攝影測量質量評估，可以儘早發現專案中的問題，並在錯誤進一步蔓延之前將其糾正。除其他事項外，DBAT還提供了經典的攝影測量指標，而現代基於黑箱的基於SfM的3D重建軟體通常不提供這些攝影測量指標，例如外部方向協方差矩陣，相交角等。

多標量除法

在保證了專案的質量之後，可以對所得的點雲進行進一步處理。作者開發方法的第一步是將3D傳統資料系統地分為多個步驟。例如，第一步步驟涉及某個站點周圍的大區域，這些區域可能會被無人駕駛飛機（UAV或「無人機」）掃描。然後，第二步可能涉及單個建築物，可以透過地面雷射掃描（TLS）或攝影測量法對其進行重建。然後，第三步可能涉及建築物的更詳細的部分，即諸如柱子，牆壁，地板等建築元素。這種從粗到細的分割方法有助於演算法功能建立語義資訊的系統層次結構，以及大大減少了處理時間。日-century Kasepuhan富麗堂皇的複雜在井裡汶，印度尼西亞。

解構數字文化遺產

圖2：文化遺產資料集的多標量分層結構。

多標量方法還嘗試適應當今可用的各種3D感測器。實際上，每種方法都可能適用於某個規模級別，但不適用於其他級別，因此，此資料的分層結構也可以用於資料管理。

細分和註釋

按照先前已建立的多標量正規化，解構過程首先從較大的點雲（即周圍建築群的點雲）分割建築物開始。這是在預先存在的2D GIS檔案的幫助下執行的。此類GIS檔案通常已可用於遺產地，但是如果缺少此類資料，則也可以基於衛星或UAV影像進行快速向量化。GIS的使用還具有另一個優點：語義類和資訊作為屬性嵌入GIS層和實體中。因此，已開發的「曲奇切割器」演算法使用GIS向量多邊形作為指導進行了幾何分割。連結到每個多邊形實體的語義屬性此後可以自動註釋為分割結果。圖3顯示了這種操作的結果，從而，GIS向量充當2.5D模具以分割原始點雲。使用GIS屬性自動標記意味著可以從基本資料庫的意義上查詢生成的構建點雲。

因此，這種分割的結果-從文物建築到文物建築-包括具有語義資訊的獨立建築，這些語義資訊來自原始GIS檔案，而幾何資料則來自原始點雲。在這方面，它提供了例項分段的示例，與更一般的語義分段相反。就分割質量而言，作者的演算法使用這種方法在測試資料集上的F1指數得分為89.32％。

解構數字文化遺產

圖3：「 Cookie Cutter」樣式的點雲分割和語義註釋。

進一步的解構涉及將建築物拆卸（上一步的結果）為建築元素。在此過程中使用了各種幾何規則，不僅可以執行簡單的分割，還可以將類歸因於每個例項。作者和他的團隊開發了幾種功能，可以對遺產資料中常見的兩種建築元素（例如，柱子/柱子和屋頂框架）進行檢測和分類。該檢測演算法基於RANSAC，霍夫變換和最近鄰分割等幾種演算法。在五個具有不同建築風格的不同資料集上對支柱檢測演算法進行了測試，併成功完成了F1分數平均為88.97％的任務。

解構數字文化遺產

圖4：在五個測試資料集上對支柱進行分割和分類的結果4

結束語

本文描述的方法的最終目的是在文化遺產文獻的背景下幫助點雲分割和分類的過程。在這方面，開發的演算法以令人驚訝的良好準確性顯示出令人鼓舞的結果。實際上，在許多簡單情況下使用這種啟發式方法就足夠了，而無需訴諸機器學習。此外，作者提出了一個完整的工作流程，其中包括在流程開始時的幾何質量評估。但是，在處理更多樣化的資料集時，演算法的功效可能會遇到更多的限制，在文化遺產領域就是這種情況。