トンネルを点検する際に従来の目視や打音に頼った方法に代わるものとして、応用地質株式会社様では赤外線レーザースキャナによって測定される3次元点群データを用いるといった取り組みが行われています。
弊社はそうして得られた3次元の点群データに対する様々なソリューションを提供いたしました。
点の分類
測定データにはトンネル以外にも人や車、その他様々な物体が映り込んでおり、データの解析を妨げています。そこで、各点を「道路」、「覆工」、「それ以外」に分類するアルゴリズムを作成いたしました。
キーポイントと3次元特徴量を用いた点群の結合
2つの異なる地点から測定された点群データを結合する手法としては自動運転等で用いられるSLAM(Simultaneous Localization And Mapping)と呼ばれる技術が知られています。 SLAMには様々な手法が存在しており、スキャンマッチングベースのICP・NDT、 ベイズフィルタの考えを取り入れたFastSLAM、グラフベースの手法であるGraphSLAMなどが有名です。
一方でこれらの手法はその前提として、マッチングさせたい点群の測定地点同士が比較的近いことや、ものによってはその間の大まかな位置関係（オドメトリ）の情報が要求されているものもあります。
トンネルの測定データは、一般的に測定地点同士が10mという比較的大きな距離を隔てて作成されます。また測定の位置関係も人出で入力しなければならず作業効率や誤記入などの可能性などからなるべくそれに頼らずに結合できる手法が求められます。 さらにトンネルの形状は比較的なめらかで、似たようなパターンが繰り返し続くことが多いので、結合をより難しい問題にしています。
そこで、弊社はキーポイント抽出と3次元点群特徴量に基づくアプローチをとりました。トンネルの中でも“際立った”点を見つけ、その点における3次元点群特徴量を計算します。
異物除去済みの点群データ
赤：抽出されたキーポイント
2つの点群データに対し、それぞれのキーポイント同士の特徴量に基づいて対応点を割り出し、RANSACと呼ばれるアルゴリズムで結合の変換を計算します。
2つのデータの結合の様子
青とオレンジはそれぞれ別の点群データ
これを繰り返し適用していくことで、トンネル全体のデータが得られます。
複数データの結合結果
結合によって得られた点群データから、3Dモデルの作成などを行うこともできます。
近年、BIM / CIM (Building / Construction Information Modeling)と呼ばれる取り組みが次第に重要性を増してきています。これはインフラの3Dモデルを作成し、 積極的な情報共有を行うことでインフラのメンテナンスの高品質化を目指すというものです。
ここで紹介した点群ソリューションはそれらの需要に対し様々なサービスを提供することができます。
点群展開画像と欠損情報
レーザースキャナによって測定された点群データは、距離によってその密度が異なり、トンネルなどでは中心から離れるほど「スカスカ」になってしまいます。
したがってこの測定データを二次元の画像として展開すると、画像の端に近づくほど欠損が増えていきます。この欠損情報を補完する手法として圧縮センシングと呼ばれるアルゴリズムを採用しました。
圧縮センシングによる画像再構成
圧縮センシングは欠損情報を含む信号を再構成する手法で、MRIを筆頭に医療、宇宙物理学、石油探査等々種々の分野で用いられています。
欠損情報を持つ点群展開画像にこのアルゴリズムを適用することにより、スキャナから離れた場所も鮮明な画像にすることができます。
圧縮センシングにより再構成された画像は可読性が上がり、またAIを用いた診断においても成績を改善させることが期待できます。
画像の結合
2画像の再構成はただ見やすい画像を作るだけではなく、既存の画像処理の手法との相性を良くすることもできます。これにより、パノラマ作成の手法を適用して画像を結合させ、連続した展開図を作成することができました。
展開図の作成業務の効率化
トンネル点検の一環として、CADを用いて展開図を作成しひび割れや剥離など、トンネルの様々な状態をそこに書き込むという業務が存在します。
変状展開図と呼ばれるトンネルの状態を記録した図面
応用地質株式会社様の現在の取り組みとして、従来は目視で紙面に書き込むことで行われてきた展開図の作成過程を、レーザースキャナによる点群データを用いることでより効率的に行うことを目指す、といったものがあります。
そこで、弊社からは点群の展開画像を入力として深層学習と画像処理の技術を用いたCADの自動生成ソリューションを提供いたしました。
深層学習によるチョークの抽出
チョーク抽出にはSemantic Segmentationと呼ばれる手法を採用することにしました。これは、入力画像の各ピクセルごとに分類を行う方法で、今回はチョークとそれ以外を分類します。 しかしながら、ピクセル単位での正確なラベル付けは非常に難しい作業であり、コストも膨大になってしまうため、 あえてラベルを“粗視化”することにより誤りラベルに対する頑強性を高めました。
入力画像
人手により作成されたラベルと元画像
粗視化されたラベル
ニューラルネットワークの構造はオーソドックスにU-NetやSegNetに代表されるFCN( Fully Convolutional Networks )と呼ばれるアーキテクチャを採用しました。 FCNは実績を持つアーキテクチャであり、今回のタスクにおいても非常に高い成績を達成いたしました。
FCNによるエンコーダー・デコーダ形式のアーキテクチャ
正解ラベル
予測ラベル
ベクター化とCADデータ（DXF形式）
FCNの出力は0～1をとる二次元の配列、すなわちグレースケールの画像であり、これを実務に活かすためにはCADデータ（DXF形式）に変換する必要があります。
弊社では、画像処理の手法と数理的なアルゴリズムを組み合わせることで、グレースケール画像のベクター化、およびCAD化に成功いたしました。
DXF形式に変換された出力ラベルはCADで読み込むことが可能なので、業務フローへの自然な組み込みが可能です。
全体のベクターグラフ
CADでの表示
点群からのBIM / CIM用のモデル生成
得られた点群データからテクスチャとひび割れを抽出することが可能になったので、これら技術を組み合わせることで点群データから直接BIM/CIM用のトンネルモデルの作成が出来るようになりました。