はじめに

本調査は、製造業におけるデジタルツイン技術の活用に焦点を当て、特に点群データの利用に注目しています。製造業は、今後も持続的な需要が予測される分野であり、デジタルツインはその中でも特に革新的な技術として注目されています。

具体的には、製品の画像を複数スキャンして点群データを生成します。点群データは、空間内の点の座標データの集合体であり、各点が(x, y, z)の座標値によって位置情報を持ちます。この点群データを活用して、製品の3Dモデルを構築します。

さらに、この3Dモデルをデジタルツインとして利用し、製品の部品が適切に結合されているか、また部品間の干渉が生じた場合の影響をシミュレーションします。これにより、製造プロセスの最適化や製品品質の向上が期待されます。

※）本投稿は2023年6月27日に社内で開催された今年3回目となるライトニングトーク（ALT)のプログラム②として発表した内容をベースにしております。

点群データとは

点群データ（Point Cloud Data）は、3次元空間内の点の集まりを表すデータです。これは、各点がX, Y, Zの座標を持っており、これによって空間内の位置が特定されます。

例えば、建物、地形、機械部品などの3Dモデルを作成する際に、リアルタイムで高精度な点群データを収集して、それらの物体の形状と寸法を把握することができます。これは、建築、製造、ゲーム開発、ロボティクス、自動運転車など、多くの分野で非常に有用です。
（出典はこちらからどうぞ）

何故点群データを扱うのか？

点群データを取り扱う理由は、将来的に工場での活用が見込まれるためです。工場では製品の形状や構造を正確に把握することが重要で、点群データはこれを効率良く行うための強力なツールです。また、工場内の測量にも活用でき、設備の配置や動きを最適化するのに役立ちます。これらの用途は、生産効率や品質の向上に寄与するため、点群データには大きな需要があると考えられます。

点群データの活用事例

点群データを用いることで、画像データから製品の構造を判別し、物体同士の干渉状況を確認することが可能です。

参考情報はこちらからどうぞ。

３Dデータ生成までのプロセス

3Dデータ生成において、SfM（Structure From Motion）とMVS（Multi-View Stereo）は非常に重要なプロセスです。

SfMは、動くカメラからの画像を使用して、三次元構造を抽出するテクニックです。例として、ドローンによる空撮写真が挙げられます。SfMは、撮影された画像の中の特徴点を追跡し、これらの特徴点の動きからカメラの位置と姿勢、および特徴点の3D座標を推定します。これにより、低密度の三次元点群データが生成されます。この「低密度」は、点の間隔が比較的広く、細かいディテールが欠けていることを意味します。

一方で、MVSは、複数の視点からの画像を使用して、物体の三次元形状を高精度で再構築する方法です。MVSは、SfMで生成された低密度の点群データを基に、画像間でのピクセルの対応関係を解析し、高密度の点群データを生成します。この「高密度」は、点の間隔が非常に狭く、細かなディテールが捉えられることを意味します。

これらのプロセスは連携して動作し、SfMが粗い3D構造を提供し、その後MVSがそれを詳細化する役割を果たします。これにより、精密な3Dモデルの生成が可能となり、例えば建築物の3Dモデリングや環境マッピングなど、多岐にわたる分野で利用されています。

出典はこちらから確認できます。

３Dデータ生成ソフトウェア

今回の3Dデータ生成において使用したソフトウェアは「Metashape」です。Metashapeは、写真から高品質な3Dモデルを生成するためのプロフェッショナルなツールです。SfM（Structure From Motion）とMVS（Multi-View Stereo）のテクニックを活用して、点群データから詳細な3Dモデルを構築します。これは、建築、地質調査、ゲーム開発、等の分野で広く利用されています。
Metashapeの公式サイトはこちらからどうぞ。

Metashapeを使ってみた。

1. 撮影
   様々な角度から７０枚の写真を生成した。
2. SfMで低密度点群データを作成した。
3. MVSで高密度点群データを作成した。

これらのデータの用途は？

1. 点群データを使用して、オブジェクトのA位置からB位置への移動距離を精密に計測できます。これは、ロボティクスや自動運転車のナビゲーションなどに非常に役立ちます。
2. 点群データを分析することで、建物や構造物の傷や破損を早期に発見することができます。これは、メンテナンスコストを削減し、安全性を向上させるために重要です。
3. 点群データを活用して、少ない画像データからも3Dモデルを生成することができます。これにより、リソースの制約がある場合でも、高品質な3Dモデリングが可能となります。

これから取り組みたいこと

今後の取り組みについては３ステップでチャレンジしていきたい。

1. 高精度3Dモデルの効率的な生成:
   少ない画像データを使用しながら、高精度の3Dモデルを効率良く生成することが第一のステップです。
   これは、データの収集を最適化し、品質を保ちながら3Dモデリングを可能にするための基盤を築くことを意味します。
2. 複雑な構造物の3Dモデリング:
   次に、モデリングの範囲を広げ、シンプルな構造物から複雑な構造物までを含む多様な対象に対して3Dモデルを作成することを目指します。
   これにより、3Dモデリング技術が幅広い分野で応用される道が開かれます。
3. 点群データ生成手法の最適化:
   最後に、点群データの生成プロセスを効率化し、3Dモデリングの品質をさらに向上させる手法を探求します。
   具体的には、まず、3Dモデルの品質を確保するための手法を確立し、次に少ない画像データでも高精度なモデリングを実現するための新しいアプローチを模索します。

マスク処理に注目

より少ない画像でより高精度の３Dデータが生成できるかに関する対策としてマスク処理があります。チャレンジングなテーマですが、引き続きこの目標達成に向けて検討を進めていきます。

 

アーパボー