拡散モデルを用いたSAR画像のカラー化(再現)・超解像化
-
以下は、WorldView-3(35cm解像度)の衛星画像を4倍(約9cm)に超解像化した例です。駐車場の枠線が鮮明に再現されています。WorldView-3(35cm解像度)→超解像(4倍)以下はSentinel-2(10m)の衛星画像を4倍に超解像化したサンプルです。元画像では道路や建物のエッジが不明瞭ですが、 4倍に超解像化することでエッジが鮮明化されています。Sentinel-2 (10m解像度)Copernicus Sentinel Data超解像(×4)Sentinel-2 (10m解像度)Copernicus Sentinel Data超解像(×4)以下は、Sentinel-2(10m)の衛星画像、AIで生成した超解像画像(2.5m)とGround Truth(50cm)とを比較したものです。 25cmや50cm解像度の画像と比較すると小さな地物は確実には再現できていませんが、街並みや道路などはほぼ再現できていることが分かります。 時点の違いますので造成地など大規模な地物に違いがある場合があります。以下はGRUS(グルース)という国産の超小型衛星の地上分解能2.5mの画像を超解像化したサンプルです。 画像は有償ですが価格も比較的安価で今度の普及が見込まれます。 2.5mの解像度ですが、全体的にぼやけた感じがありますので、なんらかの画像処理を施す必要があるように思えます。 そこで超解像化を行うことによりより鮮明・高精細な画像になります。GRUS(2.5m解像度)©Axelspace超解像(×4)GRUS(2.5m解像度)©Axelspace超解像(×4)以下は、GRUS(2.5m)の衛星画像、AIが生成した超解像画像(約60cm)とGround Truth(25cm)とを比較したものです。 趙解像画像には若干のハルシネーションはあるものの、Ground Truthと比較してほぼ違和感なく生成されていることが分かります。 Ground Truthとしていますが比較画像と時点や季節などが違いますので参考程度にご覧いただければと思います。◆Youtubeのオービタルネットチャンネルより
(画像生成AIを用いた衛星画像・空中写真画像の超解像化ソリューション)
拡散モデル(Diffusion Model)を用いた衛星画像の超解像
オービタルネットでは画像生成AI(拡散モデル)を用いた衛星画像の超解像化に取り組んでいます。
衛星画像を超解像化した際のハルシネーション*1を抑えるための試行錯誤を繰り返しながら今に至っています。
空中写真よりも安価で且つ広域を短期間で撮影できることのメリットを活かしながら鮮明な画像を生成して
目視判読やマッピングが可能なレベルまで精度向上させることを目指しています。
衛星画像にもさまざまな種類・画像分解能がありますが、当社ではSentinel-2(10m)、GRUS(2.5m)、WorldView-2(50cm)(何れもTrue Color)など様々な分解能の衛星画像をターゲットとしています。
例えば、Sentinel-2の衛星画像では住宅街の道路は目視では判読できませんが、超解像化により住宅街の道路は街並みなどの状況から見事に復元されています。
また、10m未満の建物も本来復元できませんが、元画像と学習した結果によって建物などを推測して街並みを再現しています。
GRUSの衛星画像は、建物・道路などの地物が再現できるようになります。
WorldView-2,3の衛星画像は、超解像化によってAIによる建物・道路のマッピングが可能になります。*2
WorldView-2の超解像においては実業務(PoCレベルではない)での実績が複数あります。
GRUSの衛星画像は、建物・道路などの地物が再現できるようになります。
WorldView-2,3の衛星画像は、超解像化によってAIによる建物・道路のマッピングが可能になります。
WorldView-2の超解像においては実業務(PoCレベルではない)での実績が複数あります。
*1 人工知能(AI)が事実に基づかない誤った情報を生成する現象
*2 雲・雲影、ヘイズなどによる画質の劣化、オフナディア角による建物の傾きなどの影響を受けていない場合
建物セグメンテーション画像から正規化した建物ポリゴンの生成
-
セメンティック・セグメンテーションによって抽出した道路エリア(ポリゴン化)
取得元の空中写真にオーバーレイ表示道路中心線の生成
Transformerを用いた道路エリアの抽出及び道路中心線生成
Transformerを用いて、空中写真からセメンティック・セグメンテーションにより道路エリアを抽出した例です。 建物よりも低解像の空中写真(50㎝解像度)から高精度で抽出できることが特徴です。また、道路ポリゴンから道路中心線を生成することも可能です。 しかし、道路や鉄道、歩道橋などによってブラインドになる部分は正しく抽出できない(していない)ため正確な道路ネットワーク情報を取得することはできませんが、 最新の画像を使用することによって差分により最新の道路エリアを取得することが可能です。
-
駐車場(衛星画像:50㎝解像度)
ソーラーパネル(衛星画像:50㎝解像度)道路中心線(衛星画像:50㎝解像度)
Transformerを用いた衛星画像のAI判読
ChatGPTをはじめとするLLM(大規模言語モデル)の生成AIは私たちの生活に浸透し、様々なビジネスにおいてもパラダイムシフトが起き始めています。 その生成AIの核となっているのは『Transformer』というネットワークモデルです。 自然言語処理に限らず、画像解析の分野においても『Transformer』を使ったAIが競うように登場し、日進月歩の勢いで技術革新が起こっています。 オービタルネットのこの潮流に乗って衛星画像・空中写真画像の地物抽出に『Transformer』を使用したAIシステムを構築しました。 従来のCNN(畳み込み)技術と比較して、地物検出及びセグメンテーションの精度向上を図ることができました。