2016/04/19

prompt 3D mapping of the earthquake-triggered lansdlide in Minami-Aso, Kumamoto, Japan

(photos taken by GSI)

The series of earthquakes in Kumamoto (western Japan) in April 2016 triggered a large amount of landslides in the area around Mt. Aso.

"Crisis Mapping" on OpenStreetMap is one of the cases that people in areas away from the earthquake-affected area can contribute to enrich the geographical information shown on online maps.
http://tasks.hotosm.org/?sort_by=priority&direction=asc&search=kumamoto
http://crisismappers.jp/about.html

If with the technique of SfM-MVS (Structure-from-Motion Multi-View Stereo) photogrammetry, one can contribute to visualize geographical information in specific areas with more details, in 3 dimensions.

Here is an example of the landslide occurred near the former Aso Bridge (which was destroyed away) in Minami-Aso region. Among else, this landslide was the largest and most distinct one related to the earthquakes.

Soon after the landslide was triggered by the midnight earthquake, many organizations began to obtain the aerial videos and images to be distributed online.

As a prompt trial, I used a newscast video taken from a manned helicopter. The original video by Fuji News Network is found at: http://headlines.yahoo.co.jp/videonews/fnn?a=20160416-00000923-fnn-soci

Although the resolution, sharpness and locational accuracy were not so high, this prompt result was good enough to help understanding the positional details of the landslide.

3D model generated from the newscast video

(texture of the 3D model can be changed)

2-dimensional geographic information
Orthorectified photograph, hillshade image and topographic contour lines (with 100-m grid, north-up)

# Below is a previous trial when a gigantic landslide occurred in Afghanistan in 2014; at that time only still images were available.
北東アフガニスタンの斜面崩壊:報道写真からの3Dデータ作成 / 3D data construction of the landslide in northeastern Afghanistan from reported photographs

Then, using aerial images (oblique views) taken from a manned aircraft operated by GSI (Geospatial Authority of Japan), a 3D model and 2D map information were generated.
The images used are also shown at the top of this article.
Because the images had their positional information probably by camera-mounted GPS/GNSS receiver, the georeferencing of the 3D model was readily performed (however some errors may remain). The quality of the 3d model (resolution etc) was actually much better than that from the prompt newscast video.

3D model generated from the aerial oblique images


The 3D model exported to a KML file enables to compare the conditions before and after the earthquake on Google Earth.


2D geographic information 
Orthorectified photograph, hillshade image and topographic contours with 100-m grid.
Detailed morphological features can be recognized. 


A zoom-up view (orthomosaic image and topographic contours):


Furthermore, using a video taken by an unmanned aerial vehicle (UAV, namely Drone) provided by GSI, more precise 3D model was generated.
Although the data is a video (not still images), the resolution of the images taken from the lower height is high enough to reconstruct the detailed features of the landslide. When we watch a video taken by a UAV, we may be able to recognize the detailed information of the objects in the video, but further information can be obtained if the images are projected onto a geographic space, i.e., the images are appropriately "mapped". Particularly, mapping of such information enables to find the changes of landscapes or landforms by comparing with existing map data. Here I put 6 GCPs (ground control points), whose geographical coordinates (XYZ) were obtained from an online map GSI Maps to refine georeference results. However some errors (several to tens of meters) may remain in the model - to correct this, it would be necessary to put more accurate coordinates of the GCPs.

Original video taken by UAV
provided by GSI
http://www.gsi.go.jp/BOUSAI/H27-kumamoto-earthquake-index.html

3D model generated from aerial video by UAV

Note that the area of coverage of images/videos by a UAV is limited due to some reasons (ability of flight, legal restrictions) compared to a manned aircraft. The UAV-derived model above actually lacks data in surrounding areas of the landslide.

Then the data by manned and unmanned aircrafts are merged to create a more complete model of the landslide and surroundings. A wide area can be covered by the images from high-altitude manned aircraft, while more detailed shape can be obtained by the pictures from low-altitude UAV. The 3D data is shown online as a point cloud. The point cloud was first generated using SfM software PhotoScan (Agisoft), and then it was tiled and optimized to be shown online by using "laspublish" function in LAStools (rapidlasso).

3D point cloud of the landslide obtained by both manned and unmanned aircrafts
http://www.csis.u-tokyo.ac.jp/~hayakawa/pointclouds/160416_aso_bridge_landslide_gsi/sfm_airphotos.html
RGB color

Color-coded by elevation

The WebGL system, "potree", also enables to perform some basic measurements of the point cloud, including calculation of distance, angle, area and volume, as well as extraction of swath profiles. Such functions are found in the left-side pane of the browser.

An example of longitudinal profile extraction

In addition, one can download the original point cloud data in LAZ format. Geographic projection is Japan Plane Rectangle CS II (JGD 2000 Datum). One may use free software such as LAStools (lasview function), CloudCompare and QuickTerrainReader (free version).

download by clicking "D"


Using such the three-dimensional data, further observation and analyses would become possible to obtain further insights into the landslide phenomena. For instance, one may think about the landslide damming of the river and following outburst flood, which could have caused further erosion and landslides on the valley-side slopes downstream, from differing points of view in the 3D data.


阿蘇大橋を流した斜面崩壊:速報的リモート3次元計測

(国土地理院撮影)

熊本の一連の地震活動により、阿蘇地域においても多数の斜面崩壊が発生した。
発災後すぐに、状況を把握するために、遠方にいる者ができることとして、地図づくりがある。

一つはOpenStreetMapというオンライン地図に情報を書き込んでいくというものである。クライシスマッピングと呼ばれている。
http://tasks.hotosm.org/?sort_by=priority&direction=asc&search=kumamoto
http://crisismappers.jp/about.html
インターネットに接続されていれば、「だれでも」「どこでも」作業ができるため、参加の敷居も低い。
基本的には、2次元の情報を地図に集約するというものである。

一方、3次元的により細かな情報を可視化することもできる。
SfM多視点写真測量という技術を用いて、報道された動画や画像から、3Dモデルや2次元地図画像を生成することが可能だ。

以下には、阿蘇大橋の付近(南阿蘇村立野)で生じた斜面崩壊について紹介する。
今回の地震にともなう斜面崩壊は、実際はここだけでなく、各所多数生じている。
これはその中でもとくに規模の大きい崩壊であった。

斜面崩壊の発生後、各組織が有人機により撮影した空中写真や動画を、オンラインで提供し始めた。

そのうち、速報的な報道映像からの3Dモデル生成をまずは試みた。
FNN http://headlines.yahoo.co.jp/videonews/fnn?a=20160416-00000923-fnn-soci
解像度、鮮明度や位置精度は低いが、速報的な意味では「どこがどう崩れたか」といった理解を助けるものにはなった。

報道映像から生成した3Dモデル

(テクスチャ表示も変更可能)

2次元情報(地図)
オルソ補正画像(正射投影)、地形陰影図、等高線の表示(1グリッド=100 m)

※以前、アフガニスタンで大規模な斜面崩壊が起きた際も似たようなことを行った。この時は動画はなく、静止画のみが利用可能だった。
北東アフガニスタンの斜面崩壊:報道写真からの3Dデータ作成 / 3D data construction of the landslide in northeastern Afghanistan from reported photographs

次に、国土地理院から提供された斜め空中写真を用いて、3Dモデルと2次元地図情報の生成を試行した。
使用した画像は、このページの最上部に示したものだ。
写真画像に撮影位置情報が含まれていたので、位置合わせは容易だった(ただしその撮影位置にも誤差があるため、結果としてモデルの位置精度もそれに依存する)。
生成されたモデルも、静止画を利用していることもあり、報道映像から切り出した画像よりずっと高精細に再現できている。

斜め空中写真から生成した3Dモデル


これをKMLにエクスポートし、Google Earth 上で表示することで、崩壊前後の簡便な比較ができる。


2次元情報(地図)
オルソ補正画像(正射投影)、地形陰影図、等高線の表示(1グリッド=100 m)
報道映像からのものよりも、より精細に地形が表現されている。



拡大図


さらに、国土地理院が撮影した小型UAV(無人航空機、通称ドローン)による動画からのモデル生成を行った。
有人機よりも低空で撮影されているので、より高解像度に現況を見ることができる。動画だけでももちろん充分に分かりやすいのだが、それを地理空間に投影する、つまり地図化すると、その前の状況との比較も可能となり、さらに理解を深める助けとなろう。
なお、ここではGCP(地上制御点)を6個ほど設置し、地理院地図からその地理座標(XYZ)を得て、できる限りの位置補正は行った。ただし、地理院地図からの座標値取得でも誤差は避けられないので、数メートルから十数メートルの位置誤差は仕方ない範囲となる。

元の動画(UAVによる撮影)
http://www.gsi.go.jp/BOUSAI/H27-kumamoto-earthquake-index.html

UAV動画から生成した3Dモデル

ただし、UAVによる撮影はその飛行能力等の制限から、有人機によるより高高度からの撮影と比べると、カバーできる範囲が限られてしまう。上のUAVによるモデルでも、崩壊面の周囲はデータの欠落が多い。
そこで、有人機によるデータと無人機(UAV)によるデータを合成し、広範囲をカバーしつつ、部分的により高解像度な情報を見ることができるような3次元データを作成した。
これは、点群データとしてオンライン表示できるようにしてある。

有人機による斜め空中写真とUAVによる低空動画から生成された合成3Dモデル
http://www.csis.u-tokyo.ac.jp/~hayakawa/pointclouds/160416_aso_bridge_landslide_gsi/sfm_airphotos.html
カラー表示

標高による色分け表示

ここで使用している点群データ表示システム(potree)では、ウェブブラウザ上で距離、角度、断面、体積といった簡易計測が可能だ。
画面左上のボタンを押すと、画面左側にメニューが表示される。
(点の色わけや、影をつける、点の形を変えるといったことも可能)
使用説明(日本語)(阿南測量設計提供)も参考に、いろいろと試してみると良いかもしれない。

縦断面表示の例

加えて、ここでは点群データそのものもダウンロード可能としている。
平面直角II系(JGD2000)に投影されたLAZ(点群データの汎用的なファイルフォーマットの一つ)データとしてダウンロードできるので、点群データのヴューアソフト(たとえばLAStools (lasview)、CloudCompareQuickTerrainReader(フリー版)など)でローカル環境で表示、分析も可能だ(ただし位置座標には誤差が含まれる)。

「D」ボタンでダウンロード


こうした3次元データを利用して、いろいろな観察や考察を深めることもできる。
たとえば、この斜面崩壊に関連する河道閉塞(河川のせき止め)とその決壊洪水や、それに伴う副次的崩壊の特徴など、動画や画像だけではわかりにくいものが、視点を変えて覗き込むと、鮮明に見えてくるのだ。