ついに、RealityCaptureが無料で利用できるようになりました。バージョンは新しい1.4です。
バージョンが1.4になり、100万ドル（日本円で約1.5億円）の年間収益（annual gross revenue）に満たない企業、個人、学生などすべて無料でRealityCaptureを使用することができます。
この戦略はいいですね、一気にRealityCaptureのシェアが広がる気がします。
測量分野ではMetashapeが独自路線で機能面でも強いですが、このRealityCapture無料化に合わせてMetashapeも安くなってくれるといいなと・・・
今回、RealityCapture 1.4 のインストールを行い、さらにヘルプを見ながら最小限の手順で、カメラのアラインメント・モデル構築・テクスチャ構築までやってみたところ、なかなかいい感じで処理ができましたのでメモします。
初めてやってみる方には参考になるかと思います。
RealityCapture 1.4のインストール
インストールは以下の手順で行います。
STEP 1：launcherをまずダウンロードしてインストールする
STEP 2：launcherからEpic Gamesのアカウントを新規作成する
STEP 3：launcherからRealityCaptureをインストールする。「Unreal Engine」セクションの「RealityCapture」タブからインストールボタンで行う。
STEP 1：launcherのダウンロード・インストール
まず、launcherを上記の「Download launcher」からダウンロード・インストールします。
STEP 2：Epic Gamesのアカウントを作成
Epic Gamesのアカウントを作成します。
STEP 3：launcerからRealityCaptureをインストール
登録が完了すると、以下のようなlauncherが表示されます。なんだかSteamと同じようにゲームのランチャー画面です。
この左側にある「Unreal Engine」タブをクリックします。
すると、上に「RealityCapture」タブが見えました。これをクリックします。
「インストール」ボタンが出てきました。ここからインストールを進めます。
「RealityCapture価格オプション」が表示され、日本語で無料の条件などが表示されます。
RealityCaptureは、年間収益が100万米ドル未満の企業であれば無料でご利用いただけます。また、教育目的の使用や学校での使用も無料です。
組織の年間収益が100万米ドルを超える場合は、RealityCapture、またはUnrealサブスクリプション(Unreal Engine、RealityCapture、Twinmotionを含む)のいずれかのシート購入が必須となります。
ロシアまたはベラルーシに所在、組織、または通常居住しているユーザーは、RealityCaptureのライセンスをご利用いただけません。
ロシアとベラルーシに住んでいると使えないんですね。。このあたり、Metashape（ロシア）とのライバル関係があるからなのか、ウクライナの戦争があるからなのか・・・
とにかく承諾し、ライセンスに同意し、インストール場所を決めるとインストールが始まります。
インストールが終わると、
起動ボタンが現れました。起動します。
Epic Gamesアカウントを使って、RealityCaptureのライセンス認証をするようです。「許可する」をクリックすることで認証が行われます。
そしてRealityCaptureが起動しました！
Let's Get Startedから使ってみる
まずはLet's Get Startedから見てみます。その前に上の英語の説明文を読んで見ると、やはりMetashapeとは違い測量というより「state-of-the-art photogrammetry software」なんですね。
読解に時間はかかるかもしれませんが「Let's Get Started」（ヘルプページ）からまじめに見ながらやるのがよさそうです。
Add Images：写真を追加する
写真やレーザースキャンを使ってもいいし、用意されているデータを使ってもできます、と書いてあります。
とりあえず、最近上野の国立科学博物館の恐竜フロアで撮ってきた画像を投入してみます。
（上野の科博に朝一で行き、まだお客さんがほとんどいない状態でサイレント、ノンフラッシュで撮りました。
なお、三脚や自撮り棒なども禁止となっているので、手を伸ばして撮れる高さと腰より下あたりの高さなどを組み合わせてとりあえずたくさん撮ったのみなので、情報量としては非常に限られるものです。
科博内部での写真撮影は許可されていますが、他の見学者の方を考えて以下のようなルールがあるので、これを守るのが大事です。）
かはくカメラ部のXより
・WORKFLOW ＞1. Add imagery ＞ Inputsボタン で写真をまとめて追加します。（ショートカットは Ctrl + Enter）
フォルダごと追加するならFloderボタンからでもOKだし（ショートカットは Ctrl + Shift + Enter） 、
ドラッグアンドドロップでも追加できます。
Find Your Images：追加した写真を見る
Align Images：写真をアラインメントする
ALIGNMENT ＞Registration ＞ Align Images をクリックすると、アラインメントが始まります。
いきなり600枚ほどをやってしまったのですが、5分ほどで終わりました。
Components and Sparse Point Cloud：コンポーネントと粗い点群の確認
RealityCaptureでは「コンポーネント」という用語があり、SCENE 3D > VIEW > Source > Component から切り替えができます。
いきなり600枚ほどでやってしまったので、私の場合コンポーネントが6つにわかれました。
今後はコンポーネントをうまく繋げる方法などを学んでいく必要がありそうです。
カメラで撮影した位置と方向が線で表示されているのが分かります。
3D画面でのマウスを使った移動の仕方は、ざっくり
・移動：左右同時にクリックしながら
・ズーム：マウスホイール
・回転：右クリックしながら
です。左クリックしながらドラッグするのは「move the view along the scene grid.」とのことでグリッドに沿って移動するようですが、まだ3D空間上の位置が定まっていないので使えません。
ここまで進むと、ヘルプ上でも「セーブしましょう」と出てくるので、Ctrl + Sで現在の状況を保存します。
次は地面をきちんと定義するようです。
ここからは、一番メインのティラノサウルスが入っている Component 5 だけを使ってモデル構築などを試してみます。
Set Ground Plane：地面の設定
3D空間なので、まず地面がどこなのか設定します。
SCENE 3D > TOOLS > Set Ground Plane をクリックします。
輪っかが出てきます（ground plane widget toolと呼ぶようです）
マウスを右クリックして回転させながら、向きを整えたらもう一度「Set Ground Plane」をクリックして完了させます。
輪っかの線にマウスオーバーさせると、その軸だけ回転させることができます。
次に、四角い箱がなんとなく気になりますが、ヘルプでも「Adjust the reconstruction region」とあり、次のヘルプに進みます。
Adjust Reconstruction Region：再構築エリアの調整
Reconstruction Regionという範囲を指定します。（Metashapeでいえば領域を移動・リサイズ・回転する作業）
先ほどと同じ、SCENE 3D > TOOLS > Set Reconstruction Region もしくは、 SCENE 3D > MESH MODEL > Pre-steps (Optional) > Set Reconstruction Region で設定できます。
箱の外側をドラッグして大きさを変えたり、真ん中の軸を使って回転させて微調整する作業です。
Escキーを押すと終了できました。ただ、一度設定しても再度ボタンを押すと最初からやり直しになります。調整を繰り返す方法がパッとわかりませんでした。
次はいよいよモデルを構築していきます。
Compute a Model：モデル構築処理
モデル作成の準備ができたので、いよいよモデルを作ってみます。
モデルの品質には3種類あるようです。
- Normal Detail：通常はこれ
- Preview：低品質、早くプレビューしたいときはこれ
- High Detail：高品質、時間はかかるが最も品質が高い
まずはNormal Detailでやってみました。12分ほどで処理が終わり、
モデルができました。なんとなく、とりあえずできています。
下から見上げる形でたくさん撮った部分はなかなかディテイルも出ている。←ココ重要
そして背中や頭の上側は、当然情報がないのでそれなりです。
Normalで12分ほどで完了したので、Highでもやってみました。
↑がNormal、↓がHigh あまり違いはありませんので、Normalでよさそうです。
これを実際の写真と比べると、
やはり本物を再現するには情報が少なすぎました。が、大体の形は再現できました。
次は、Inspect your modelということで、出来上がったモデルの情報の確認方法がヘルプでは解説されていました。
次は、Apply color and textures to your modelで、テクスチャを構築します。
Colorize Your Model：モデルに色を付ける
次がいよいよ、出来上がったモデルのメッシュ（ポリゴン）にテクスチャを構築する作業です。
これで見た目がガラッと変わる（はず）です。
RealityCaptureでは、「Colorize」と「Texture」の2種類があるようですが、一般的には「Texture」が用いられます、とのこと。
ということで、SCENE 3D > MESH MODEL > Mesh Color & Texture > Texture を選択すると、
テクスチャの構築が始まり、4分ほどで・・・
できました！
やはりテクスチャがつくとかなりリアルな質感が出てきます。
情報量が少ないですが、それでもこれだけのものが作れるのが分かりました。
ここをAvater 2 でまんべんなく撮ってフォトグラメトリーやりたいなぁ・・・