最先端のテクノロジーを社会の幸福につなげる―。２０１８年３月１１日、私たちは東日本大震災の特集番組のなかで、このような前例のない試みを行いました。
▽「震災で失われた建物をＡＲで再建、歩いて中を見て回ることを可能に」
▽「生放送で感動を届けるため、おそらく世界初の“スーパーＡＲカメラ”を開発」
▽「ＮＨＫ、山田町の市民、多くのエンジニアが力を合わせるプロジェクト」
＜３月１１日、岩手・山田町の方々がＡＲゴーグルをかぶり、ＣＧで再建された駅のなかへ入った＞
さらに４月、５月には関連イベントを開いて、放送以外の形でも貴重な成果を社会還元させる取り組みも行っています。
▽「記憶を未来に伝えるＡＲ、その調査研究」
▽「一連のプロジェクトで培われたノウハウを公開するコミュニティ・イベントの実施」
 |
 |
 |
 |
この原稿では、企画の立ち上げから番組制作まで携わってきた立花達史エグゼグティブ・プロデューサーが、プロジェクトの概要を紹介します。
NHK and we NEP used AR technology to “revive” a train station lost in 3.11 Tsunami, providing fantastic moments to the local people, who bear in mind the panorama of the days before the Great Earthquake of 2011. They also engaged themselves in a project using computers to make a model of the lost place.
NHK broadcasted it in a live TV program, which was almost certainly the first time in the world to share AR experiences simultaneously between a lot of TV viewers and people who put on hololens. We named our newly-developed equipment “super AR camera system”, which can produce AR images in real time, synchronized in terms of both time and space with the images shown by hololenses.
＜リンク集＞
●番組のダイジェスト動画
https://www.nhk.or.jp/ten5/articles/17/002994.html
●「スーパーARカメラ」の技術詳細
５月に開かれた技術コミュニティイベント「Tokyo Hololens Meetup 特別編」
https://hololens.connpass.com/event/86546/
月刊誌「放送技術」 ２０１８年４月号の掲載論文“3.11 震災前の陸中山田駅を再現する屋外AR生中継の取り組み”（NHK放送技術局 川上健一副部長ほか）
●４月に山田町で開催した体験会の様子
http://yamada-kankou.sblo.jp/article/183051312.html
７年目の３月１１日 現地からの生放送
この写真は生放送の一コマです。列車が駅に向かって滑り込んできます。これは、２０１８年の現実の風景の上に、震災前にあった駅と列車をＣＧにして重ね合わせたものです。
もしＣＧが無ければ、現実にはこんな光景が広がっていて、本物の線路はありますが、駅や列車の姿はありません。
これがＡＲ（拡張現実）テクノロジーの威力です。
２０１８年３月１１日夕方、この番組は、再建工事の途上にある旧ＪＲ陸中山田駅（岩手県山田町）の近くに“仮設ホーム”を設営して、そこから生中継でお届けしました。
実際の番組の様子を少しお伝えしましょう。温かい日差しが降り注いでいた７年目のこの日。町民の方々がＡＲゴーグルをかぶると、目の前に、もう二度と見ることができなかったはずの昔の駅舎が出現しました。
以前ここにあった実物と同じ大きさ、同じ姿の駅舎です。駅前の自動販売機やタクシーも再現されています。しかも、ＡＲゴーグルを掛けたまま歩いていけば、待合室のなかに入ることもできます。
時刻表やポスター、床の汚れ、細部まで気をつけて再現された待合室です。
かつてこの駅は、釜石や宮古に通学する高校生たちで毎朝いっぱいでした。ホームのどこに誰が立ち、どの車両のどの座席に座るか、どの吊り革をつかむかまで定位置が決まるほど駅が生活に溶け込んでいました。山田町の住民は誰もが、その青春列車のなかで、友情、恋愛、夢をはぐくんできました。
失われた光景と懐かしい記憶が蘇ったひととき。ＡＲを体験した出演者の皆さんの表情には温かい笑みがこぼれていました。
この様子はリアルタイムに全国へ生放送されていました。視聴者の皆さんからメッセージが次々に仙台局のスタジオに寄せられました。「感動で心が温まった」「こんなテクノロジーの使い方こそ理想の姿だ」「とてもＮＨＫらしい取り組みでよかった」といった声が集まり、その感想も放送中に紹介されました。
さて、前例のないプロジェクトに取り組んできた私たちの経験は、この原稿を読んでくださっているみなさんにもお役に立つことがあるかもしれません。想定するのはこんな関心です。
▽「ほかの地域でも住民参加型の同様の取り組みができないか」
▽「ARを活用した新しい形の震災アーカイブを作れないか」
▽「（震災に限らず）屋外でARを活用する体験イベントを開きたい」
岩手県・山田町とは
山田町は三陸の海に面した人口１万６千の町です。
波の穏やかな山田湾に養殖用のいかだが無数に浮かぶ様子が惚れ惚れするほど美しい土地で、最近はシーカヤックや湾内の無人島での自然体験なども人気を集めている観光スポットでもあります。海の幸、陸の幸にも恵まれたとてもよい土地なので、ぜひ足を運んでみて下さい。
大震災で山田町は８００名を超える犠牲者と行方不明者を出しました。町の中心部を襲った大津波と３日間続いた大火災のせいで、たくさんの人がつらい時間を過ごしました。
かつて町の中心部にあったのが、ＪＲ山田線の陸中山田駅です。山田線の踏切や列車の音は、町のみなさんにとって時計代わりでした。上下線で一日２０本のローカル線。朝一番の列車が来れば時刻はちょうど６時、夕方の列車が来れば間もなく１６時半だという具合に、鉄道の音が生活のリズムに染み込んでいました。
＜震災前の旧・陸中山田駅＞
駅は震災で犠牲者こそ出ませんでしたが、建物が完全に焼失した上、線路設備なども激しく被災したことから、鉄道の運行は７年以上も休止したままです。（２０１９年３月に運行再開予定）
＜２０１８年の山田町中心部＞
町のみなさんと一緒に作る
今回の再現プロジェクトは、ＮＨＫと山田町役場が力を出し合って進める共同プロジェクトとして実現したものです。ＡＲで再現するという、前例のない雲をつかむような話を持ちかけたのは私たちＮＨＫ側です。２０１７年１０月のことです。
＜山田町 再建工事中の駅前ロータリー＞
私たちはそう簡単には話を受け入れてもらえないだろうと覚悟していたのですが、その予想は少し間違っていました。実は２０１６年にＡＲアプリゲームのポケモンＧｏが華々しく登場した時、「そのＡＲ技術を使って震災以前の町並みをＣＧにして更地の上に重ねて見られないか」と夢見る人が、震災で町を失った地域にいたのです。偶然、役場の担当者の方もその一人で、その出会いがなければ今回のプロジェクトは難しかったかもしれません。
その方は、まちづくり再生係長の沢田真央さんです。沢田さんから思ってもみない逆提案を受けました。子どもたちを巻き込んでこのプロジェクトを進めたい、というのです。長い間、町に住み続けてきた人たちに喜んでもらうだけでなく、これからの町を背負う世代にも意義のある取り組みにしましょう、と。それを聞いて、新しい光が差してきた気がしました。
＜５月の技術交流会より。山田町役場の沢田真央係長もリモート登壇＞
私たちも、このプロジェクトは多くの住民の方と一緒に進めたいと考えていました。そもそも駅を舞台に選んだのも、この駅が町のシンボル的な場所であり、町のみなさんがプロジェクトに関心を持ってくれるのでは、と期待したからです。事前取材していた町民の方からも「見られるものならあの駅をもう一度見たい」と聞いていました。
２０１７年１２月、沢田係長のアイデアを膨らませて、プロジェクトは小学生・中学生たちを巻き込む形で進めることにしました。周囲の大人に昔の駅がどんな場所だったのか聞き取りをしてもらい、再現に必要な資料を集めてもらうというやり方です。ＪＲにも話をした上で、プロジェクトが走り始めました。
＜プロジェクトに参加した子どもたちが活用した“自由研究”シート＞
このとき、学校の先生方からは子どもたちが抱えている事情を教えていただき、心理的な配慮が必要であることを私たちは学びました。（その言葉の端々から、被災地で教壇に立つ方々の並外れた優しさを受け取りました。ここで教育を受ける子どもたちのことが羨ましくなるほどでした）
失われた光景をどうやって３次元的に蘇らせるか
今回の再現プロジェクトは２つの工程が鍵を握っています。
▽「駅舎や列車の３次元データの制作」
▽「生放送でＡＲを表現する“スーパーＡＲカメラ”の開発」
３次元データ制作の手法について少し詳しく紹介します。駅を立体的に再現するには、当時の写真や資料が多数必要です。ここはＮＨＫの取材チームが最も心を砕いた部分です。まずは先ほど述べたように役場経由で呼びかけ、地元の子どもたちに材料を集めてもらうことにしました。写真のほかイラストも集めました。さらに鉄道ファンにも呼びかけをおこない、かつて陸中山田駅で乗降した際に撮影していた写真をWEB等で掲載されている方に提供をお願いしました。連絡がついた方はどの方も快く提供してくださいました。
＜寄せられた震災前の写真＞
それらの手がかりを元に、コンピューターの中で３次元的に建物を再現していきます。この重要な役割を今回担っていただいたのが、筑波大学の村上暁信研究室のメンバーです。村上研究室では以前から、被災地の景観をコンピューターで再現する研究に取り組んでいて、独自に編んでこられた手法が今回のプロジェクトにぴったりだと判断して、プロジェクトへの参加をお願いし、引き受けてもらいました。
村上研究室では２つのソフトウエアを組合せて使います。１つはＳｋｅｔｃｈｕｐという、建築設計の分野では学生からプロまで幅広く使われている定評あるソフトです（２０１８年現在はＷＥＢブラウザで使える無料版も存在しています）。
＜写真をじっくり見て手作業で駅舎を３次元で再現する（スケッチアップ画面）＞
手順はこうです。担当した筑波大の学生が、２次元の写真をじっくり見たうえで、柱や壁、窓などの３次元の形状とサイズを推測します（建築を学んだ方なら、こういう能力が身につくそうです）。コンピューターで自動処理、というわけにはいきません。写真は断片的にしか残っていないため、駅を再現するには情報が足りず、分からない部分は人間の想像力や常識で補うことが必要なのです。そうやってＳｋｅｔｃｈｕｐの画面のなかで柱や壁、天井を作って、駅舎の形を再現していきます。
さて、このＳｋｅｔｃｈｕｐというソフトは簡単な建物なら小学生でも作れるほど使いやすのですが、一つ残念なことに表示が設計向けになっていて、専門外の人が画面を見たときに、建物にリアリティを感じるようにはなっていません。
そこで活躍するのがＬｕｍｉｏｎという別の建築系ソフトです。こんな風にリアルな見た目で表示できます。
＜リアルな見た目の３次元ＣＧで再現された待合室（ルミオン画面）＞
Ｌｕｍｉｏｎは業務用の多機能ソフトですが、今回のプロジェクトに関してもっとも重要だったのは、Ｓｋｅｔｃｈｕｐのデータを読み込んで、それを待ち時間ほぼゼロで、リアルな見た目にして表示できるという優れた特徴でした。
＜２月、住民参加のワークショップを開いて、３次元データをさらにブラッシュアップ＞
２０１８年２月、駅舎の３次元データが途中まで完成しました。それを住民の皆さんに見てもらいます。気になるところや違和感があれば指摘してもらい、すぐ修正して何度も見てもらいます。住民の意見が画面にどんどん反映されるという、この参加型のやり方は、今回のプロジェクトが住民と一緒に進めるものだ、ということを象徴する非常に重要なプロセスでした。
| （事前準備）
写真やイラストなどの材料を集める ↓ それらを参考に、スケッチアップで壁や床、天井、階段などの構造を作る 内部に時刻表やポスターなどを貼る ↓ いったん完成したデータをルミオンで表示する |
（住民ワークショップ）
ルミオンの画面を住民に見てもらう ↓↑ 指摘があればスケッチアップで即座に修正して、画面の表示も反映させる
※数人一組で画面を見てもらい、自由に意見を言ってもらう。記憶が互いに刺激され、忘れていた思い出が蘇ることも。 |
＜ルミオン画面 人の姿を入れたり蛍光灯を光らせてリアルさを増すこともできる＞
この参加感の高いインタラクティブな手法が使えるのは、現時点では、筑波大の研究室が編み出した、ＳｋｅｔｃｈｕｐとＬｕｍｉｏｎの組合せだけだと聞いています。これらの建築系ソフトは競争と進化が激しく、今後ほかにも使えるソフトが出てくるかもしれません。またＬｕｍｉｏｎには他にも優れた特徴があるのですが、ここではスペースの関係上割愛します。
（また、村上研究室では、単に景観をＣＧで蘇らせるだけでなく、そのことをよりよいコミュニティづくりに結びつけるという、より深い研究テーマを追求しています。詳しくは研究室のホームページ等をご参照ください）
＜５月の技術交流会での発表より。筑波大学卒業生の斉藤真里佳さん、ＣＧ会社代表の古島隆吏さんがノウハウを公開＞
こうして、駅舎を中心とした５０ｍ×５０ｍ近い広大なＣＧ空間に命が吹き込まれていきました。その後、ＡＲを実現するまでの工程はまた手間がかかり、専門的になりますので話を割愛しますが、参考までにＣＧ業界のベテランたちと考案した今回の手法を簡単に記しておきます。
| Ｓｋｅｔｃｈｕｐの.ｓｋｐファイルとして完成
→ｆｂｘ形式に変換してエクスポート →３ｄｓＭａｘなどのＣＧソフトでｆｂｘデータのポリゴン数を軽量化（かなり手作業） →ＡＲゴーグルのＵｎｉｔｙと、放送用にＣＧを描画するＰＣのＵｎｉｔｙにそれぞれインポート →ＡＲゴーグルではＣＧが実物大に見える分アラが目立つので、ゴーグルで体験して気になる部分・違和感がある部分を改めて修正 →放送直前に山田町の現場で実写カメラと合成させて再びチェック・修正 →最終的にはＵｎｉｔｙ内でも微調整 |
＜Unity画面より＞
進化のスピードが著しい分野なので、こうした手順もいずれはもっと便利なやり方が生まれるでしょう。専門知識や高価なソフトウエアがなくとも、こうした作業により多くの人が参加してプロジェクトに貢献することができる、もっと優しい仕組みが登場することを期待しています。
生放送でＡＲを実現する 技術チームが新たに開発したカメラ
腕に覚えのある各界の技術スタッフが結集し、当初は無謀にも思われた、屋外の生放送でＡＲを表現するという演出手法が実現しました。プロジェクトが目指すものを心意気に感じて普段以上の力を発揮できた面もあったようです。この、屋外でカメラマンが自由に動いてＡＲを撮影できる“スーパーＡＲカメラ”が実現したおかげで、ゴーグルで体験している人たちがいまどんな空間に身を置いていて、なぜ感動しているのかを、視聴者も直感的に理解して、共感することが（おそらく世界で初めて）できました。
＜“スーパーARカメラ”：放送カメラ＋Ncam＋VizRT+Unity＋RealSenseD435＋keydreamソフト＋独自開発ソフトウエア。カメラは１５０ｍもの範囲を自由に移動することができ、しかもクロマキーなしに、人物とＡＲを合成することもできる＞
こちらの詳細も割愛しますが、技術的な背景に興味のある方は、５月に技術チームが講演で発表した資料等をご覧ください。
＜５月の技術交流会で発表された“スーパーARカメラ”の仕組み：解説・NHK放送技術局 川上健一副部長＞
準備は１年以上前に始まっていた
さて、そもそもなぜこの企画を始めたのか。また、なぜ山田町だったのか、ということにも少し触れておきます。
＜生放送に向けて準備中の現場＞
私たちは仕事柄、大震災の経験をどう受け継いでいけばいいか、いつも頭の片隅にあります。次の３月をどう迎えるのか、毎年、特集番組の企画募集が必ずやってきます。職場が東京であっても考えるべき立場にあります。また、そのこととは別に、テレビとテクノロジーを組み合わせた新しい企画も常々考えています。２０１６年の秋に今回使ったＡＲゴーグルがアメリカで登場し、私はそれを実際に装着して試す機会があり、これはこれまでのゴーグルとはかなり違うぞと感じました。こうした環境で震災とテクノロジーという２つの視点が融合し、原案が生まれました。
＜放送２週前のAR技術テスト＞
山田町を舞台に選んだのは地元との協力体制を築くことができたことが最大の決め手です。そして、日本中の駅がそうであるように、陸中山田駅も単なる建物ではなく、人生の出会いと旅立ちの思い出が詰まった場所だろうという予感がありました。さらにいえば、地の利として、駅の跡地がたまたまＡＲ表現に向いていたことも好材料でした。
＜線路脇に臨時に設置した“仮設ホーム”＞
２０１８年３月は、線路はかつてと同じように伸びているものの、列車の運行は再開しておらず、駅もまだ再建されていませんでした。そのため、現実の景色にプラスするようにＣＧを補って、過去を再現することができました。もしこれが震災によってすべてが失われた場所であったり、あるいは新しい建物がその後立っている場所だったなら、ＡＲが効果を発揮するのは難しかったでしょう。
もちろんプロジェクトを始める上で、住民の皆さんの間に、もう一度見てみたいという声があることは最低限の必要条件です。
過去を再現するプロジェクトの意義
ここまでして過去を再現することに、どんな意義があるのでしょうか。明確にそれを言葉にするのは難しいのですが、私は、人間らしい感情を取り戻すお手伝いができたのだと思っています。
震災から７年が経ち、かけがえのないかつての思い出も次第に薄れていきます。取材では、自宅があった細かい場所が最近思い出せなくなってきた、とこぼす方に出会いました。新しい町並みに慣れてしまったからです。震災の辛い時期を思い出したくないがために、一切の昔話を避けて過ごしている方もいます。
＜山田町と山田湾 ２０１８年３月＞
思い出や記憶、自分の過去をそうやって奪われてしまうことは、自分が生きてきた証、自分の人生そのものを捨ててしまうことでもあります。
しかし、今回のプロジェクトに関わっていただいた住民の皆さんには、仲間と一緒に懐かしい思い出を語り合い、気持ちを安らげ、優しい気持ちで過去に目を向ける時間を過ごしていただけたように感じています。
＜２０１８年３月１１日、山田町の子どもたちが記したメッセージ＞
放送ではさまざまな反響がありましたが、私がとりわけ嬉しかったのは、どういうわけか海外の方からもネット上で感動の声が届いたことでした。大震災を直接経験していない人でも、おもわず声をあげたくなったのは、山田町の人たちの心を安らげただけでなく、より普遍性のある取り組みだったことを示しているのだと思います。それは全国放送をする番組を作る上でも、そうであってほしいと願っていたことでもありました。
７年目ならではの、３月１１日の迎え方を一つの形にできたものだと感じています。
＜３月１１日週の準備に関する走り書きメモ＞
プロジェクトは続く
４月下旬、山田町役場の主催で、住民向けＡＲ体験会が開かれました。２日間で合計約１００名の方がＡＲゴーグルやＡＲタブレットで陸中山田駅のコンテンツをゆっくり体験しました。（このときは公民館のホールに会場に移して実施しました）
 |
 |
驚くべきは、高齢の方があっという間に馴染んでしまい、長い人では１５分近くも震災前の山田駅の空間のなかを歩き回って、懐かしい光景に浸っていたことです。
またアンケートでは９割以上の方が５段階評価で５をつけ、ＡＲという新しい技術が人の心に寄り添うことができることを実証しました。
とはいえ、まだ新しい技術なので、気をつけたほうがよい点もあります。ＡＲで過去に身を置くことでどんな精神的影響があるのか、注意して見守る必要があります。思い出や記憶を集める過程でも、心の傷とどう向き合うか慎重に進める場面が出てきます。
テクノロジーはツールに過ぎず、それを活用して何を目指すかは、人間の意識次第です。
私たちの今回の経験が、もっと他の人たちにも広がっていって欲しいという思いも持っています。
ＡＲは、被災地の外から訪れる人たちに対しても、「更地になっているそこは、本来は更地ではなく人の暮らしがあった土地だった」ということを直感的に伝えられる利点があります。そういう震災の記憶の残し方もこれからは考えられてもよいのではないでしょうか。記憶が本当に薄れてしまい、再現することが容易ではなくなってしまう前に、こうした取り組みが他の地域でも始まることがあれば、と感じています。
いささか肩に力の入った原稿になってしまいました。本来であれば中学生や高校生が気負わずに参加できるやり方が作れないものかとも思っています。放送番組に限らず、私たちが何かお役に立てることがあれば、ぜひお声がけ下さい。
（グローバル事業本部 デジタル・映像イノベーション エグゼクティブ・プロデューサー 立花達史）
写真協力：ＮＨＫ、山田町役場、筑波大学、TMCN、松木秀憲、YH、井上雄支、コミュニケーションズ・コ・ア