死者の復活、永遠の命2~『AIでよみがえる 美空ひばり』(NHKスペシャル)
先週の日曜(19年9月29日)のNHKスペシャルでは、「あれから」という言葉(新曲の歌詞・題名)が度々出て来た。そう言えば前回、死者復活スペシャル第1弾は今年の春。あれから、もう半年経つのか。個人的に、非常に心に残る日々だった。。
私の話はさておき、前回の放送は、半ば個人的な話だったのだ。ここ数年で、嫌われキャラから人気者へとブレークした芸人・出川哲朗の亡き母の復活。出川の目の前にホログラフィーみたいな映像を映し出して、日常的な会話を行う試み。私も含めて、多くの視聴者は出川の母を知らなかっただろうから、どの程度「よみがえり」に成功したのかは分かりにくい。
それに対して、第2弾とも言うべき今回は、大人なら誰でも名前くらいは知ってる美空ひばり。昭和を代表する超大物歌手だ。たとえ、曲や歌声、顔が浮かばなくても、歌声を聞けば「あぁ、聴いたことがある」となるはず。だからこそ、30年ぶりにAIでよみがえらせる計画は大変だったと思う。試聴で厳しいダメ出しを受けたプログラマー・大道竜之介氏(ヤマハ)は泣きそうになってた♪
私が一番感心したのは、AIひばり自体より、こんな巨大なプロジェクトを1年がかりで成功させた関係者らの努力だ。その意味では、AIよりも人間に感動したことになる。まだ、今の時点では。。
☆ ☆ ☆
番組では有名人も登場したけど、主役は明らかにヤマハ歌声合成チームだった。青く長い髪の美少女・初音ミクでおなじみ、歌声合成システム「VOCALOID」(ボーカロイド)を開発したエンジニアとのこと。「楽譜と歌詞を与えるとコンピューターが歌にするシステムです」。高齢者にもやさしいナレーション。
半ば理数系のマニアック・ブロガーにとって一番興味深かったのは、高校数学みたいな音の順列(組合せ)♪ 濁音とかも含めて、120個ほどの音に、4オクターブの変化を付けると、5000を超える音が必要らしい。
120×4オクターブ×7音だと3000強にしかならないけど、音階の理論はややこしいから、ここでは深くこだわらない♪ 半音を加えると120×4×12音=5760で、説明とのつじつまは合う。ただ、ド♯とレ♭が僅かに違うとか、半音の半音とか、微妙な話があるのだ。
ビブラート(長・中・短)、裏声(強・中・弱)の変化も考慮。ビブラート無し、裏声無しも含めると、それぞれ4通りか。ということは、1つの音を出すだけで、5000×4×4 ≒ 8万通り。
それを順番に並べて歌にする場合の数は、8万×8万×8万×・・・。マジメにやると、人間どころかAIでも苦戦する変化になってしまうから、パターン化とか簡略化を行うはず。「順列組み合わせ」なんて言葉が画面のテロップに出るだけでワクワクするのが、理系あるある症状だ♪ 正確には「順列」だと突っ込むとか(笑)。アア、アイ、アウ、・・・。
ちなみに、「かわのながれ」の母音は「アアオアアエ」、「あれから」の母音は「アエアア」。サビの歌詞にハッキリ発音しやすいアが多いのは、偶然ではないと思う。意識的か無意識的かはさておき。
☆ ☆ ☆
音を作る一方で、本物の美空ひばりの歌声からのインプット(入力)作業も大変。さすがNHK。特別に、演奏なしの歌声だけのデータを入手。ボーカルのみの音源を、AIは「教師データ」として、学習していく。
AI自ら学習を繰り返す「ディープ・ラーニング」ということは、人工の音を試しに作っては、本物のひばりと比較して、作り直すということか。ひばりの1秒間の声を100分割して解析。モニターの文字列をよく見ると、一つの曲だけでも複数の音源を使ってる。
AIひばりの音の周波数(下図の赤い波線か)を見ると、楽譜の音(下図の太い青線か)に合わせて、きっちり歌ってしまってることが分かる。ここに秋元康らがダメ出しをするのだ。人間味がないとか、ひばりの感動がないとか。後援会の女性ファン5人の試聴シーンは、ちょっと怖かったほど♪
ひばりらしくするためには、5000Hz(ヘルツ)超の「高次倍音」と呼ばれる特別な高い音をごく一部だけ混ぜたり(『川の流れのように』のサビの「か」)、タイミングを僅かにずらしたり、周波数を僅かに上下させたり。確かに、本物の歌手の持ち歌をカラオケで判定させると、楽譜通りではないから意外と点数が低かったりする。
☆ ☆ ☆
もちろん、歌声だけでは本人の復活コンサートは開けない。動きは、美空ひばりの大ファンの大物歌手・天童よしみからモーション・キャプチャー(動作データの獲得)。身体に付けるセンサーの数はわりと少ないように見えた。
さらに、専属美容師だった白石文江さんが新曲のイメージに合わせて、体型が似たモデルにヘアメイク。それをCGとして取り込む。CGだけだと作りにくいわけか。
ステージ衣装は、長年担当した森英恵が作成。モデルが着てる姿を見ただけで涙ぐんでた。エッ、もう93歳なのか?! それでまだ現役の活動。足腰や喋りもしっかりしてたし、実に素晴らしい☆
☆ ☆ ☆
AIひばりチーム5台(メイン・音程・タイミング・ビブラート・音色)の連携も改良して、いよいよ9月3日の本番。東京・渋谷のNHK101スタジオ。200人近いファンが来場。「語り」の部分用の肉声データを提供した、ひばりの息子・加藤和也氏も参加。ひばりプロダクション社長。養子らしいけど、ひばりの実弟の息子だからなのか、顔は似てる気がする。
新曲『あれから』のお披露目。作詞・秋元康、作曲・佐藤嘉風。天童よしみと加藤氏はすぐに涙。秋元康もまばたきが増えてた。CG映像やスクリーンの3D投影はともかく、歌声の出来が素晴らしかったこともあって、私も涙ぐんでしまったほど。
顔のアップは良く出来てるけど、身体全体の動きがまだ人間には遠かった。まあでも、それも時間の問題か。「さあ! 私の分まで、まだまだ頑張って!」(語り)。メッセージも、昭和の熱い激励の復元になってた。ちなみに、浅田真央と美空ひばりの「そっくり率」はかなり高くて、76%♪
☆ ☆ ☆
後は、コストと情熱・欲望の問題。人・金・物・時間・場所、膨大なコストが必要だから、もうしばらくは、たかがネットのフェイク動画、フェイク音声、フェイク写真くらいだと思う。
こうしてみると、今現在、死者をよみがえらせる最も良い方法は、フツーの写真やビデオ、音声などを元に、生きてる人間が思い出すことだろう。特に、一般人にとっては。そう考えると、法事や仏壇というものも、死者との再会の仕組みとしてよく出来てるのであった。夜の夢も、願望充足の手段としては手軽で見事だと思う。
なお、いくつかのネット情報によると、ひばりの音声の復元という試みは、今までもいくつかあったようだ。それでは今日はこの辺で。。☆彡
(計 2788字)
| 固定リンク | 0
「映画・テレビ」カテゴリの記事
- 日テレ『頭脳王2021』ストレンジ・オセロ、先手必勝ゲームの証明と戦略(7通りの場合分け)(2021.02.23)
- 『頭脳王2021』、光速の半分で未来に移動(相対性理論)&ストレンジ・オセロ第1局の棋譜全体(京大・上木vsコンピューター)(2021.02.21)
- 『頭脳王2021』、純金のピラミッドの金額&シロナガスクジラを持ち上げる金剛力士像の身長、計算式と解説(2021.02.20)
- 『レッドアイズ』第2話の暗号解読方法と英文~アルファベットを13文字ズラした換字式暗号「rot13」(2021.02.09)
- テレビ未放映、『カネ恋』幻の第5話~第8話における『方丈記』の引用と意味(大島里美『シナリオブック』)(2021.01.08)
「科学」カテゴリの記事
- 吉野彰氏のノーベル化学賞2019、受賞理由(リチウムイオン電池の開発、英語原文と和訳)(2019.10.15)
- 死者の復活、永遠の命2~『AIでよみがえる 美空ひばり』(NHKスペシャル)(2019.10.05)
- 熱気球はなぜ浮かぶ?、浮力の物理・化学的計算~朝日新聞・ののちゃんのDO科学(2018.12.05)
- 「犯罪者は外見で判断できる」、ロンブローゾの学説と著書~『高嶺の花』第5話(2018.08.09)
- 気温127度で人体実験した英国科学者フォーダイス達(18世紀)&プチ朝ラン(2018.08.01)
コメント
「120×4オクターブ×7音だと3000強にしかならないけど」の箇所ですが、
1オクターブ中の音は
ド、レ、ミ、ファ、ソ、ラ、シの7つではなく
ド、ド#、レ、レ#、ミ、ファ、ファ#、ソ、ソ#、ラ、ラ#、シの12個だからではないかと。
投稿: | 2019年10月 6日 (日) 08時49分
> 名無し さん
はじめまして。コメントどうもです。
私もそう思いましたし、計算はわりと合ってます。
ただ、♯と♭の微妙な違いとか、半音の半音とか、
細かい話を避けたわけです。
一応、その点を追記しておきました。
なお、当サイトはコメントに名前を要求してるので、
よろしくお願いします。☆彡
投稿: テンメイ | 2019年10月 6日 (日) 16時32分