死者の復活、永遠の命2~『AIでよみがえる 美空ひばり』(NHKスペシャル)
先週の日曜(19年9月29日)のNHKスペシャルでは、「あれから」という言葉(新曲の歌詞・題名)が度々出て来た。そう言えば前回、死者復活スペシャル第1弾は今年の春。あれから、もう半年経つのか。個人的に、非常に心に残る日々だった。。
私の話はさておき、前回の放送は、半ば個人的な話だったのだ。ここ数年で、嫌われキャラから人気者へとブレークした芸人・出川哲朗の亡き母の復活。出川の目の前にホログラフィーみたいな映像を映し出して、日常的な会話を行う試み。私も含めて、多くの視聴者は出川の母を知らなかっただろうから、どの程度「よみがえり」に成功したのかは分かりにくい。
それに対して、第2弾とも言うべき今回は、大人なら誰でも名前くらいは知ってる美空ひばり。昭和を代表する超大物歌手だ。たとえ、曲や歌声、顔が浮かばなくても、歌声を聞けば「あぁ、聴いたことがある」となるはず。だからこそ、30年ぶりにAIでよみがえらせる計画は大変だったと思う。試聴で厳しいダメ出しを受けたプログラマー・大道竜之介氏(ヤマハ)は泣きそうになってた♪
私が一番感心したのは、AIひばり自体より、こんな巨大なプロジェクトを1年がかりで成功させた関係者らの努力だ。その意味では、AIよりも人間に感動したことになる。まだ、今の時点では。。
☆ ☆ ☆
番組では有名人も登場したけど、主役は明らかにヤマハ歌声合成チームだった。青く長い髪の美少女・初音ミクでおなじみ、歌声合成システム「VOCALOID」(ボーカロイド)を開発したエンジニアとのこと。「楽譜と歌詞を与えるとコンピューターが歌にするシステムです」。高齢者にもやさしいナレーション。
半ば理数系のマニアック・ブロガーにとって一番興味深かったのは、高校数学みたいな音の順列(組合せ)♪ 濁音とかも含めて、120個ほどの音に、4オクターブの変化を付けると、5000を超える音が必要らしい。
120×4オクターブ×7音だと3000強にしかならないけど、音階の理論はややこしいから、ここでは深くこだわらない♪ 半音を加えると120×4×12音=5760で、説明とのつじつまは合う。ただ、ド♯とレ♭が僅かに違うとか、半音の半音とか、微妙な話があるのだ。
ビブラート(長・中・短)、裏声(強・中・弱)の変化も考慮。ビブラート無し、裏声無しも含めると、それぞれ4通りか。ということは、1つの音を出すだけで、5000×4×4 ≒ 8万通り。
それを順番に並べて歌にする場合の数は、8万×8万×8万×・・・。マジメにやると、人間どころかAIでも苦戦する変化になってしまうから、パターン化とか簡略化を行うはず。「順列組み合わせ」なんて言葉が画面のテロップに出るだけでワクワクするのが、理系あるある症状だ♪ 正確には「順列」だと突っ込むとか(笑)。アア、アイ、アウ、・・・。
ちなみに、「かわのながれ」の母音は「アアオアアエ」、「あれから」の母音は「アエアア」。サビの歌詞にハッキリ発音しやすいアが多いのは、偶然ではないと思う。意識的か無意識的かはさておき。
☆ ☆ ☆
音を作る一方で、本物の美空ひばりの歌声からのインプット(入力)作業も大変。さすがNHK。特別に、演奏なしの歌声だけのデータを入手。ボーカルのみの音源を、AIは「教師データ」として、学習していく。
AI自ら学習を繰り返す「ディープ・ラーニング」ということは、人工の音を試しに作っては、本物のひばりと比較して、作り直すということか。ひばりの1秒間の声を100分割して解析。モニターの文字列をよく見ると、一つの曲だけでも複数の音源を使ってる。
AIひばりの音の周波数(下図の赤い波線か)を見ると、楽譜の音(下図の太い青線か)に合わせて、きっちり歌ってしまってることが分かる。ここに秋元康らがダメ出しをするのだ。人間味がないとか、ひばりの感動がないとか。後援会の女性ファン5人の試聴シーンは、ちょっと怖かったほど♪
ひばりらしくするためには、5000Hz(ヘルツ)超の「高次倍音」と呼ばれる特別な高い音をごく一部だけ混ぜたり(『川の流れのように』のサビの「か」)、タイミングを僅かにずらしたり、周波数を僅かに上下させたり。確かに、本物の歌手の持ち歌をカラオケで判定させると、楽譜通りではないから意外と点数が低かったりする。
☆ ☆ ☆
もちろん、歌声だけでは本人の復活コンサートは開けない。動きは、美空ひばりの大ファンの大物歌手・天童よしみからモーション・キャプチャー(動作データの獲得)。身体に付けるセンサーの数はわりと少ないように見えた。
さらに、専属美容師だった白石文江さんが新曲のイメージに合わせて、体型が似たモデルにヘアメイク。それをCGとして取り込む。CGだけだと作りにくいわけか。
ステージ衣装は、長年担当した森英恵が作成。モデルが着てる姿を見ただけで涙ぐんでた。エッ、もう93歳なのか?! それでまだ現役の活動。足腰や喋りもしっかりしてたし、実に素晴らしい☆
☆ ☆ ☆
AIひばりチーム5台(メイン・音程・タイミング・ビブラート・音色)の連携も改良して、いよいよ9月3日の本番。東京・渋谷のNHK101スタジオ。200人近いファンが来場。「語り」の部分用の肉声データを提供した、ひばりの息子・加藤和也氏も参加。ひばりプロダクション社長。養子らしいけど、ひばりの実弟の息子だからなのか、顔は似てる気がする。
新曲『あれから』のお披露目。作詞・秋元康、作曲・佐藤嘉風。天童よしみと加藤氏はすぐに涙。秋元康もまばたきが増えてた。CG映像やスクリーンの3D投影はともかく、歌声の出来が素晴らしかったこともあって、私も涙ぐんでしまったほど。
顔のアップは良く出来てるけど、身体全体の動きがまだ人間には遠かった。まあでも、それも時間の問題か。「さあ! 私の分まで、まだまだ頑張って!」(語り)。メッセージも、昭和の熱い激励の復元になってた。ちなみに、浅田真央と美空ひばりの「そっくり率」はかなり高くて、76%♪
☆ ☆ ☆
後は、コストと情熱・欲望の問題。人・金・物・時間・場所、膨大なコストが必要だから、もうしばらくは、たかがネットのフェイク動画、フェイク音声、フェイク写真くらいだと思う。
こうしてみると、今現在、死者をよみがえらせる最も良い方法は、フツーの写真やビデオ、音声などを元に、生きてる人間が思い出すことだろう。特に、一般人にとっては。そう考えると、法事や仏壇というものも、死者との再会の仕組みとしてよく出来てるのであった。夜の夢も、願望充足の手段としては手軽で見事だと思う。
なお、いくつかのネット情報によると、ひばりの音声の復元という試みは、今までもいくつかあったようだ。それでは今日はこの辺で。。☆彡
(計 2788字)
| 固定リンク | 0
「映画・テレビ」カテゴリの記事
- 福岡・博多で77年間、自転車の流し屋台わらび餅、買ってもらうのがうれしい♪ ~ NHK『ドキュメント72時間』(2024.10.26)
- NHKスペシャル『ジャニー喜多川 "アイドル帝国"の実像』、スタートエンターテイメント出演再開の告知特番(2024.10.22)
- 『雲上を駆ける! 第39回・乗鞍ヒルクライム2024』(NBS長野放送)、YouTube動画で見た感想(2024.09.24)
- やす子24時間マラソンの2日目と「同じ道」を9時間で歩いて「検証」した YouTuber、実際は6割弱の距離(29km)を歩いただけ(2024.09.12)
- 直前の欠場、「パリ五輪は、まだ走れ!っていうメッセージ♪」~カンテレ『前田穂南が走れなかったオリンピック』(TVer動画)(2024.09.06)
「科学」カテゴリの記事
- ノーベル物理学賞2024は人工ニューラル・ネットワークの機械学習の基礎、ChatGPT4oに感想を聞くと&秋雨ずぶ濡れラン(2024.10.09)
- ノーベル生理学・医学賞2024、マイクロRNA(miRNA)の働きとガン抑制遺伝子&僅かでも運動継続(2024.10.08)
- 二重偏波気象レーダー、降雹(こうひょう)アラート、数式(偏微分方程式)の変数 Pidep、Pgacw、etc ~『ブルーモーメント』第5話(2024.05.25)
- 4種類の天気予報の更新頻度(日本気象協会tenki.jp、ウェザーニュース、気象庁、ウェザーマップYahoo!)(2024.03.23)
- T・DK、トラちゃんウサちゃん50mバトンリレーで勝利!、熱い女性リーダーと社長・会長の応援で(NHK『魔改造の夜』)(2023.10.28)
コメント
「120×4オクターブ×7音だと3000強にしかならないけど」の箇所ですが、
1オクターブ中の音は
ド、レ、ミ、ファ、ソ、ラ、シの7つではなく
ド、ド#、レ、レ#、ミ、ファ、ファ#、ソ、ソ#、ラ、ラ#、シの12個だからではないかと。
投稿: | 2019年10月 6日 (日) 08時49分
> 名無し さん
はじめまして。コメントどうもです。
私もそう思いましたし、計算はわりと合ってます。
ただ、♯と♭の微妙な違いとか、半音の半音とか、
細かい話を避けたわけです。
一応、その点を追記しておきました。
なお、当サイトはコメントに名前を要求してるので、
よろしくお願いします。☆彡
投稿: テンメイ | 2019年10月 6日 (日) 16時32分