音楽の波形に連動して3Dメッシュを動かす技術

音楽に合わせて3Dの物体がうねる。それだけ聞くと「よくあるビジュアライザーでしょ」と思うかもしれない。でも今回の話は、少し根っこが違う。

ラプラス固有関数、という言葉を聞いたことがあるだろうか。3Dメッシュ、つまり立体形状の骨格となる網目構造には、その形に固有の「振動モード」が数学的に存在する。ラプラシアン固有モードと呼ばれるそれは、物体の形状そのものが持つ固有の揺れ方の集合だ。今回の手法はその固有モードに、音楽信号の構成要素を対応させることで、音楽と3Dメッシュの動きをリンクさせる。

ポイントはここだ。音楽の「音量が上がったから動く」という単純な反応ではなく、音楽の構造的な成分を、形状の構造的な変形に変換している。音楽を波形の数値として読み取り、それをメッシュのモーフィング、つまり形の歪みや変容に翻訳する仕組みだ。

AI音楽を作っている人間にとって、これは他人事ではない。SunoやUdioで生成した楽曲に、映像をどう乗せるか。これはAI音楽制作者が今まさに手探りで向き合っている問いだ。歌詞動画、ルーピング映像、波形アニメーション。そういった手段はすでにある。でも「音楽の構造を読んで、立体物が踊る」という映像は、またちょっと違う次元の話になる。

編集部がおもしろいと思ったのは、この手法がAI生成音楽と組み合わさったとき、制作者が意図しない「意味のある動き」が生まれうる点だ。メッシュがどのモードで動くかは、音楽の構造が決める。つまり音楽の個性が、映像の個性になる。AIが作った音楽の「癖」が、そのまま3D映像の「癖」として出力される。それは面白いことだし、少し怖いことでもある。

インタラクティブな映像表現への応用も示唆されている。音楽に反応するインスタレーションや、リアルタイムで形が変わるライブ映像演出。そういった文脈でも、この手法が使えるかもしれない。

じゃあ最終的に、この映像は誰が作ったことになるんだろう。音楽を生成したAIか。形状を設計した人間か。それとも固有モードを選んだアルゴリズムか。手が多すぎて、作者の輪郭がどんどんぼやけていく。それがこの技術の、一番の本質かもしれない。

本記事は元ニュースを基に AI MUSIC JUDGE 編集部が作成した読み物です。審査員のコメントはキャラクターによる創作・論評であり、出典元の見解ではありません。事実は出典をご確認ください。