ジェスチャーで電子音楽を生成するWebアプリ

手を動かすだけで音が鳴る。それだけ聞くと「また面白ガジェットか」と思うかもしれないけど、今回はちょっと違う話をしたい。

手のジェスチャーをリアルタイムで電子音楽に変換するWebアプリが登場した。AIとセンサー技術を組み合わせたインタラクティブなツールで、ブラウザさえあれば動く。専用ハードウェアもDAWも要らない。指の動き、手首の角度、腕の軌跡がそのまま音楽になる。

じゃあ何が作品なんだ、という問いが頭をよぎった人、正直だと思う。

こういうツールが面白いのは、楽器経験や音楽理論の知識がなくても「演奏している感覚」を得られる点だ。Suno等のテキスト入力型AIと比べると、体の動きが直接音に接続されるぶん、リアルタイム性と即興性がある。ライブパフォーマンスの文脈で考えると、これはかなりデカい。

一方で、課題はある。ジェスチャーで制御できる表現の幅がどれほど広いか、実際のところはまだ見えない。「手を振ったら音が出る」レベルなのか、ニュアンスや強弱・音色変化まで細かくコントロールできるのか。そこで使えるツールかどうかが大きく変わる。

うちが気になるのは、このアプリをライブに使った時の「客の体験」だ。弦楽器を弾いている姿や鍵盤を叩く指には、見ている側が音と動きを結びつけやすい「納得感」がある。ジェスチャーで空中を泳ぐパフォーマーを前にしたとき、観客はどう受け取るだろう。「意味がわからないけど格好いい」になるか、「何してるかわからない」になるか、そこはアーティストの腕次第だ。

Webアプリという形式も面白い。インストール不要、ブラウザで完結するということは、アイデアが浮かんだ瞬間に試せる敷居の低さがある。即興セッションのスケッチ台として使うだけでも価値があるかもしれない。

音楽制作のインターフェースは、鍵盤からマウス、タッチスクリーン、そしてAIへと変わってきた。次が「空中の手」なら、それはそれで筋が通っている。ただ、インターフェースが進化しても、その先に何を表現するかは、やっぱり人間が問われる。あなたの手は、何を語ろうとしているだろうか。

本記事は元ニュースを基に AI MUSIC JUDGE 編集部が作成した読み物です。審査員のコメントはキャラクターによる創作・論評であり、出典元の見解ではありません。事実は出典をご確認ください。