2mixのライブ音源をAIでステム抽出/分割してミックスし直した

こんにちは。Kimnyです。
9.7に行われたライブの2mix音源をいただいたので、ミックスし直したという話です。

なぜ？
AIでステム分割してミックスしなおそう！
各トラック何したかと言うと…
できあがったのがこちら

なぜ？

そのまま使えばいいのでは、と思うのですが、下記問題がありました。

ボーカル
- ボリュームが大きい感じがする
  - PA的に大きめにミックスするので正解です。しかし音源として聴いた場合にボリュームが少し大きいと感じてしまう（他の楽器も聞き取りづらくなってしまう）
- リバーブがまとわりつきすぎ
  - これも仕方ないです。だけどダッキングリバーブ信者の私としてはどうにかしたいと思ってしまう発作が…。
  - ステレオ感を調整したい
ステレオ感が欲しい
- ライブハウス用のミックスのため、スピーカー距離が狭く、どうしても中央に定位するものが多くなりがちなので仕方ない
- ヘッドホンで聞くと全部が頭の中に定位してしまい苦しい感じを解決したかった

ということもあり、ステム分割/抽出してミックスしなおそうと思った次第です。

AIでステム分割してミックスしなおそう！

LALAL.AIを使ってステム分割しました。
有料ですが使う価値は十分にあります。ボーカルの抽出は特筆すべきものがあります。

Vocal Remover & Instrumental AI Splitter | LALAL.AI

Lalal.aiを使用して、ボーカルトラックとインストルメンタルトラックをすばやく正確に分割します。任意のオーディオファイルをアップロードし、数秒で高音質の抽出されたトラックを受信します

他のステム分割方法を試しましたがLALAL.AIが一番品質が良かったです。

iZotope RX
- ボーカル/ベース/ドラム/その他という荒い分割方法なので今回のニーズには合わなかった。
Ultimate Vocal Remover
- 使用するモデルによっては細かくセパレートできるが、音がガビガビでいわゆるHarshnessを感じる音になりがち
LALAL.AI
- ボーカル/バックボーカル/ギター/シンセ/ピアノ/ベース/ドラムなどの分割に対応している。
- 一番綺麗にボーカル抽出できた

各トラック何したかと言うと…

全部バラしてミックスし直すつもりはなく、トリートメントが必要なパートを分割して対処しました。
基本的にキーボード・ベース・ギター・ドラムは分割しませんでした。分割しても綺麗にいく保証がなく、いい意味でグルー(glue)感を残したかったので。
つまりはボーカルと楽器隊の2つのトラックをメインに調整していったというわけです。

ボーカル
- AIで分割してもリバーブ成分もくっついてくるので、WAVESのClarity VX DeReverbで一度リバーブ成分を取り除いた後にダイナミクス系のプラグインを多段掛けしてボリュームを整え倍音付与。
  LALAL.AIでもリバーブ除去はできますが、調整ができず、クレジットも消費してしまうのでプラグインでやるのが品質・コスパ的にも良いと思います。
- ボーカルのLEOくんの声とWAVES Aphex Vintage Aural Exciterの相性よかった
- パラレルコンプレッションとリバーブダッキングでいい感じに。まとわりつかないけど響いているリバーブ、よきよき。
ギター
- 個人的な趣味趣向で、モジュレーション系と空間系のエフェクトを少し掛けたかったので必要に応じて分離。分離させたものをソースとしてエフェクトを100%WETの状態で掛けて、バンドトラックに混ぜ込み。
サックス
- 空間系を別で掛けたかったので必要に応じて抽出。100%WETで掛けて混ぜ込み。
- サックスのボリュームも大きいところがあったのでバンドトラックのサックスの帯域をSonnox Oxford SuprEsserで抑制
- 逆位相の音をぶつけてボリューム下げてみようかとも思ったが妄想だけにしておいた
ベースとドラムはいじらない！
- ベースもバスドラもいい感じのダイナミクスだったし、ドラムも抽出したからといってどうにかならないのでそのまま。
- ただベースソロの部分（スラップベース）は音を抽出してハイパスEQかけてピンポンディレイを掛けるという暴挙に出てみた。ワクワク感みたいなものを演出したかったのです。（参考：ストリーミング配信版GOOD LUCK 1:55〜)
- ドラムはスネアが埋もれ気味のところがあったので、Replacerで音を補おうかと思ったが、思うだけにしておいた。
キーボード
- リバーブや空間系のエフェクトだけでは広がり感に限界があったので、薄く別サウンドを追加しました。PadとかStringsとかうっすらだよ、うっすら。
- だって当日モノラル出しだったし（言い訳）
- でもインストのCapriceはPad/Strings/Bell/Organとか増し増ししちゃったごめんなさい。SmoothJazz大好き人間なのでアレ足したいコレ足したいって欲望を止められないよね。バンドメンバーにアレンジ力見せつけるってのも1%あったことは内緒（たぶんここ読んでないと思うし。もし読んだら教えてw）
- VST Liveに録音機能あるので、キーボードトラックだけ録音しておくこともできたが、しなかった。トラブルが怖かったのと同じ音重ねても意味なくね？と思ったので。
総じて
- 200〜500Hzあたりヌケが悪い感じで追い込めなかったのは悔しい。下手にやるとベースやキーボード、ボーカルの美味しいところ無くなるので難しい。元は2mixだったのでしょうがないところではある。作業完了後にWAVES Curves Equatorが発売されたので、これがあったらまた違った結果になった可能性はある。

できあがったのがこちら

お料理番組かよw

【YouTube】
動画早めに出したかったので、YouTube用にはざざっとラフめに整えた感じですが、これはこれで悪くない気もしてる。MacBookProにProToolsとプログインちょろっと入れて、いつものAntelope Zen Q繋いでヘッドホンで調整。

【ストリーミング配信】
気合を入れて制作用のDAW環境で調整。最後のIntel Mac miniのモリモリスペックで購入直後にバラしてメモリ64GBにしたやつ。やっぱりモニタースピーカーは偉大。ヘッドホンで作業するより効率上がった。
アウトボートも少し使っています。派手目？ドンシャリになりすぎた感じがある。

というかSpotifyの音圧-14dBFSという噂があったのでその通りにやったら音圧負けてるんですけど真実はどこですか・・・。