私の質問は次のとおりです。ポリフォニックアコースティック楽器の単一チャンネルのマルチボイスオーディオ録音で、個々の音符の変化(ピッチシフト)を可能にするポリフォニックサウンドの数学モデルは何ですか。「ポリフォニックオーディオのノートを変更する」とは、CeleonyのMelodyneソフトウェアのいわゆる「ダイレクトノートアクセス」機能でサウンドを編集するようなことを意味します。
ウィキペディアによると、Melodyneがアコースティック(したがって音色が複雑な)楽器で演奏される1行のメロディのオーディオ信号をモデル化するために使用するのは、ヘニングティーレマンが論文「モノフォニックサウンドの位相と時間のもつれを解く」で説明しているようなものですが、ポリフォニック楽器のオーディオ信号のモデルへの参照は見つかりません。Peter NeubackerのYoutubeのインタビュー(以下に転記)によると、ポリフォニックオーディオの編集を処理するMelodyneの機能には、Thielemannの説明とは異なるアプローチが必要です。
別のyoutubeクリップからの手がかりの1つは、ノイバッカーのモデルが1種類の楽器のみ(つまり、ピアノのみ、ギターのみ、弦のみ、風のみなど)のオーディオレコードでよりうまく機能することです。別の手がかりは、ノートのピッチをシフトするだけでなく、ノートの(開始および終了)タイミングもシフトする機能を示す別のクリップです。
以下は、「ポリフォニック素材には別のアプローチが必要」と述べたYouTubeビデオのトランスクリプトです(22:00から視聴する時間がない場合)。
Melodyneが発生した問題:このような[手で石を身振りで示す] 3次元形式からサウンドを取得するにはどうすればよいですか?それにより、音は連続時間への依存から解放されますか?この彫刻は、実際にこれから生まれたものです...それはプラスチックのかけらです...これは音楽データから直接派生しました。このオブジェクトは、この音を[リュートで音をたてて]います。このように、左から右に視覚化するのが最適です。時間はこの方向に進みます[左から右へのジェスチャー]。そして、それは振幅です(親指と反対の指で大きくも小さくもジェスチャーします)。私がそれを回すと、それは...任意のインスタンスでのこの音の音色を表します。ここでは、かなり三角形の構造[彫刻の下部の断面を指す]を非常に明確に見ることができます。それはこの音で、
Melodyneはまだ存在せず、サウンドをこの形状に変換する実験をしていたので、この1つのサウンドでほぼ1年間働きました。...私はこの音の内と外を心から知っています。これは、ローカルサウンドの良い例でもあります。[マウスをクリック]するだけでなく、任意のポイントのサウンドを入力し、好きなだけゆっくりとすばやく移動することもできます。音を残したり、前後に移動したりすることもできるので、ここで1か所を調べたら...回ります。... 10年前は新しいものでした。
最近、dna(直接メモアクセス)が追加されました。それにより、ポリフォニック音楽も編集できます。つまり、ギターの録音など、同時に聞こえる音を個別に編集できます。ここで小さなコードを演奏すると(画面で[ポリ]-> [音符を分離]を選択)、ここで演奏した3つの音符が個別のエンティティとして表示されます。もう一度聞いてみましょう[コンピューターはマイナーなコードを演奏します]。そして今、指をより高いフレットに移動するかのように、この1つの音を上げることができます[画面上の音を上にドラッグします。コンピューターが主要な和音を演奏する]。分割されたオーディオの場合、この1つのノートを分離し、任意のピッチに自由に上下させることができます。
以前は、この方法で複雑な素材内の個々のトーンを分離できなかったのはなぜですか?正直わかりません。科学では、自然な傾向は、単純なもの、たとえば正弦波、または個々の音で始まり、それを最初に分析して、材料がより複雑になるか、全体を処理する必要がある場合にのみシステムを検出することです動作しません。私のアプローチは異なります。私は実際には複雑な信号から始めますが、何かを詳細に調べたい場合にのみ、より単純な信号に戻りますが、最初に、実際に実際に何が起こっているのかについて全体的な印象を持たなければなりません。
秘密はおそらくこのロールにありますか?ふふ、これは実際にトイレットペーパーです。もともと石によって提起された問題は、どのようにして与えられた音を立体的な形に変換できるかということでした。ここでは、音の値をサンプリングする個人を配置しました。これは、ここでは1つ2つ3つで示され、螺旋状になっています。そして、ポイント間を補間すると[螺旋を横切る]、音の個々の断面を表す風景[彫刻の断面を示す]が現れます。
ロールは何歳ですか?12年間。その考えは、今日見たすべてのMelodyneの源泉です...?はい、しかし、音を巻き上げるこの方法は、ポリフォニック素材にはもはや使用できなくなり、異なるアプローチが必要になります。