クリッピングせずにオーディオ信号をミックスするアルゴリズム

2つ以上のPCMオーディオチャネル（録音されたサンプルなど）を音響的に忠実に、できればほぼリアルタイム（ピークがほとんどまたはまったくない）でデジタルでミックスしたいと思います。

これを行う物理的に「正しい」方法は、サンプルを合計することです。ただし、2つの任意のサンプルを追加すると、結果の値は最大値の2倍になる可能性があります。

たとえば、サンプルが16ビット値の場合、結果は最大65536 * 2になります。これにより、クリッピングが発生します。

ここでの単純な解決策は、Nで割ることです。ここで、Nは混合されるチャネルの数です。ただし、これにより、各サンプルは1 / Nthの音量になり、完全に非現実的です。現実の世界では、2つの楽器が同時に演奏されると、各楽器の音量は半分になりません。

一般的なミキシング方法は、result = A + B-ABです。ここで、AとBは混合される2つの正規化されたサンプルであり、ABはより大きな音がますます「ソフトクリップ」されることを保証する用語です。

ただし、これにより信号に歪みが生じます。このレベルの歪みは、高品質のオーディオ合成で許容されますか？

この問題を解決する他の方法はありますか？効率の悪い低品質のアルゴリズムと、効率の低い高品質のアルゴリズムに興味があります。

複数の楽器トラックを一緒にミキシングするために、デジタル音楽シンセシスのコンテキストで質問をしています。トラックは、合成オーディオ、事前に録音されたサンプル、またはリアルタイムのマイク入力です。

問題のコンテキストを知らずに関連するテクニックを指摘するのは非常に困難です。

明白な答えは、各サンプルのゲインを調整して、クリッピングがほとんど発生しないようにすることです。ミュージシャンがソロで演奏するように求められたときよりもアンサンブルでソフトに演奏すると仮定することはそれほど非現実的ではありません。

A + B-ABによって導入された歪みは受け入れられません。Bの倍音の両側にAの鏡像を作成します-リング変調に相当します-AとBが整数比ではない倍音で豊かなスペクトルを持っている場合はかなりひどいです。たとえば、220 Hzと400 Hzの2つの方形波で試してください。

サンプルごとのサンプルで機能するより「自然な」クリッピング関数は、tanh関数です-実際には、いくつかのアナログ要素のソフト制限動作に一致します。それを超えて、古典的な動的圧縮技術を調べることができます-システムが先を見て、ピークが来るのを前もって見ることができれば、これはさらに良いです。

これを行う物理的に「正しい」方法は、サンプルを合計することです。ただし、2つの任意のサンプルを追加すると、結果の値は最大値の2倍になる可能性があります。...ここでの単純な解決策は、Nで除算することです。ここで、Nは混合されるチャネルの数です。

それは「単純な」ソリューションではなく、唯一のソリューションです。それは、すべてのアナログおよびデジタルミキサーが行うことです。なぜなら、それは空気が行うことであり、脳が行うことだからです。

残念ながら、これはこれらの他の誤った非線形「ミキシング」（歪み）アルゴリズムによって実証されるように、一般的な誤解であると思われます。

• デジタルオーディオのミキシング（間違った方法）
• クリッピングを避けるための迅速で汚れたオーディオサンプルミキシングテクニック（これはしないでください）

「Nによる除算」はヘッドルームと呼ばれます。波形のRMSレベルを超えて割り当てられたピーク用の追加スペース。信号に必要なヘッドルームの量は、信号の波高率によって決まります。（デジタル信号レベルとヘッドルームの誤解は、おそらくラウドネス戦争とエレファンクのせいかもしれません。）

アナログハードウェアでは、ヘッドルームはおそらく20 dBです。ハードウェアDSPでは、固定ヘッドルームを備えた固定小数点がよく使用されます。たとえば、ADのSigmaDSPには24 dBのヘッドルームがあります。コンピュータソフトウェアでは、オーディオ処理は通常32ビット浮動小数点で実行されるため、ヘッドルームは膨大です。

理想的には、Nで除算する必要はまったくありません。信号はそもそも0 dBFSで生成されないため、信号を合計するだけです。

とにかく、ほとんどの信号は互いに相関していないため、ミキサーのすべてのチャンネルが同時に建設的に干渉することはまれです。はい、10個の同一の同相正弦波を混合すると、ピークレベルは10倍（20 dB）増加しますが、10個の非コヒーレントノイズソースを混合すると、ピークレベルは3.2倍（10 dB）しか増加しません。実際の信号の場合、値はこれらの両極端の間になります。

クリッピングなしでDACから混合信号を取り出すには、単純に混合のゲインを下げます。ハードクリッピングなしでミックスのRMSレベルを高く保ちたい場合、何らかのタイプの圧縮を適用して波形のピークを制限する必要がありますが、これはミキシングの一部ではなく、別のステップです。必要に応じて、最初に十分な余裕を持ってミックスし、その後ダイナミックレンジ圧縮を行います。

式

$AB = A*B$

$g\le 1$

$g = 0.5$$g = 1/\sqrt{2}$

$g$

$g[i]$$A$$B$$g$$\text{result}$

おそらくこれ：

更新：hotpaw2で示唆されているように、入力信号を遅延させることはできますが、ゲイン抑制はできません。これは「先読みリミッター」と呼ばれます。

これは、非リアルタイムミキシングで先読みAGCを使用する方法の1つです。この方法では、合計振幅がクリッピング制限を超える前に、一方または両方のチャンネルのゲインが知覚しにくいレートで低下します。先読みが少ないほど、AGCゲイン調整が聞き取りやすくなります。または、ゲイン調整ランプをソフトにした場合の最大ゲインは、限界でチャンネルあたり0.5に近づきます。ある程度の予測可能性を備えた音源の場合、ゲインの制限を適応的に推測するために、エンベロープの経時的な統計に関する統計を使用することもできますが、障害の可能性があります（これは突然のAGCゲイン調整になります）。

1990年代後半と2000年代初頭のミキサーデザイナーと話をしました。その男はSPLのデザイナーだったと思うが、それほど大きくはないかもしれない。名前もブランドも絶対に覚えていない。マシンがどれほど大きくて高価だったか覚えている。

長い話をし、最後に、64/128 @ 24ビットチャンネルが混合され、クリッピングのない24ビットの正確な混合出力チャンネルを維持することを本当に保証するためのテクニックについて話しました。

彼が説明したテクニックはかなりシンプルでした。64ビット（24ビット）のトラックが48ビットチャネルに追加され、クリッピングは発生しません。まっすぐ。

その信号がどのように48ビットから24ビットにディザリングされたかは言えません。たぶんそれはトリッキーなキッチンのレシピが適用される場所です。

そして、それを達成するための多くのテクニックがあるかもしれません。とりわけ、リアルタイムで行われるか、ハイピークで記録されたすべての信号で決定されるかによって、異なることが予想されます。

グローバルボリュームを下げます。インパルストラッカーは、デフォルトでデフォルトで最大約33％の音量でチャンネルを出力します。

これは、数チャンネル（4チャンネルAmiga MOD）の音楽には十分な大きさで、50チャンネルの曲には十分な大きさのようです（チャンネルの内容は通常相関していないため、音量が一定レベルを超えると速くなりません...）加えて、いくつかのチャンネルが最大音量で出力され、それだけの量が進行します）。また、ハードレフトまたはハードライトパンチャンネル（範囲の66％を使用）に十分なヘッドルームを残します。

また、チャンネルを16ビットで一緒に追加するのではなく、それらを32ビットで一緒に追加し、最後に結果をクリップして16ビットに減らします。計算中にラップアラウンドしないように、より高い範囲が必要になります。もう1つのオプションは、32ビット浮動小数点を使用することです（フィルターやエフェクトなどを行うのに便利です）。

重要なのは、16ビット値があり、最大値を超える可能性のある2つの値を加算する場合、2つのオプションがあるということです。

1）両方を32ビット加算にキャストし、加算がその値を超えた場合に最大値を返します。次に、16ビットにキャストします。たとえば、値が32768と34567の場合、65535を超え、65535を返すことが重要です。最小値の末尾で符号付きの値を使用する場合も同じことを行います。

2）両方の値を圧縮してから、それらを一緒に追加します。

最初は本質的にハードクリッピングで、2番目はソフトクリッピングです。アナログシステムはすべてハードクリッピングです。

両方のトラックの周波数が同じスペース周波数を使用する場合、それらはスペースの2倍になります。これを回避するには、eqと圧縮を使用して、各サウンドの周波数スペクトルの領域を切り分け、サウンドのトランジェントとサステインを制御して、すべてが必要な場所を突き出すようにします。たぶんそれは質問に答えません。低周波数の信号を最大2ミリ秒遅延させることができます。波長が高周波数よりも長いため、位相を介してキャンセルされません。また、過渡状態がパワーに飢えた低音信号に完全に間に合わないため、スペースが追加されます。信号が低ければ低いほど遅延を直線的に追加するものは、テストするのに興味深いでしょう。

A + B + {
    (|A| = A) = (|B| = B) = true: -AB;
    (|A| = A) = (|B| = B) = false: AB;
    else: 0
}

つまり、AとBの両方が符号を共有している場合、制限オフセットを適用します。オフセットの大きさは、AとBの積です。オフセットの方向は、AとBの方向と反対です。

AとBが符号を共有しない場合、オーバーフローする方法がないため、制限は適用されません。

私のおすすめ：

1. トラックのオーディオ形式を16ビット固定小数点から32ビット浮動小数点に変換します。
2. 混合するすべてのトラックの現在のサンプル値を追加します。
3. 他に何もしないでください。

ユーザーは、この混合ストリームをディザリングおよび16ビット固定小数点形式への再変換の前に圧縮および/または制限して処理することができます（この変換を想定しています...マスタリングエンジニアに渡すためのミックスダウンは、通常、より高い解像度形式のままです）