スペクトル重心またはその他の手段による波形の着色

アップデート8

サービスにトラックをアップロードする必要があり、RekordBox 3の新しいリリースを見ることに不満があるオフラインのアプローチとより細かい解決策をもう一度検討することにしました：D

まだ非常にアルファ状態にありますが、有望に聞こえます：

ジョニック-グッドタイム

対数目盛もパレット調整もないことに注意してください。周波数からHSLへの生のマッピングのみです。

アイデア：波形レンダラーに、特定の位置の色を照会するカラープロバイダーが追加されました。上に表示されているものは、その位置の隣の1024サンプルのゼロ交差率を取得しています。

明らかに、堅牢なものになるまでにやるべきことがまだたくさんありますが、それは良い道のようです...

RekordBox 3から：

アップデート7

Update 3のように、私が採用する最後のフォーム

（カラー間のスムーズな移行を実現するために少しPhotoshopされています）

結論は、私は数ヶ月前だったが、それが悪いと思ってその結果を考慮しなかったX）

アップデート6

最近プロジェクトを発掘したので、ここで更新することを考えました：D

曲：シック-グッドタイムズ2001（ストーンブリッジクラブミックス）

IMOの方がはるかに優れており、ビートは一定の色などを持ちますが、最適化されていません。

どうやって ？

まだhttp://developer.echonest.com/docs/v4/_static/AnalyzeDocumentation.pdf（ページ6）

各セグメントについて：

public static int GetSegmentColorFromTimbre(Segment[] segments, Segment segment)
{
    var timbres = segment.Timbre;

    var avgLoudness = timbres[0];
    var avgLoudnesses = segments.Select(s => s.Timbre[0]).ToArray();
    double avgLoudnessNormalized = Normalize(avgLoudness, avgLoudnesses);

    var brightness = timbres[1];
    var brightnesses = segments.Select(s => s.Timbre[1]).ToArray();
    double brightnessNormalized = Normalize(brightness, brightnesses);

    ColorHSL hsl = new ColorHSL(brightnessNormalized, 1.0d, avgLoudnessNormalized);
    var i = hsl.ToInt32();
    return i;
}

public static double Normalize(double value, double[] values)
{
    var min = values.Min();
    var max = values.Max();
    return (value - min) / (max - min);
}

明らかに、ここに到達する前にさらに多くのコードが必要です（サービスへのアップロード、JSONの解析など）が、これはこのサイトのポイントではないため、上記の結果を得るために関連するものを投稿しています。

したがって、分析結果の最初の2つの関数を使用しています。確かに、他にも処理する必要がありますが、まだテストする必要があります。上記よりもクールなものが見つかったら、ここに戻って更新します。

いつものように、このトピックに関するヒントは大歓迎です。

アップデート5

調和級数を使用した勾配

カラースムージングは​​比率に敏感です。

アップデート4

0.08と0.02の値を持つアルファベータフィルターを使用して、ソースとスムージングされたカラーで発生するカラーリングを書き直しました。

ズームアウトすると少し良くなる

次のステップは素晴らしいカラーパレットを手に入れることです！

アップデート3

黄色は媒体を表します

まだズームされていないときはそれほど良くありません。

（パレットにはいくつかの深刻な作業が必要です）

アップデート2

ピシェネットからの2番目の「音色」係数ヒントを使用した予備テスト

アップデート1

EchoNestサービスからの分析結果を使用した予備テストです。うまく調整されていない（私のせい）ことに注意してください。ただし、上記のアプローチよりも一貫性があります。

この素晴らしいAPIの使用に興味がある人は、ここから始めてください：http : //developer.echonest.com/docs/v4/track.html#profile

また、これらの波形は3つの異なる曲を表しているため、これらの波形と混同しないでください。

最初の質問

これまでのところ、これは256サンプルのFFTを使用して各チャンクのスペクトル重心を計算した結果です。

計算の生の結果

いくつかのスムージングが適用されました（フォームを使用すると、見た目がはるかに良くなります）

生成される波形

理想的には、これは次のようになります（Serato DJソフトウェアから取得）。

平均的な周波数が時間とともに変化するときに、オーディオを分割するために使用できるテクニック/アルゴリズムを知っていますか？（上の画像のように）

最初に次のことを試すことができます（セグメンテーションなし）。

• 信号を小さなチャンク（たとえば10msから50msの持続時間）で処理します。必要に応じて、信号を50％オーバーラップさせます。
• 各チャンクのスペクトル重心を計算します。
• スペクトル重心値に非線形関数を適用して、使用するパレットカラーの均一な分布を取得します。対数は良い出発点です。別のオプションは、最初にファイル全体の他のセントロイド値の分布を計算し、次にこの分布のパーセンタイル（CDF）に従って色を付けることです。この適応アプローチにより、パレットの各色が均等に使用されることが保証されます。欠点は、このアダプティブアプローチを使用すると、あるファイルで青でプロットされているものは、別のファイルで青でプロットされているものと同じように聞こえないことです。

Seratoがこれを行うか、実際にさらに1歩進んで信号をセグメント化しようとするかは、図からは明らかではありません。音楽信号に音符が存在する瞬間を知ることは、それらを同期するのに役立つため、それが驚くことではないかもしれません！手順は次のとおりです。

• 信号の短期フーリエ変換（スペクトログラム）を計算します-短いオーバーラップセグメントでFFTを使用します（1024のFFTサイズまたは44.1kHzオーディオの2048で開始）。
• 開始検出関数を計算します。このペーパーをご覧になることをお勧めします。提案されたアプローチは非常に効果的で、C ++の実装でさえ10行未満で済みます。Yaafe -asで実装を見つけることができますComplexDomainOnsetDetection。
• 開始検出機能でピークを検出して、音符の開始位置を取得します。
• 検出されたオンセットで区切られたすべての時間セグメントでスペクトル重心を計算します（ウィンドウやゼロパッド、あるいはその両方を忘れないでください！）
• そして、非線形マップを忘れないでください！Serato波形の各音符の間に現れるグラディエント効果は、人為的に生成される可能性があることに注意してください。

これが機能するようになったら、「ぶら下がっている果物」は、各セグメントの他のいくつかの特徴（瞬間、少数のMFCC ...）を計算し、これらの特徴ベクトルに対してk平均を実行し、色を決定することです。クラスタインデックスを使用するセグメント。Ravelliの論文のセクションIIを参照してください。