未知の分布のデータを正規化する方法

特定のタイプの繰り返し測定データの最も適切な特性分布を見つけようとしています。

本質的に、私の地質学の分野では、イベント（岩石がしきい値温度以下に冷却された）が発生するまでの時間を調べるために、サンプル（岩石の塊）からの鉱物の放射年代測定をよく使用します。通常、各サンプルからいくつか（3〜10）の測定が行われます。次に、平均と標準偏差σが取得されます。サンプルの冷却年代から拡張することができますので、これは、地質学である10 5への10 9状況に応じて、年。$\mu$$\sigma$$10^5$$10^9$

ただし、測定値がガウス分布ではないことを信じる理由があります。「外れ値」は、任意に宣言されるか、またはパースの基準[Ross、2003]やディクソンのQ検定[Dean and Dixon、1951]などの基準によって宣言されますよくあり（たとえば、30分の1）、これらはほとんど常に古いものであり、これらの測定値が特徴的に右に歪んでいることを示しています。これが鉱物学的不純物に関係していることには、十分に理解されている理由があります。

$\mu$$\sigma$

これを行う最善の方法は何だろうと思っています。これまでのところ、約600個のサンプルを含むデータベースがあり、サンプルごとに2〜10個程度の測定値を複製しています。それぞれを平均値または中央値で割ってサンプルを正規化し、正規化されたデータのヒストグラムを見てみました。これは妥当な結果を生成し、データが一種の対数ラプラシアンであることを示しているようです：

ただし、これが適切な方法なのか、それとも気付いていないのに結果が偏っている可能性があるという警告があるのか​​はわかりません。誰かがこの種のことを経験し、ベストプラクティスを知っていますか？

各サンプルの（3-10）測定値の平均を取ることを検討しましたか？次に、結果の分布を操作できますか？これは、t分布を近似し、より大きいnの正規分布を近似しますか？

正規化を使用して、それが通常意味することを意味しているとは思わない。これは通常、平均や分散、または白色化などを正規化するようなものです。

あなたがやろうとしているのは、データで線形モデルを使用できるようにする非線形の再パラメータ化や機能を見つけることです。

これは簡単なことではなく、簡単な答えはありません。データ科学者に多くのお金が支払われる理由です;-)

非線形フィーチャを作成する比較的簡単な方法の1つは、フィードフォワードニューラルネットワークを使用することです。この場合、レイヤーの数とレイヤーごとのニューロンの数が、フィーチャを生成するネットワークの容量を制御します。容量が大きいほど、非線形性が高くなり、オーバーフィットが大きくなります。容量が小さい=>直線性が高く、バイアスが大きく、分散が小さい。

もう少し制御できる別の方法は、スプラインを使用することです。

最後に、手でそのような機能を作成することができますが、それはあなたがやろうとしていることだと思いますが、単純な「ブラックボックス」の答えはありません：データを慎重に分析し、パターンを探す必要があります。

4つのパラメーターの確率分布であるJohnsonファミリ（SL、SU、SB、SN）の分布を使用してみてください。各分布は、正規分布への変換を表します。