ハッシュを一定数のバケットに均一に投影する方法

こんにちは仲間の統計学者、

ハッシュを生成するソース（たとえば、タイムスタンプとその他の情報を含む文字列を計算し、md5を使用してハッシュ化）があり、それを固定数のバケット（たとえば100）に投影したいと考えています。

サンプルハッシュ：0fb916f0b174c66fd35ef078d861a367

最初はハッシュの最初の文字のみを使用してバケットを選択することだと思っていましたが、これは非常に不均一な投影になります（つまり、一部の文字が非常にまれに表示され、他の文字が非常に頻繁に表示される）。

次に、このヘキサ文字列をchar値の合計を使用して整数に変換し、モジュロを使ってバケットを選択しようとしました。

import sys

for line in sys.stdin:
    i = 0
    for c in line:
        i += ord(c)
    print i%100

それは実際に機能しているようですが、これがなぜ、どの程度本当であるかを説明できる常識や理論上の結果があるかどうかはわかりません。

[編集]少し考えてから、次の結論に達しました。理論的には、ハッシュを数値として解釈することにより、（非常に大きな）整数に変換できます：i = h [0] + 16 * h [1] + 16 * 16 * h [2] ... + 16 ^ 31 * h [31]（各文字は16進数を表します）。次に、この大きな数をモジュロしてバケットスペースに投影します。[/編集]

よろしくお願いします！

注：ディスカッションから浮かび上がった答えをコメントにして、関心のある人が読みやすくする

（更新版）

$B$

主な手順は次のとおりです。

1. 各イベントハッシュする$e$$i$$2^N$
2. $\mathcal{R} \times [0, 1[$$p = \frac{i}{2^N}$
3. $b_i$$\frac{b_i}{B} \le p \lt \frac{b_{i+1}}{B}$

1.の一般的な解決策は、MurmurHashを使用して64ビットまたは128ビットの整数を生成することです。

$j = 1..B$$p$$[\frac{b_j}{B}, \frac{b_{j+1}}{B}[$

（python）擬似コードでは、全体的な手順は次のようになります。

def hash_to_bucket(e, B):
    i = murmurhash3.to_long128(str(e))
    p = i / float(2**128)
    for j in range(0, B):
        if j/float(B) <= p and (j+1)/float(B) > p:
            return j+1
    return B

（以前のバージョン、本当に最適ではありません）

最初の観察は、ハッシュのn番目の文字はアルファベットに関して均一に分散されるべきであるということです（ここでは16文字です-これを指摘してくれた@leonbloyのおかげです）。

次に、それを[0,100 [の範囲に射影するための秘訣は、ハッシュから2文字（たとえば、1番目と2番目の位置）を取得し、それを使って整数を生成することです。

int_value = int(hash[0])+16*int(hash[1])

この値は[0,16+（16-1）* 16 [の範囲内にあるため、[0、100 [の範囲内にバケットを生成するには、それを100にモジュロする必要 があります。コメントで指摘されているように、最初の文字は2番目の文字よりも影響力があるため、分布の均一性に影響を与えます。

bucket = int_value % 100

理論的には、数値として解釈することにより、ハッシュ全体を（非常に大きな）整数に変換できます：i = h [0] + 16 * h [1] + 16 * 16 * h [2] ... + 16 ^ 31 * h [31]（各文字は16進数を表します）。次に、この大きな数をモジュロしてバケットスペースに投影します。次に、iのモジュロを取ることは、分配的および加法的演算に分解できることに注意できます。

私は同様の問題を抱えており、より速くより簡単に任意の言語で実装できる別の解決策を思いつきました。

私の最初の考えは、アイテムを一定数のバケットで迅速かつ均一にディスパッチすること、そしてスケーラブルであるためにはランダム性を模倣することでした。

そのため、文字列（または実際には任意の種類のデータ）を指定すると、浮動小数点数を返すこの小さな関数を[0、1 [にコーディングしました。

ここPythonで：

import math
def pseudo_random_checksum(s, precision=10000):
    x = sum([ord(c) * math.sin(i + 1) for i,c in enumerate(s)]) * precision
    return x - math.floor(x)

もちろん、それはランダムではなく、実際には疑似ランダムでもありません。同じデータは常に同じチェックサムを返します。しかし、それはランダムに動作し、かなり高速です。

各アイテムをバケット番号math.floor（N * pseudo_random_checksum（item））に割り当てるだけで、簡単にディスパッチして後でNバケットのアイテムを取得できます。