スクラブルの文字の袋から単語を描画しない確率

タイルがあり、それぞれに文字が書かれたバッグがあるとします。あり文字'A'、とタイル 'B'で、というように、と 'ワイルドカード'タイルは、（私たちが持っている）。単語数が有限の辞書があるとします。交換せずにバッグからタイルを選びます。選択されたタイルが与えられた場合、辞書からゼロ語を形成できる確率をどのように計算（または推定）しますか？$n$$n_A$$n_B$$n_*$$n = n_A + n_B + \ldots + n_Z + n_*$$k$$k$

Scrabble（TM）に慣れていない人には、ワイルドカード文字を使用して任意の文字と一致させることができます。したがって、単語[ BOOT ]は、タイル 'B'、 '*'、 'O'、 'T'で 'スペル'できます。

問題の規模を理解するために、は7のように小さく、は約100で、辞書にはサイズ以下の約100,000語が含まれています。$k$$n$$k$

編集：「単語を形成する」とは、長さが以下の単語を意味します。したがって、単語[ A ]が辞書にある場合、バッグから単一の 'A'を描画するだけで、 '単語を形成しました'。辞書に長さ1の単語があると仮定できる場合、ワイルドカードの問題は根本的に単純化されます。存在する場合、ワイルドカードの描画は自動的に長さ1の単語に一致するため、ワイルドカードがない場合に集中できます。したがって、より滑りやすい形式の問題には、辞書に1文字の単語がありません。$k$

また、バッグから文字が描画される順序は重要ではないことを明示的に述べる必要があります。単語の「正しい」順序で文字を描く必要はありません。

これは、このスレッドで@vqvが投稿した素晴らしい作品に関する（長い！）コメントです。それは最終的な答えを得ることを目指しています。彼は辞書を単純化するという大変な仕事をしました。残っているのは、それを最大限に活用することです。彼の結果は、ブルートフォースソリューションが実行可能であることを示唆しています。すべての後に、ワイルドカードを含む、ある最大で 1は7つの文字で作ることができ、そしてそれは彼ら未満の1/10000のように見えるの言葉-万人の周りに、たとえば-意志有効な単語が含まれていない。 $27^7 = 10,460,353,203$

最初のステップは、ワイルドカード文字「？」で最小辞書を拡張することです。22文字は2文字の単語で表示されます（c、q、v、zを除くすべて）。これらの22文字にワイルドカードを追加して、これらを辞書に追加します：{a ?, b ?, d ?, ...、y？}が今です。辞書に表示されます。最後に、「??」を追加します 辞書に。結果の繰り返しを削除すると、342個の最小単語が含まれます。

非常に少ない量のエンコードを実際に使用するエレガントな方法は、この問題を代数的なものと見なすことです。単語は、文字の順序付けられていないセットと見なされ、単なる単項式です。たとえば、「spats」は単項式です。したがって、辞書は単項式のコレクションです。のように見えます$a p s^2 t$

$$\{a^2, a b, a d, ..., o z \psi, w x \psi, \psi^2\}$$

（混乱を避けるために、ワイルドカード文字にを記述しました）。$\psi$

ラックに有効な単語が含まれるのは、その単語がラックを分割する場合のみです。

より抽象的でありながら非常に強力な方法は、辞書が多項式環R = Z [ a 、b 、… 、z 、ψ ]で理想的な生成し、有効な語を持つラックが商でゼロになることです。R / Iを鳴らしますが、有効な語のないラックは商でゼロ以外のままです。Rのすべてのラックの合計を形成し、この商リングで計算する場合、単語のないラックの数は商の異なる単項式の数に等しくなります。$I$$R = \mathbb{Z}[a, b, \ldots, z, \psi]$$R/I$$R$

さらに、のすべてのラックの合計は簡単に表現できます。してみましょうα = A + B + ⋯ + Z + ψは、アルファベットのすべての文字の合計であること。 α 7は、各ラックのための1つの単項式を含有します。（追加のボーナスとして、その係数は各ラックの形成方法の数をカウントするため、必要に応じて確率を計算できます。）$R$$\alpha = a + b + \cdots + z + \psi$$\alpha^7$

（これがどのように機能するかを見るための）簡単な例として、（a）ワイルドカードを使用せず、（b）「a」から「x」までのすべての文字を単語と見なすと仮定します。次に、単語を形成できない唯一の可能なラックは、完全にyとzで構成されている必要があります。我々計算によって生成された理想を法{ 、B 、C 、··· 、X }従って一度に1つのステップ：$\alpha=(a+b+c+\cdots+x+y+z)^7$$\{a,b,c, \ldots, x\}$

$$\eqalign{ \alpha^0 &= 1 \cr \alpha^1 &= a+b+c+\cdots+x+y+z \equiv y+z \mod I \cr \alpha^2 &\equiv (y+z)(a+b+\cdots+y+z) \equiv (y+z)^2 \mod I \cr \cdots &\cr \alpha^7 &\equiv (y+z)^6(a+b+\cdots+y+z) \equiv (y+z)^7 \mod I \text{.} }$$

最終的な回答、から非単語ラックを取得する可能性を読み取ることができます。7 y z 6 + z 7：各係数は、対応するラックを描画できる方法をカウントします。例えば、2 Yの5 Zだ描画する21（7 ^ 26のうちの可能な）方法があるため、係数$y^7 + 7 y^6 z + 21 y^5 z^2 + 35 y^4 z^3 + 35 y^3 z^4 + 21 y^2 z^5 + 7 y z^6 + z^7$は21です。$y^2 z^5$

基本的な計算から、これが正解であることは明らかです。全体のポイントは、この手順が辞書の内容に関係なく機能するということです。

各段階で理想を法とするべき乗を減らすと、計算が減少することに注意してください。これが、このアプローチで明らかになった近道です。（例の終わり。）

多項式代数システムはこれらの計算を実装します。例えば、ここにMathematicaコードがあります：

alphabet =  a + b + c + d + e + f + g + h + i + j + k + l + m + n + o + 
            p + q + r + s + t + u + v + w + x + y + z + \[Psi];
dictionary = {a^2, a b, a d, a e, ..., w z \[Psi], \[Psi]^2};
next[pp_] := PolynomialMod[pp alphabet, dictionary];
nonwords = Nest[next, 1, 7];
Length[nonwords]

（辞書は@vqvのmin.dictから簡単に構築できます。必要に応じて直接指定できるほど短いことを示す行をここに入れます。）

出力-計算の10分を要する- （577958.あるNBで私は辞書を調製する際に小さなミスを犯したと私は私が今あることを望むものを反映するテキストを編集した577940.を得ていた、このメッセージの以前のバージョン正しい結果です！）私は予想していた数百万個弱でしたが、規模は同じです。

そのようなラックを取得する可能性を計算するには、ラックを引き出す方法の数を考慮する必要があります。私たちは一例で見たように、これは中にその係数に等しい。このようなラックを描画する可能性は、これらすべての係数の合計です。すべての文字を1に設定すると簡単に見つかります。$\alpha^7$

nonwords /. (# -> 1) & /@ (List @@ alphabet)

答えは1066056120に等しく、有効な単語を形成できないラックを引き出す確率は10.1914％になります（すべての文字が同じ可能性がある場合）。

文字の確率が異なる場合は、各文字を描かれる可能性に置き換えてください。

tiles = {9, 2, 2, 4, 12, 2, 3, 2, 9, 1, 1, 4, 2, 6, 8, 2, 1, 6, 4, 6, 
         4, 2, 2, 1, 2, 1, 2};
chances = tiles / (Plus @@ tiles);
nonwords /. (Transpose[{List @@ alphabet, chances}] /. {a_, b_} -> a -> b)

出力は1.079877553303％で、正確な答えです（ただし、近似モデルを使用し、置換を使用して描画します）。背中を見て、それが仕事をするためのデータ（アルファベット、辞書、およびアルファベット周波数）を入力する4本のラインを取り、わずか3行：次のパワー取る方法を説明しモジュロIを、再帰的に7電源を取る、と置き換え手紙の確率。$\alpha$$I$

Scrabbleおよびその変形で有効な単語を含まないラックを描くのは非常に困難です。以下は、最初の7タイルラックに有効な単語が含まれていない確率を推定するために書いたRプログラムです。モンテカルロアプローチとWords With Friendsレキシコンを使用します（公式のScrabbleレキシコンが簡単な形式で見つかりませんでした）。各トライアルでは、7タイルラックを描画し、ラックに有効な単語が含まれているかどうかを確認します。

最小限の言葉

ラックに有効な単語が含まれているかどうかを確認するためにレキシコン全体をスキャンする必要はありません。最小限の単語で構成される 最小限の辞書をスキャンするだけです。単語がサブセットとして他の単語を含まない場合、単語は最小です。たとえば、「em」は最小限の単語です。「空」ではありません。この点は、ラックに単語xが含まれている場合、xのサブセットも含まれている必要があるということです。言い換えると、最小限の単語が含まれていない場合、ラックには単語が含まれていません。幸いなことに、レキシコンのほとんどの単語は最小限ではないため、削除できます。順列に相当する単語をマージすることもできます。Words With Friendsのレキシコンを172,820から201の最小単語に減らすことができました。

ワイルドカードは、ラックや単語を文字の分布として扱うことで簡単に処理できます。ある分布から他の分布を引くことにより、ラックに単語が含まれているかどうかを確認します。これにより、ラックにない各文字の数がわかります。これらの数の合計がある場合ワイルドカードの数は、その単語は、ラックにあります。$\leq$

モンテカルロアプローチの唯一の問題は、興味のあるイベントが非常にまれであることです。したがって、十分に小さな標準誤差で推定値を得るには、多くの試行が必要です。私は（一番下に貼り付けられた）私のプログラムを実行した 試練となった最初のラックが有効な単語が含まれていないことを0.004の推定確率を。その推定の推定標準誤差は0.0002です。辞書をダウンロードするなど、Mac Proで実行するのに数分かかりました。$N=100,000$

誰かが効率的な正確なアルゴリズムを思い付くことができるかどうかに興味があります。包含/除外に基づく単純なアプローチは、組み合わせ爆発を伴う可能性があるようです。

包含除外

これは悪い解決策だと思いますが、とにかく不完全なスケッチです。原則として、計算を行うプログラムを作成できますが、仕様は曲がりくねります。

計算する確率は 右側の確率内部イベントは、イベントの和集合である： P （K ラック-tile単語を含んでいる）= P （∪ X ∈ M { K ラック-tileに含まれる  Xを} ）、

$$P(k\text{-tile rack does not contain a word}) = 1 - P(k\text{-tile rack contains a word}) .$$ $$P(k\text{-tile rack contains a word}) = P\left(\cup_{x \in M} \{ k\text{-tile rack contains }x \} \right),$$ $M$は最小限の辞書です。包含/除外式を使用して拡張できます。上記のイベントのすべての可能な交差点を考慮する必要があります。レッツのパワーセット表すMすなわち、すべての可能なサブセットの集合Mを。それから $\mathcal{P}(M)$$M$$M$ $$\begin{align} &P(k\text{-tile rack contains a word}) \\ &= P\left(\cup_{x \in M} \{ k\text{-tile rack contains }x \} \right) \\ &= \sum_{j=1}^{|M|} (-1)^{j-1} \sum_{S \in \mathcal{P}(M) : |S| = j} P\left( \cap_{x \in S} \{ k\text{-tile rack contains }x \} \right) \end{align}$$

最後に指定するのは、上の最後の行で確率を計算する方法です。多変量超幾何が含まれます。
ラック内のすべての単語含まれている場合であるSを。これは、ワイルドカードのために対処するのが苦痛です。条件付けにより、次の各ケースを考慮する必要があります：ラックにワイルドカードが含まれていない、ラックにワイルドカードが1つ含まれている、ラックにワイルドカードが2つ含まれている、...

$$\cap_{x \in S} \{ k\text{-tile rack contains }x \}$$ $S$

それから

$$\begin{align} &P\left( \cap_{x \in S} \{ k\text{-tile rack contains }x \} \right) \\ &= \sum_{w=0}^{n_{*}} P\left( \cap_{x \in S} \{ k\text{-tile rack contains }x \} | k\text{-tile rack contains } w \text{ wildcards} \right) \\ &\quad \times P(k\text{-tile rack contains } w \text{ wildcards}) . \end{align}$$

$2^{|M|}$$2^{|M|} \approx 3.2 \times 10^{60}$

考えられるすべてのラックをスキャンする

最小単語の可能なサブセットよりも可能なラックが少ないため、これは計算が簡単だと思います。可能な集合を連続的に減らす$k$-単語が含まれていないラックのセットを取得するまで、タイルラック。Scrabble（またはWords with Friends）の場合、可能な7タイルラックの数は数百億です。可能性のある単語を含まないものの数を数えるには、数十行のRコードで実行できるはずです。しかし、考えられるすべてのラックを列挙するだけでなく、もっとうまくやれるはずだと思います。たとえば、「aa」は最小限の単語です。これにより、複数の「a」を含むすべてのラックがすぐに削除されます。他の言葉で繰り返すことができます。最新のコンピューターでは、メモリーは問題になりません。7タイルのスクラブルラックに必要なストレージは7バイト未満です。最悪の場合、可能なすべてのラックを格納するために数ギガバイトを使用しますが、それも良い考えだとは思いません。誰かがこれについてもっと考えたいかもしれません。

モンテカルロRプログラム

# 
#  scrabble.R
#  
#  Created by Vincent Vu on 2011-01-07.
#  Copyright 2011 Vincent Vu. All rights reserved.
# 

# The Words With Friends lexicon
# http://code.google.com/p/dotnetperls-controls/downloads/detail?name=enable1.txt&can=2&q=
url <- 'http://dotnetperls-controls.googlecode.com/files/enable1.txt'
lexicon <- scan(url, what=character())

# Words With Friends
letters <- c(unlist(strsplit('abcdefghijklmnopqrstuvwxyz', NULL)), '?')
tiles <- c(9, 2, 2, 5, 13, 2, 3, 4, 8, 1, 1, 4, 2, 5, 8, 2, 1, 6, 5, 7, 4, 
           2, 2, 1, 2, 1, 2)
names(tiles) <- letters

# Scrabble
# tiles <- c(9, 2, 2, 4, 12, 2, 3, 2, 9, 1, 1, 4, 2, 6, 8, 2, 1, 6, 4, 6, 4, 
#            2, 2, 1, 2, 1, 2)


# Reduce to permutation equivalent words
sort.letters.in.words <- function(x) {
  sapply(lapply(strsplit(x, NULL), sort), paste, collapse='')
}

min.dict <- unique(sort.letters.in.words(lexicon))
min.dict.length <- nchar(min.dict)

# Find all minimal words of length k by elimination
# This is held constant across iterations:
#   All words in min.dict contain no other words of length k or smaller
k <- 1
while(k < max(min.dict.length))
{
  # List all k-letter words in min.dict
  k.letter.words <- min.dict[min.dict.length == k]

  # Find words in min.dict of length > k that contain a k-letter word
  for(w in k.letter.words)
  {
    # Create a regexp pattern
    makepattern <- function(x) {
      paste('.*', paste(unlist(strsplit(x, NULL)), '.*', sep='', collapse=''), 
            sep='')
    }
    p <- paste('.*', 
               paste(unlist(strsplit(w, NULL)), 
                     '.*', sep='', collapse=''), 
               sep='')

    # Eliminate words of length > k that are not minimal
    eliminate <- grepl(p, min.dict) & min.dict.length > k
    min.dict <- min.dict[!eliminate]
    min.dict.length <- min.dict.length[!eliminate]
  }
  k <- k + 1
}

# Converts a word into a letter distribution
letter.dist <- function(w, l=letters) {
  d <- lapply(strsplit(w, NULL), factor, levels=l)
  names(d) <- w
  d <- lapply(d, table)
  return(d)
}

# Sample N racks of k tiles
N <- 1e5
k <- 7
rack <- replicate(N,
                  paste(sample(names(tiles), size=k, prob=tiles), 
                        collapse=''))

contains.word <- function(rack.dist, lex.dist)
{
  # For each word in the lexicon, subtract the rack distribution from the 
  # letter distribution of the word.  Positive results correspond to the 
  # number of each letter that the rack is missing.
  y <- sweep(lex.dist, 1, rack.dist)

  # If the total number of missing letters is smaller than the number of 
  # wildcards in the rack, then the rack contains that word
  any(colSums(pmax(y,0)) <= rack.dist[names(rack.dist) == '?'])
}

# Convert rack and min.dict into letter distributions
min.dict.dist <- letter.dist(min.dict)
min.dict.dist <- do.call(cbind, min.dict.dist)
rack.dist <- letter.dist(rack, l=letters)

# Determine if each rack contains a valid word
x <- sapply(rack.dist, contains.word, lex.dist=min.dict.dist)

message("Estimate (and SE) of probability of no words based on ", 
        N, " trials:")
message(signif(1-mean(x)), " (", signif(sd(x) / sqrt(N)), ")")

$1$$k$

2番目の理由は、MCが実際に実行可能であるということです。あなたはそれを正しくしなければなりません。前のパラグラフは手がかりを提供します。単語をランダムに生成して検索するだけではありません。代わりに、最初に辞書を分析し、その構造を活用します。

$k!-1$

$k$次に、元の辞書の単語のソートされた代表から構築されたツリーで、このソートされた「単語」を探します。これは、{stop、post、pots、opts、spot}などのソート等価なすべての単語セットをマージするため、実際には元のツリーよりも小さくなります。実際、英語の辞書では、「so」が最初に見つかるため、このクラスの単語には到達しません。これを実際に見てみましょう。ソートされたマルチセットは「opst」です。「o」は文字{o、p、...、z}のみを含むすべての単語に分岐し、「p」は最大{o、p、...、z}のみを含むすべての単語に分岐します。 1つの「o」、最後に「s」が「so」の葉に分岐します。（もっともらしい候補「o」、「op」、「

ワイルドカードを処理するには修正が必要です。プログラマーにタイプを聞かせて、それについて考えてみましょう。辞書のサイズは増加しません（実際には減少します）。ツリーの走査は少し遅くなりますが、基本的な方法で変更することはありません。英語（ "a"、 "i"）のような1文字の単語を含む辞書では、複雑さはありません。ワイルドカードが存在するということは、単語を形成できることを意味します。（これは、元の質問が見た目ほど面白くないかもしれないことを示唆しています。）

要するに、単一の辞書検索には（a）ソートが必要です。$k$-文字マルチセットおよび（b）以下のトラバース $k$木の端。実行時間は$O(k \log(k))$。ソートされた順序でランダムなマルチセットを巧みに生成する場合（これを行うためのいくつかの効率的な方法を考えることができます）、実行時間は$O(k)$。これに反復回数を掛けて、合計実行時間を取得します。

実際のスクラブルセットと数百万回の反復で数秒でこの研究を実行できると思います。

モンテカルロアプローチ

迅速で汚いアプローチは、モンテカルロ研究を行うことです。ドロー$k$ タイル $m$ 回との各引き分け $k$タイルは、単語を形成できるかどうかを確認します。単語を形成できる回数を示します$m_w$。望ましい確率は次のとおりです。

$$1 - \frac{m_w}{m}$$

直接的なアプローチ

辞書内の単語の数を $S$。させて$t_s$ 私たちが形成できる方法の数である $s^\mbox{th}$ワード。に必要な文字数を$s^\mbox{th}$ 言葉によって示される ${m_a, m_b, ..., m_z}$ （つまり、 $s^\mbox{th}$ 言葉のニーズ $m_a$「a」の文字数など）。すべてのタイルで形成できる単語の数を示します$N$。

$$N = \binom{n}{k}$$

そして

$$t_s = \binom{n_a}{m_a} \binom{n_b}{m_b} ... \binom{n_z}{m_z}$$

（ワイルドカードタイルの影響を含めることは少し複雑です。この問題は今のところ延期します。）

したがって、望ましい確率は次のとおりです。

$$1 - \frac{\sum_s{t_s}}{N}$$