アルゴリズムを記述し、それらを証明し、分析する方法は？

The Art of Computer Programming（TAOCP）を読む前に、これらの質問を深く考えたことはありません。擬似コードを使用してアルゴリズムを記述し、それらを理解し、成長の順序についてのみ実行時間を推定します。TAOCPは徹底的に私の心を変更します。

TAOCPは、ステップとgotoを組み合わせた英語を使用してアルゴリズムを説明し、フローチャートを使用してアルゴリズムをより簡単に描写します。低レベルのように見えますが、特にフローチャートにはいくつかの利点があることに気付きました。計算がその矢印をたどるときの現在の状態についてのアサーションで各矢印にラベルを付け、アルゴリズムの帰納的証明を行うことができます。著者は言う：

著者の主張は、図4で行われたように、すべてのアサーションが暗黙的に満たされた点に到達した場合にのみアルゴリズムが有効である理由を本当に理解しているということです。

私はそのようなことを経験していません。別の利点は、各ステップが実行される回数をカウントできることです。キルヒホッフの最初の法則で確認するのは簡単です。実行時間を正確に分析していないため、実行時間を推定するときに一部が省略された可能性があります。$\pm1$

成長の順序の分析は役に立たない場合があります。たとえば、クイックソートとヒープソートはすべてであるため区別できません。ここで、はランダム変数予想数です。したがって、定数を分析する必要があります。およびしたがって、と良い。また、場合によっては、分散などの他の量を比較する必要があります。実行時間の増加順序の大まかな分析だけでは十分ではありません。TAOCPとして$E(T(n))=\Theta(n\log n)$$EX$$X$$E(T_1(n))=A_1n\lg n+B_1n+O(\log n)$$E(T_2(n))=A_2\lg n+B_2n+O(\log n)$$T_1$$T_2$ アルゴリズムをアセンブリ言語に変換し、実行時間を計算します。私にとっては難しすぎるので、実行時間をもう少し大まかに分析するためのテクニックを知りたいと思います。これは、C、C ++または擬似コード。

そして、主に研究活動で使用されている記述スタイルと、これらの問題の処理方法を知りたいです。

実行可能なアプローチには非常に多くの種類があります。どちらが最適かは、

• あなたが見せようとしているもの、
• どれだけの詳細が必要または必要か。

アルゴリズムがサブルーチンとして使用する広く知られているものである場合、多くの場合、より高いレベルに留まります。アルゴリズムが調査中の主要なオブジェクトである場合、おそらくより詳細にしたいでしょう。分析についても同じことが言えます。大まかなランタイムの上限が必要な場合は、ステートメントの正確なカウントが必要な場合とは異なります。

よく知られているMergesortアルゴリズムの3つの例を紹介します。

高いレベル

アルゴリズムMergesortはリストを取得し、それを2つの（ほぼ）等しい長さの部分に分割し、それらの部分リストを再帰し、（ソートされた）結果をマージして、最終結果がソートされるようにします。シングルトンまたは空のリストでは、入力を返します。

このアルゴリズムは明らかに正しいソートアルゴリズムです。リストの分割とマージは、それぞれで実装できます。これにより、最悪の場合のランタイム。マスター定理により、これは評価され。T （n ）= 2 T （$\Theta(n)$T（N）∈Θ（NログN$T(n) = 2T\left(\frac{n}{2}\right) + \Theta(n)$$T(n) \in \Theta(n\log n)$

中レベル

アルゴリズムMergesortは、次の擬似コードで提供されます。

procedure mergesort(l : List) {
  if ( l.length < 2 ) {
    return l
  }

  left  = mergesort(l.take(l.length / 2)
  right = mergesort(l.drop(l.length / 2)
  result = []

  while ( left.length > 0 || right.length > 0 ) {
    if ( right.length == 0 || (left.length > 0 && left.head <= right.head) ) {
      result = left.head :: result
      left = left.tail
    }
    else {
      result = right.head :: result
      right = right.tail
    }
  }

  return result.reverse
}

帰納法により正しさを証明します。長さが0または1のリストの場合、アルゴリズムは非常に正確です。帰納仮説として、任意の、ただし固定された自然なmergesortの長さが最大リストで正しく実行されると仮定します。ここで、を長さリストとします。帰納法の仮定により、およびホールド（非漸減）最初RESPのバージョンを並べ替えます。再帰呼び出し後の後半。したがって、ループはすべての反復で、まだ調査されていない最小の要素を選択し、それをに追加します。従ってからすべての要素を含む非ますますソートされたリストであり、そしてn > 1 L n + 1 L $n$$n>1$$L$$n+1$leftright$L$whileresultresultleftright。その逆は、非減少的にソートされたバージョンであり、返された結果であり、望ましい結果です。$L$

ランタイムに関しては、要素の比較とリスト操作（ランタイムを漸近的に支配する）をカウントしましょう。長さが2未満のリストはどちらも引き起こしません。長さがリストの場合、再帰呼び出しの入力、再帰呼び出し自体からの入力、およびloopとoneを準備することによって引き起こされる操作があります。両方の再帰パラメーターは、それぞれ最大リスト操作で計算できます。ループが正確に実行された多くても1つの要素を比較して、正確に2つのリストの操作で時間とすべての反復原因を。最終版はを使用するように実装できますn n 2 $n>1$whilereverse$n$while$n$reverse$2n$リスト操作-すべての要素が入力から削除され、出力リストに入れられます。したがって、操作カウントは次の繰り返しを満たします。

$\qquad \begin{align}T(0) = T(1) &= 0 \\ T(n) &\leq T\left(\left\lceil\frac{n}{2}\right\rceil\right) + T\left(\left\lfloor\frac{n}{2}\right\rfloor\right) + 7n\end{align}$

明らかに非減少であり、考慮するのに十分である漸近的な成長のために。この場合、繰り返しは単純化されますn = 2 $T$$n=2^k$

$\qquad \begin{align}T(0) = T(1) &= 0 \\ T(n) &\leq 2T\left(\frac{n}{2}\right) + 7n\end{align}$

マスター定理により、のランタイムに拡張されるが得られます。$T \in \Theta(n \log n)$mergesort

超低レベル

Isabelle / HOLでのMergesortのこの（一般化された）実装を検討してください。

types dataset  =  "nat * string"

fun leq :: "dataset \<Rightarrow> dataset \<Rightarrow> bool" where
   "leq (kx::nat, dx) (ky, dy) = (kx \<le> ky)"

fun merge :: "dataset list \<Rightarrow> dataset list \<Rightarrow> dataset list" where
"merge [] b = b" |
"merge a [] = a" |
"merge (a # as) (b # bs) = (if leq a b then a # merge as (b # bs) else b # merge (a # as) bs)"

function (sequential) msort :: "dataset list \<Rightarrow> dataset list" where
  "msort []  = []" |
  "msort [x] = [x]" |
  "msort l   = (let mid = length l div 2 in merge (msort (take mid l)) (msort (drop mid l)))"
by pat_completeness auto
  termination
  apply (relation "measure length")
by simp+

これには、明確な定義と終了の証明がすでに含まれています。ここで（ほぼ）完全な正当性の証拠を見つけます

「実行時」、つまり比較の回数については、前のセクションの繰り返しと同様の繰り返しを設定できます。マスター定理を使用して定数を忘れる代わりに、それを分析して、真の量に漸近的に等しい近似値を取得することもできます。完全な分析は[1]にあります。以下に大まかな概要を示します（Isabelle / HOLコードに必ずしも適合するとは限りません）。

上記のように、比較回数の繰り返しは

$\qquad \begin{align}f_0 = f_1 &= 0 \\ f_n &= f_{\left\lceil\frac{n}{2}\right\rceil} + f_{\left\lfloor\frac{n}{2}\right\rfloor} + e_n\end{align}$

ここで、は部分的な結果をマージするために必要な比較の数です²。床と天井を取り除くために、が偶数であるかどうかを区別するケースを実行します。$e_n$$n$

$\qquad \displaystyle \begin{cases} f_{2m} &= 2f_m + e_{2m} \\ f_{2m+1} &= f_m + f_{m+1} + e_{2m+1} \end{cases}$

とネストされた前方/後方差分を使用すると、e $f_n$$e_n$

$\qquad \displaystyle \sum\limits_{k=1}^{n-1} (n-k) \cdot \Delta\kern-.2em\nabla f_k = f_n - nf_1$。

合計は、ペロンの式の右側に一致します。私たちは、定義ディリクレ生成シリーズのとして$\Delta\kern-.2em\nabla f_k$

$\qquad \displaystyle W(s) = \sum\limits_{k\geq 1} \Delta\kern-.2em\nabla f_k k^{-s} = \frac{1}{1-2^{-s}} \cdot \underbrace{\sum\limits_{k \geq 1} \frac{\Delta\kern-.2em\nabla e_k}{k^s}}_{=:\ \boxminus(s)}$

ペロンの式と一緒に

$\qquad \displaystyle f_n = nf_1 + \frac{n}{2\pi i} \int\limits_{3-i\infty}^{3+i\infty} \frac{\boxminus(s)n^s}{(1-2^{-s})s(s+1)}ds$。

評価は、分析されるケースによって異なります。それ以外に、いくつかのトリックの後、剰余定理を適用して$\boxminus(s)$

$\qquad \displaystyle f_n \sim n \cdot \log_2(n) + n \cdot A(\log_2(n)) + 1$

ここで、は値を持つ周期関数です。[ − 1 、− 0.9 $A$$[-1,-0.9]$

1. Mellin変換と漸近： FlajoletとGolinによるマージソートの再発（1992）
2. 最適なケース： 最悪のケース： 平均的なケース：$e_n = \left\lfloor\frac{n}{2}\right\rfloor$
   $e_n = n-1$
   $e_n = n - \frac{\left\lfloor\frac{n}{2}\right\rfloor}{\left\lceil\frac{n}{2}\right\rceil + 1} - \frac{\left\lceil\frac{n}{2}\right\rceil}{\left\lfloor\frac{n}{2}\right\rfloor + 1}$

ダイクストラの「プログラミングの規律」は、アルゴリズムの分析と証明、および証明可能性の設計に関するものです。その本の序文で、ダイクストラは、分析するために適切に設計された非常に単純な構成されたミニ言語が、多くのアルゴリズムを形式的に説明するのに十分であることを説明します。

このような本を始めると、「どのプログラミング言語を使用するのか」という質問にすぐに直面しますが、これはそうではありません単なるプレゼンテーションの質問です！あらゆるツールの最も重要な、しかし最もとらえどころのない側面は、その使用法を自分で訓練する人々の習慣への影響です。ツールがプログラミング言語である場合、この影響は、私たちが好むと好まざるとにかかわらず、私たちの思考習慣への影響です。私の知る限りではその影響を分析した結果、既存のプログラミング言語もそのサブセットも私の目的に合わないという結論に達しました。一方で、新しいプログラミング言語の設計にはあまりにも準備ができていないので、次の5年間はそうしないと誓いました。（その前に、他の多くのものの中で、このモノグラフを書かなければなりませんでした。

後に彼は、自分がどれだけ小さな言語を手に入れることができたかを説明します。

読者に、ミニ言語を非常に小さくして、手続きや再帰すら含まないようにした理由を説明する必要があります。... 要点は、私のメッセージを伝えるためにそれらの必要性を感じなかった、ということです。慎重に選択された関心の分離が、あらゆる点で高品質のプログラムの設計に不可欠である方法。ミニ言語の控えめなツールは、自明ではないが非常に満足のいく設計を行うための十分な自由度をすでに与えてくれました。