漸近的成長率のどの定義を教えるべきですか？

35

標準的な教科書または伝統に従うとき、私たちのほとんどは、アルゴリズムクラスの最初の数回の講義で、大オー表記法の次の定義を教えますおそらく、すべての量指定子を含むリスト全体を提供することもあります。

f = O （ g ） iff （ \exists c > 0 ） （ \exists n_{0} \geq 0 ） （ \forall n \geq n_{0} ） （ f （ n ） \leq c \cdot g （ n ） ） 。

$f = O(g) \mbox{ iff } (\exists c > 0)(\exists n_0 \geq 0)(\forall n \geq n_0)(f(n) \leq c \cdot g(n)).$

$f = o(g) \mbox{ iff } (\forall c > 0)(\exists n_0 \geq 0)(\forall n \geq n_0)(f(n) \leq c \cdot g(n))$
$f = O(g) \mbox{ iff } (\exists c > 0)(\exists n_0 \geq 0)(\forall n \geq n_0)(f(n) \leq c \cdot g(n))$
$f = \Theta(g) \mbox{ iff } (\exists c > 0)(\exists d > 0)(\exists n_0 \geq 0)(\forall n \geq n_0)(d \cdot g(n) \leq f(n) \leq c \cdot g(n))$
$f = \Omega(g) \mbox{ iff } (\exists d > 0)(\exists n_0 \geq 0)(\forall n \geq n_0)(f(n) \geq d \cdot g(n))$
$f = \omega(g) \mbox{ iff } (\forall d > 0)(\exists n_0 \geq 0)(\forall n \geq n_0)(f(n) \geq d \cdot g(n))$ 。

ただし、これらの定義は、などの単純なことでも証明するのは簡単ではないため、私たちのほとんどはすぐに「限界のトリック」を導入するために動きます： $5 n \log^4 n + \sqrt{n\log n} = o(n^{10/9})$

$f = o(g)$ 場合存在している、 $\lim_{n \rightarrow \infty} f(n)/g(n)$ $0$
$f = O(g)$ 場合 $\lim_{n \rightarrow \infty} f(n)/g(n)$ 存在しない $+\infty$ 、
$f = \Theta(g)$ 場合 $\lim_{n \rightarrow \infty} f(n)/g(n)$ 存在し、どちらもではない $0$ も $+\infty$ 、
$f = \Omega(g)$ 場合 $\lim_{n \rightarrow \infty} f(n)/g(n)$ 存在しないが $0$ 、
$f = \omega(g)$ 場合 $\lim_{n \rightarrow \infty} f(n)/g(n)$ 存在している $+\infty$ 。

私の質問は：

、、、、およびの定義として制限条件を採用することを学部アルゴリズムクラスに教えることは大きな損失になりますか？とにかくそれは私たち全員が結局使用するものであり、量指定子の定義をスキップすることは皆の生活を楽にすることは私にはかなり明らかなようです。 $o$ $O$ $\Theta$ $\Omega$ $\omega$

標準の -definitionsが実際に必要とされる説得力のある自然なケースに遭遇したかどうか、またそうでない場合は、とにかく標準の -definitions を維持する説得力のある引数があるかどうかをたいと思います。 $c,n_0$ $c,n_0$

ds.algorithms soft-question teaching

— スリムトン
ソース

1

タグは実際には「教える」べきですが、関連するタグが見つからず、新しいタグを作成することはできません。

— スリムトン

1

これは基本的に、数量詞を限界のイプシロンデルタ定義に吸収します。私の唯一の懸念は、多くのCS学生が分析を行っていないため、限界の理解はほとんど機械的なことです。しかし、彼らが迅速に計算できるようにするために、それは簡単です。

— ヴォーグセンごと10

6

O（）の2つの定義は同等ではないことに注意してください（同じ注意がΘ（）とΩ（）に適用されます）。偶数nに対してf（n）= 2n、奇数nに対してf（n）= 1の場合を考えてみましょう。f（n）= O（n）ですか？この場合、f（n）=Θ（n）と言うことができるように、limではなくlimsupを使用することを好みます（ただし、定義ではどちらも許可していません）。しかし、これは私の個人的な好みかもしれません（そして非標準的な慣習でさえあります）。私はクラスを教えたことがありません。

— 伊藤剛

2

@Tsuyoshi：「リミットトリック」のポイントは、必要な条件ではないが十分な条件だということだと思いました。（場合も必要です。）振動関数の反例には制限がありません。

O ()

$O()$

o ()

$o()$

— アンドラスサラモン

1

各定義とプロパティで、シンボルをに置き換えてはいけませんか？の使用が学生として非常に邪魔であることがわかりました。

=

$=$

\in

$\in$

=

$=$

— ジェレミー

13

私は元の定義を数量詞で教えることを好みます。

IMO、人間は一般に、2つ以上の量指定子を直接交替して式と定義を理解するのに苦労しています。新しい数量詞を導入すると、定義の意味を明確にできます。ここでは、最後の2つの量指定子は「すべての十分に大きいnについて」を意味するだけなので、この種の数量化を導入すると役立ちます。

これらの概念を説明するために描いた絵は、量指定子のバージョンとよく一致しています。

制限の簡素化は、成長率の計算にのみ関心がある工学系の学生には有用ですが、コンピューターサイエンスの学生にはそれほど有用ではないと思います。実際、この単純化を使用すると、良いことよりも害になることがあります。

この考えは、イプシロン-デルタ定義の代わりに（多項式、べき乗、...、連鎖規則などの）導関数を計算するための規則を使用するという提案に似ていますが、IMHOは良い考えではありません。

— カベ
ソース

最終的な支配の概念も役立ちます： iff。今があるIFF ST。

f (x) ≪ g (x)

$f(x) \ll g(x)$

\esits m \forall n > m f (n) < g (n)

$\esits m \forall n>m f(n) < g(n)$

f \in O (g)

$f \in O(g)$

c > 0

$c>0$

f (x) ≪ c g (x)

$f(x) \ll c g(x)$

— カヴェー

9

編集：リビジョン3のメジャーリビジョン。

私はクラスを教えたことがないので、私たちが教えるべきことについて納得のいくように主張できるとは思いません。それにもかかわらず、ここに私がそれについて考えたことがあります。

書かれている「制限トリック」を適用できない自然な例があります。たとえば、サイズが2倍になる固定長配列を使用して（つまり、配列のサイズを超えようとするたびに、「可変長ベクトル」（C ++のvector <T>など）を実装するとします。配列を現在の2倍に再割り当てし、すべての要素をコピーします）。サイズS（nはアレイの）我々が格納Nベクトルの要素は、2より大きな最小の力であるかに等しいN。S（n）= O（n）と言いたいのですが、定義として書かれている「制限トリック」を使用すると、S（n）/ nは、範囲[1,2）で密に振動します。同じことがΩ（）とΘ（）にも当てはまります。

多少別の問題として、これらの表記を使用してアルゴリズムの複雑さを説明する場合、Ω（）の定義は時々不便であると思います（その定義は一般的だと思いますが）。limsup f（n）/ g（n）> 0の場合に限り、f（n）=Ω（g（n））と定義する方が便利です。これは、n（頂点の数nが奇数のグラフ上の完全な加工問題など）。同じことがΘ（）とω（）にも当てはまります。

したがって、私は個人的に、次の定義がアルゴリズムの複雑さを説明するために使用するのに最も便利であることを見つけます：関数f、gについて：ℕ→ℝ _{> 0}、

f（n）= o（g（n））limsup f（n）/ g（n）= 0の場合にのみ（これはlim f（n）/ g（n）= 0 と同等です。）
limsup f（n）/ g（n）<∞の場合にのみ、f（n）= O（g（n））
f（n）=Θ（g（n））0 <limsup f（n）/ g（n）<∞の場合のみ。
limsup f（n）/ g（n）> 0の場合に限り、f（n）=Ω（g（n））（これは、f（n）がo（g（n））ではないことに相当します
f（n）=ω（g（n））limsup f（n）/ g（n）=∞の場合のみ。（これは、f（n）がO（g（n））ではないことに相当します。）

または同等に、

F（N）= O（G（N））とのみすべてのための場合であれば、C > 0、十分に大きいため、N、F（N）≤ C ⋅ G（N）。
F（N）= O（G（N））と一部のみのためであればならC > 0、十分に大きいため、N、F（N）≤ C ⋅ G（N）。
f（n）=Θ（g（n））f（n）= O（g（n））およびf（n）=Ω（g（n））の場合にのみ
F（N）=Ω（G（N））場合にのみ、いくつかのためであれば、D無限に多くのために> 0、N、F（N）≥ D ⋅ G（N）。
F（N）=ω（G（N））毎および場合だけ、D > 0、無限に多くのためのN、F（N）≥ D ⋅ G（N）。

しかし、これが一般的な慣行であるかどうかはわかりません。また、教育に適しているかどうかもわかりません。問題は、代わりにliminfでΩ（）を定義したい場合があることです（最初の定義で行ったように）。たとえば、「このランダム化されたアルゴリズムのエラーの確率は2 ^-Ω（n）」と言うとき、エラーの確率が無限に多く nに対してのみ指数関数的に小さいことを意味しません！

— 伊藤剛
ソース

私もlimsupの定義を使用しますが、limsup（ほとんどすべて）を見ていない学生のために、とにかく明示的な量指定子に拡張する必要があります。

— ジェフ

@JeffE：ほとんどの学生がlimsupを見ていないことに同意します。したがって、limsupの定義を使用する場合は、代わりにクラスで数量詞を使用する必要があります。

— 伊藤剛

2

数量詞バージョンの問題は、数量化詞バージョンを覚えて視覚化することが難しいことです。は「上限点」と表現できるので、私は好きです。可能な説明は次のとおりです。「それはのようなものですことを除いて、シーケンスが収束しない場合は、シーケンス収束は、例えば非常に高速ないくつかのための間のアルゴリズム振動するので、場合にのみが動作します。、ゆっくりと他のために、その後、私たちは取ります最高限度点。」

l i m s u p

$limsup$

l i m

$lim$

l i m

$lim$

n

$n$

n

$n$

— ハインリッヒアプフェルス

実際、実行時間が変動するアルゴリズムの自然な例はありますか？

— ハインリッヒアプフェルムス

2

@Heinrich：n個の頂点でグラフの完全な一致を見つけるためのアルゴリズムの実行時間については既に述べましたが、それは自然な例としてカウントされますか？実行時間は振動しませんが、f（n）/ g（n）は振動する別の例を追加しました。この例ではスペースの複雑さについて説明していますが、同じ例の時間の複雑さには同じ特性があります。

— 伊藤剛

8

（1）より複雑な概念（2）f = O（g）をうまくキャプチャしないため（上で説明したように）、制限の使用は少し混乱します。私は通常、Natural（厳密に正の）数値からNatural数値（実行時間で十分です）までの関数について話します。

Dfn：f = O（g）すべてのnのCに対してf（n）<= C * g（n）がある場合

— ノーム
ソース

1

最初に、この定義が好きではありませんでした。なぜなら、「すべてn」と記述することは、O（）表記が大きなnの関数の動作のみを考慮するという重要な事実をあいまいにするためです。ただし、どの定義を選択しても、この事実を定義とともに説明する必要があると思います。そのように考えると、この単純な定義を述べることは非常に良いようです。

— 伊藤剛

このキャプチャエッセンスながら、私は嫌い、もし全てについて、全てについてまで、及び次にそれ以外の場合は、しかし、この定義はこの関係をキャプチャできません。そのため、何らかの意味で行儀の良い関数について手を振る必要があります。

f (n) = n

$f(n) = n$

n

$n$

g (n) = 0

$g(n) = 0$

n

$n$

N_{0}

$N_0$

g (n) = f (n) + 1

$g(n) = f(n)+1$

f = O (g)

$f=O(g)$

— アンドラスサラモン

2

範囲が自然数（0を含まない）である関数について説明するポイントは、g（n）= 0の問題にまったく該当しないことです。

— ノーム

1

@Warren Victor Shoupは、計算数論に関する本で、実行時間分析で代わりにという表記を使用しています。

l e n (a)

$len(a)$

\log a

$\log a$

— Srivatsanナラヤナン

1

@Warren（続き）これは、彼がそれを説明する方法です：「入力の面でアルゴリズムの実行中の時間を表現するには、我々は一般的に書くことを好むではなく。一つの理由は、審美的である：書き込み、実行時間がのビット長の関数であるという事実を強調もう一つの理由は、技術である：ビッグエンディアンのための任意のドメイン上の関数を含む見積り、適切な不等式がドメイン全体に保持する必要があり、そしてこのような理由のために、などの関数を使用するのは非常に不便です。これらの関数は、入力によっては消えるか、未定義です。

a

$a$

l e n (a)

$len(a)$

\log a

$\log a$

l e n (a)

$len(a)$

a

$a$

O

$O$

\log

$\log$

— Srivatsan Narayanan

5

私が基本的なコースを受講したとき、定義として、定理として他のものを与えられました。 $\exists c,n_0 \dots$

最初のものは、継続的というよりも離散的だと考える多くの人々にとってより自然であると思います。それはほとんどのコンピューター科学者です（私の経験では）。また、これらのことについて私たちが普段よりよく話している方法にも適合しています。「次数3の多項式関数があり、このには定数係数までの上限があります。」 $f$

編集：この定義を使用すると、この話し方にさらに近づくことができます：（はこの定義を通常与えられている定義に接続することに注意してください） $f \in \mathcal{O}(g) :\Leftrightarrow \exists c,d > 0 \forall n \geq 0 : f(n) \leq c\cdot g(n) + d$ $d=f(n_0)$

制限事項は、ペンと紙を使用した複雑度クラスの計算に非常に役立ちます。

いずれにせよ、学生にとって、（できれば）同等の定義が豊富にあることを知ることは非常に役立つと思います。彼らはそれを理解し、定義が等しくない場合の違いを見つけ出せるはずです。

— ラファエル
ソース

4

ほんの数年前にこれらの概念を研究してきましたが、私のクラスで理解するのが最も難しいものではありませんでした（誘導やコントラポジティブなどの概念とは対照的です）。私の意見では、限界とリンサップは微積分学に精通している人にとってより「直感的」です。しかし、そのような数学の基礎を持つ学生は、離散的な修飾子を処理できるように、とにかく理論的な背景を持っています。

また、さらに重要なことは、最終的にあなたの学生が他のcs理論の教科書を読み、おそらくいつか研究論文を読むことになることを忘れないでください。そのため、最初は理想的に考えられていなかったとしても、フィールドの標準表記に慣れている方がよいでしょう。標準の定義を取り入れれば、代替の定義を与えても害はありません。

— アミール
ソース

3

この問題に関する興味深い見解については、ドン・クヌースのよく書かれた手紙「Calculation via O notation」をご覧ください。彼は、「A」、「O」、「o」の表記法で計算を教えるべきであるという逆の見解を主張しています。

注：彼は、標準の「O」表記法を定義する予備ステップとして「A」表記法を使用しています。量あるの（すなわち、）、もし。特に、がと言うのは理にかなっています。 $x$ $A$ $y$ $x = A(y)$ $|x| \leq y$ $100$ $A(200)$

— スリヴァッサン・ナラヤナン
ソース

1

伊藤剛の定義はあまり正しくありません。リトルオメガとビッグオメガの定義では、limsupではなくliminfを使用する必要があります。big-thetaの定義には、liminfの下限とlimsupの上限の両方が必要です。
f（n）= O（g（n））の定義の1つは、lim f '（n）/ g（n）<infinityであるような別の関数f'（n）> = f（n）が存在することです。
初心者が回答を投稿できるのにコメントはできないのはなぜですか？

— ウォーレン・シューディ
ソース

1

項目1に関しては、私はすべての場合でリンサップを意味し、その理由は私の答えの2番目の段落で説明されています。

— 伊藤剛

残念ながら、これはスパムブロックメカニズムです。

— Suresh Venkat

麻生、答えにラテックスを使用できます。

— Suresh Venkat

1

まず、私がしようと開発し、学生にいくつかの直感を数式を表示する前に、。

「マージソートと挿入ソート」が出発点として適切です。

f = O （ g ） iff （ \exists c > 0 ） （ \exists n_{0} \geq 0 ） （ \forall n \geq n_{0} ） （ f （ n ） \leq c \cdot g （ n ） ） 。

$f = O(g) \mbox{ iff } (\exists c > 0)(\exists n_0 \geq 0)(\forall n \geq n_0)(f(n) \leq c \cdot g(n)).$

lim_{n \to \infty}

$\lim_{n \rightarrow \infty}$

別の側面は、具体的な研究プログラムに大きく依存しているということです。私見は以前の主題に応じて定義の1つがより適切です-私見はまだ両方を示し、両方のタイプのソリューションを受け入れることをお勧めします。

— グジェゴルツ・ヴィエルゾビエツキ
ソース