robots.txtファイルで正規表現を使用してURLをブロックできますか？

いくつかの動的に生成されたURLがあります。

robots.txtファイルで正規表現を使用してこれらのURLをブロックできますか？

robots.txtでは正規表現は無効ですが、Google、Bing、および他の一部のボットはパターンマッチングを認識します。

URLのexampleどこかにany があるすべてのURLをブロックする場合は、ワイルドカードエントリを使用できます*

User-agent: *
Disallow: /*example

また、ドル記号$を使用して、URLをそのように終了する必要があることを指定することもできます。したがって、で終わるすべてのURLをブロックしたいが、URLの他の場所にあるURLはブロックしたくexampleないexample場合：

User-agent: *
Disallow: /*example$

Googleの詳細については、Robots.txtの仕様、Bingはこちら、Robots.txtファイルを作成する方法、およびMozに関するインタラクティブガイドはこちらにあります。