おおよそこのコードを使用して、テキストからストップワードを削除してい ます

私は以下を持っています

$ cat file
file
types
extensions

$ cat stopwords
i
file
types

grep -vwFf stopwords file

私は結果を期待しています： extensions

（私は間違っていると思います）

file
extensions

fileストップワードファイルで単語がスキップされたかのようです。今ここにクールなビットがあります：私は、単一の単語/文字変更することで、ストップワードファイルを変更した場合i、最初の行には、離れてから他のASCII文字にf、i、l、e、その後、同じgrepコマンドは私の異なると正しい結果を与えますextensions。

ここで何が起こっているのですか、どうすれば修正できますか？

Mac OSX GNU bash、バージョン4.4.12（1）でgrep（BSD grep）2.5.1-FreeBSDを使用しています。

これはのバグでありbsdgrep、複数のパターンが関係する場合に、現在のスキャン対象の行の一部を追跡する変数が、正規表現一致エンジンへの連続した呼び出しで上書きされます。

ローカル修正

これをある程度回避-wするには、この変数に依存して正しい操作を行うために失敗するオプションを使用せず、代わりに単語の最初と最後に一致する正規表現拡張子を使用して、stopwordsファイルを次のようにします。

\ <i \>
\ <ファイル\>
\ <タイプ\>

この回避策では、-Fオプションを使用しないことも必要になります。

なお、文書化された正規表現のコンポーネント[[:<:]]と[[:>:]]そのre_formatマニュアルは、あなたがおよそう伝えない、ここで働いています。これは、コンパイルされる正規表現ライブラリでbsdgrepGNU正規表現の互換性サポートがオンになっているためです。これは別のバグであり、修正されたと報告されています。

サービス修正

このバグは今年初めに修正されました。この修正はまだFreeBSDのSTABLEまたはRELEASEフレーバーには含まれていませんが、現在のところ報告されています。

これをgrepFreeBSDから派生したのMacOSバージョンに組み込むには、bsdgrepアップルにお問い合わせください。☺

参考文献

• ジョナサン・デ・ボイン・ポラード（2017-10-15）。複数のパターンを指定すると、bsdgrepが正しく動作しません。バグ＃223031。FreeBSD Bugzilla。
• カイル・エヴァンス（2017-04-03）。bsdgrep：マッチング動作を修正。リビジョン316477。FreeBSDソース。
• カイル・エヴァンス（2017-05-02）。bsdgrep：-w -vが特定のパターンと不適切に一致する問題を修正しました 。リビジョン317665。FreeBSDソース。
• ネイサンウィーク（2014-06-16）。grep（1）とbsdgrep（1）は[[：<：]]と[[：>：]]を認識しません。バグ＃191086。FreeBSD Bugzilla。

このコード：

pl " Input data file data1 and stopwords file data2:"
head data1 data2

pl " Expected output:"
cat $E

pl " Results, grep:"
# grep -vwFf stopwords file
grep -vwFf data2 data1

pl " Results, cgrep:"
cgrep -x1 -vFf data2 data1

生成する：

-----
 Input data file data1 and stopwords file data2:
==> data1 <==
file
types
extensions

==> data2 <==
i
file
types

-----
 Expected output:
extensions

-----
 Results, grep:
file
extensions

-----
 Results, cgrep:
extensions

次のようなシステム：

OS, ker|rel, machine: Apple/BSD, Darwin 16.7.0, x86_64
Distribution        : macOS 10.12.6 (16G29), Sierra
bash GNU bash 3.2.57

crewの詳細については、brewから、およびsourceforgeから入手できます。

cgrep   shows context of matching patterns found in files (man)
Path    : ~/executable/cgrep
Version : 8.15
Type    : Mach-O64-bitexecutablex86_64 ...)
Home    : http://sourceforge.net/projects/cgrep/ (doc)

乾杯、drl