tr：アポストロフィをASCIIに変換します

を使用して、右単一引用符をアポストロフィに変換しようとしていtrます。

tr "`echo -e '\xE2\x80\x99'`" "`echo -e '\x27'`" < a > b

aこの例を含むと呼ばれるUTF-8エンコードされたファイルが与えられた場合：

We’re not a different species
“All alone?” Jeth mentioned.

OS XはBSD trを使用し、素晴らしい結果を生成します：

We're not a different species
“All alone?” Jeth mentioned.

UbuntuはGNU trを使用し、この厄介な結果を生成します。

We'''re not a different species
''<9C>All alone?''<9D> Jeth mentioned.

Ubuntuでこの変換を実現するにはどうすればよいですか？

次のような他のツールを試すことができますsed。

$ sed "s/’/'/g" <a
We're not a different species
“All alone?” Jeth mentioned.

または、単純な翻訳を行っているため、y次のコマンドを使用しますsed。

$ sed "y/’/'/" <a
We're not a different species
“All alone?” Jeth mentioned.

GNUtrはおそらく次の理由で機能しません。

現在、trシングルバイト文字のみを完全にサポートしています。最終的にはマルチバイト文字をサポートします。その場合、-C オプションは文字-c のセットを補完しますが、値のセットを補完します。この区別は、一部の値が文字ではない場合にのみ重要であり、これは、入力にエンコードエラーが含まれるマルチバイトエンコードを使用するロケールでのみ可能です。

そして’マルチバイト文字です：

$ echo -n \' | wc -c
1
$ echo -n ’ | wc -c  
3

二重引用符やその他の文字も変換したい場合は、GNUをiconv使用できます。

$ iconv -f utf-8 -t ascii//translit < a
We're not a different species
"All alone?" Jeth mentioned.

//TRANSLITサフィックスは伝えiconvターゲットエンコーディング（ここではASCII）のレパートリー外の文字のために、それが自動的に類似した文字やシーケンスを置き換えることができること。接尾辞がなければ、iconv翻訳できない文字が見つかるとすぐにgiveめます。

これ//TRANSLITはGNU拡張機能のように見えることに注意してください。POSIXiconvはサポートしていません。

次のいずれかのawkソリューションを使用できます。

awk '{gsub(/\xE2\x80\x99/, "\x27");print}' file # with Hex ASCII code

awk '{gsub(/’/, "\x27");print}' file

awk '{gsub(/\342\200\231/, "\47");print}'  file # with Octal ASCII code

awk '{gsub(/’/, "\47");print}' file

または

awk '{gsub(/’/, "'"'"'");print}' file

次の-sオプションを使用しますtr 。

$ echo "We’re not a different species"|tr -s "’" "'"
We're not a different species

からman tr ：

--truncate-set1
          first truncate SET1 to length of SET2