REエラー：Mac OS Xでの不正なバイトシーケンス

iOSへのクロスコンパイルのためにMac OS X上のMakefile内の文字列を置き換えようとしています。文字列には二重引用符が埋め込まれています。コマンドは次のとおりです。

sed -i "" 's|"iphoneos-cross","llvm-gcc:-O3|"iphoneos-cross","clang:-Os|g' Configure

そしてエラーは：

sed: RE error: illegal byte sequence

二重引用符、コンマ、ダッシュ、コロンをエスケープしてみました。例えば：

sed -i "" 's|\"iphoneos-cross\"\,\"llvm-gcc\:\-O3|\"iphoneos-cross\"\,\"clang\:\-Os|g' Configure

私は問題をデバッグする時間をたっぷりと持っています。誰かがsed不正なバイトシーケンスの位置を印刷する方法を知っていますか？または、誰かが違法なバイトシーケンスを知っていますか？

^{sed 's/./@/' <<<$'\xfc'バイト0xfcが有効なUTF-8文字ではないため、症状を示すサンプルコマンドは失敗します。
対照的に、GNU sed（Linux、macOSにもインストール可能）は、エラーを報告せずに、無効なバイトを単に通過させることに注意してください。}

以前に受け入れられた回答の使用は、真のロケールのサポートを失うことを気にしない場合のオプションです（米国のシステムを使用していて、外国の文字を処理する必要がない場合は、問題ないかもしれません）。

ただし、同じ効果は、1つのコマンドに対してのみアドホックにできます。

LC_ALL=C sed -i "" 's|"iphoneos-cross","llvm-gcc:-O3|"iphoneos-cross","clang:-Os|g' Configure

注：どのような重要なのである効果 LC_CTYPEの設定C、そうLC_CTYPE=C sed ...でしょう、通常ならば、作業が、LC_ALL（以外に設定することを起こるC）、それは個々の優先されますLC_*よう-category変数をLC_CTYPE。したがって、最も堅牢なアプローチはを設定することLC_ALLです。

しかし、（効果）の設定LC_CTYPEにC扱い、文字列の各バイトは、独自の文字であるかのように（何もして、エンコードルールに基づいて解釈が実行されません）なしについて -マルチバイト・オン・デマンド-のためのUTF-8エンコーディング OS Xはデフォルトで採用していることここで、外部文字にはマルチバイトエンコーディングが使用されます。

一言で言えば、シェルとユーティリティが基本的な英語の文字（7ビットASCII範囲の文字）のみを認識するように設定LC_CTYPEするCと、外部の文字になります。は文字として扱われないため、たとえば、大文字と小文字の変換が失敗します。

この場合も、などのマルチバイトでエンコードされた文字を一致させる必要がなくé、単にそのような文字をに通したい場合は、これで問題ありません。

これで不十分な場合や、元のエラーの原因（問題の原因となった入力バイトの特定など）を理解し、必要に応じてエンコード変換を実行する場合は、以下をお読みください。

問題は、入力ファイルのエンコーディングがシェルのエンコーディングと一致しないことです。
より具体的には、入力ファイルには、UTF-8では無効な方法でエンコードされた文字が含まれています（@KlasLindbäckがコメントで述べているように）。これsedが、エラーメッセージがによって伝えようとしていることinvalid byte sequenceです。

ほとんどの場合、入力ファイルは、「西ヨーロッパ」言語のエンコードに頻繁に使用されるなどのシングルバイト8ビットエンコーディングをISO-8859-1使用します。

例：

アクセント付きの文字にàはUnicodeコードポイント0xE0（224）が含まれていISO-8859-1ます-と同じです。ただし、UTF-8エンコーディングの性質上、この単一のコードポイントは2バイト- として表されますが、UTF-8では単一バイト0xC3 0xA0を渡そうとすることは無効です。 0xE0

ここだ問題のデモの文字列を使用してvoilàのようにエンコードISO-8859-1して、àとして表さ1（ANSI-C-引用されたbashの文字列（経由バイト$'...'の用途があること）\x{e0}のバイトを作成するには）：

sedコマンドは事実上、単に入力を渡すだけの何もしないことに注意してください。ただし、エラーを引き起こすために必要です。

  # -> 'illegal byte sequence': byte 0xE0 is not a valid char.
sed 's/.*/&/' <<<$'voil\x{e0}'

問題を単に無視するには、上記のLCTYPE=Cアプローチを使用できます。

  # No error, bytes are passed through ('á' will render as '?', though).
LC_CTYPE=C sed 's/.*/&/' <<<$'voil\x{e0}'

入力のどの部分が問題の原因であるかを特定する場合は、次のことを試してください。

  # Convert bytes in the 8-bit range (high bit set) to hex. representation.
  # -> 'voil\x{e0}'
iconv -f ASCII --byte-subst='\x{%02x}' <<<$'voil\x{e0}'

出力には、上位ビットが設定されているすべてのバイト（7ビットのASCII範囲を超えるバイト）が16進数形式で表示されます。（ただし、これには正しくエンコードされたUTF-8マルチバイトシーケンスも含まれることに注意してください。UTF-8で無効なバイトを明確に識別するには、より洗練されたアプローチが必要になります。）

オンデマンドでエンコード変換を実行する：

標準ユーティリティiconvを使用して、（-t）および/または（-f）エンコーディングに変換できます。iconv -lサポートされているものをすべてリストします。

例：

上記の例にISO-8859-1基づいてLC_CTYPE、FROM をシェルで有効なエンコーディング（UTF-8デフォルトでは-basedに基づく）に変換します。

  # Converts to UTF-8; output renders correctly as 'voilà'
sed 's/.*/&/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')"

この変換により、外部文字を適切に一致させることができることに注意してください。

  # Correctly matches 'à' and replaces it with 'ü': -> 'voilü'
sed 's/à/ü/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')"

入力BACKをISO-8859-1処理後にに変換するには、結果を別のiconvコマンドにパイプするだけです。

sed 's/à/ü/' <<<"$(iconv -f ISO-8859-1 <<<$'voil\x{e0}')" | iconv -t ISO-8859-1

~/.bash_profileまたは~/.zshrcファイルに次の行を追加します。

export LC_CTYPE=C 
export LANG=C

私の回避策はPerlを使用していた：

find . -type f -print0 | xargs -0 perl -pi -e 's/was/now/g'

mklement0の答えは素晴らしいですが、小さな調整がいくつかあります。

bashを使用する場合は、のエンコーディングを明示的に指定することをお勧めしますiconv。また、バイトオーダーマークがないとUTF-8とASCIIの間で正当な混乱が生じる可能性があるため、（Unicode標準では推奨されていませんが）バイトオーダーマークを付加する必要があります。残念ながら、iconvエンディアン（UTF-16BEまたはUTF-16LE）を明示的に指定する場合は、バイトオーダーマークを付加しないのでUTF-16、プラットフォーム固有のエンディアンを使用するfile --mime-encodingを使用してから、を使用して、使用されている真のエンディアンを検出する必要がありますiconv。

（でiconvサポートされiconv -lているすべてのエンコーディングをリストすると、すべて大文字であるため、すべてのエンコーディングを大文字にします。）

# Find out MY_FILE's encoding
# We'll convert back to this at the end
FILE_ENCODING="$( file --brief --mime-encoding MY_FILE )"
# Find out bash's encoding, with which we should encode
# MY_FILE so sed doesn't fail with 
# sed: RE error: illegal byte sequence
BASH_ENCODING="$( locale charmap | tr [:lower:] [:upper:] )"
# Convert to UTF-16 (unknown endianness) so iconv ensures
# we have a byte-order mark
iconv -f "$FILE_ENCODING" -t UTF-16 MY_FILE > MY_FILE.utf16_encoding
# Whether we're using UTF-16BE or UTF-16LE
UTF16_ENCODING="$( file --brief --mime-encoding MY_FILE.utf16_encoding )"
# Now we can use MY_FILE.bash_encoding with sed
iconv -f "$UTF16_ENCODING" -t "$BASH_ENCODING" MY_FILE.utf16_encoding > MY_FILE.bash_encoding
# sed!
sed 's/.*/&/' MY_FILE.bash_encoding > MY_FILE_SEDDED.bash_encoding
# now convert MY_FILE_SEDDED.bash_encoding back to its original encoding
iconv -f "$BASH_ENCODING" -t "$FILE_ENCODING" MY_FILE_SEDDED.bash_encoding > MY_FILE_SEDDED
# Now MY_FILE_SEDDED has been processed by sed, and is in the same encoding as MY_FILE

sedコマンドの前にiconvコマンドをパイプするだけです。ex。file.txt入力：

iconv -f ISO-8859-1 -t UTF8-MAC file.txt | sed 's / something /àéèêçùû/ g' | .....

-fオプションは「from」コードセットで、-tオプションは「to」コードセット変換です。

大文字と小文字を区別してください。通常、Webページは<charset = iso-8859-1 "/>のように小文字で表示され、iconvは大文字を使用します。システムでiconvがサポートされているコードセットのリストは、コマンドiconv -lで表示されます。

UTF8-MACは、変換用の最新のOS Macコードセットです。

不正なバイトシーケンスの位置を出力するためにsedを取得する方法を知っている人はいますか？または、誰かが違法なバイトシーケンスを知っていますか？

$ uname -a
Darwin Adams-iMac 18.7.0 Darwin Kernel Version 18.7.0: Tue Aug 20 16:57:14 PDT 2019; root:xnu-4903.271.2~2/RELEASE_X86_64 x86_64

trを使用するだけで上記に答える方法の一部になりました。

クレジットカードの明細書である.csvファイルがあり、それをGnucashにインポートしようとしています。私はスイスを拠点にしているので、チューリッヒのような言葉を扱わなければなりません。数値フィールドのGnucashが「」を嫌うのではないかと疑って、単純にすべてを置き換え

; ;

と

;;

ここに行く：

$ head -3 Auswertungen.csv | tail -1 | sed -e 's/; ;/;;/g'
sed: RE error: illegal byte sequence

私はodを使用していくつかの光を当てました：このod -c出力の途中の374に注意

$ head -3 Auswertungen.csv | tail -1 | od -c
0000000    1   6   8   7       9   6   1   9       7   1   2   2   ;   5
0000020    4   6   8       8   7   X   X       X   X   X   X       2   6
0000040    6   0   ;   M   Y       N   A   M   E       I   S   X   ;   1
0000060    4   .   0   2   .   2   0   1   9   ;   9   5   5   2       -
0000100        M   i   t   a   r   b   e   i   t   e   r   r   e   s   t
0000120                Z 374   r   i   c   h                            
0000140    C   H   E   ;   R   e   s   t   a   u   r   a   n   t   s   ,
0000160        B   a   r   s   ;   6   .   2   0   ;   C   H   F   ;    
0000200    ;   C   H   F   ;   6   .   2   0   ;       ;   1   5   .   0
0000220    2   .   2   0   1   9  \n                                    
0000227

次に、正しいバイトコードが何であれ、374をtrに置き換えるようにしようと思うかもしれません。だから私は最初に、うまくいかなかった単純なものを試しましたが、問題のあるバイトがどこにあるかを示すという副作用がありました：

$ head -3 Auswertungen.csv | tail -1 | tr . .  ; echo
tr: Illegal byte sequence
1687 9619 7122;5468 87XX XXXX 2660;MY NAME ISX;14.02.2019;9552 - Mitarbeiterrest   Z

374キャラクターでtrベイルを見ることができます。

perlを使用するとこの問題を回避できるようです

$ head -3 Auswertungen.csv | tail -1 | perl -pne 's/; ;/;;/g'
1687 9619 7122;5468 87XX XXXX 2660;ADAM NEALIS;14.02.2019;9552 - Mitarbeiterrest   Z?rich       CHE;Restaurants, Bars;6.20;CHF;;CHF;6.20;;15.02.2019

私の回避策はgnuを使用していたsed。私の目的のためにうまくいきました。