ruby 1.9：UTF-8の無効なバイトシーケンス

私はRuby（1.9）でクローラーを書いています。このクローラーは、多くのランダムサイトから大量のHTMLを消費します。
リンクを抽出するとき.scan(/href="(.*?)"/i)に、nokogiri / hpricot（大幅なスピードアップ）の代わりに使用することにしました。問題は、多くの " invalid byte sequence in UTF-8"エラーが発生することです。
私が理解したことから、net/httpライブラリにはエンコーディング固有のオプションがなく、入ってくるものは基本的に適切にタグ付けされていません。
その着信データを実際に処理する最良の方法は何でしょうか？.encode置換と無効なオプションを設定して試しましたが、今のところ成功していません...

Ruby 1.9.3では、String.encodeを使用して無効なUTF-8シーケンスを「無視」することが可能です。これは、1.8（iconv）と1.9（String＃encode）の。

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

または、本当に厄介な入力がある場合は、UTF-8からUTF-16に二重変換して、UTF-8に戻すことができます。

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

受け入れられた答えも他の答えも私にとってはうまくいきます。提案したこの投稿を見つけました

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

これで問題が解決しました。

私の現在の解決策は実行することです：

my_string.unpack("C*").pack("U*")

これは少なくとも私の主な問題であった例外を取り除くでしょう

これを試して：

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

HTMLパーサーを使用することをお勧めします。最速のものを見つけてください。

HTMLの解析は、見かけほど簡単ではありません。

ブラウザは、UTF-8 HTMLドキュメント内の無効なUTF-8シーケンスを解析し、「 」記号を挿入するだけです。したがって、HTMLの無効なUTF-8シーケンスが解析されると、結果のテキストは有効な文字列になります。

属性値の内部でも、ampなどのHTMLエンティティをデコードする必要があります

正規表現でHTMLを確実に解析できない理由をまとめた素晴らしい質問を次に示します。RegExは、 XHTML自己完結型タグを除くオープンタグと一致します。

これはうまくいくようです：

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

英語、ロシア語、その他のアルファベットが混在する文字列に遭遇したため、例外が発生しました。私はロシア語と英語だけを必要とし、これは現在私のために働きます：

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Nakilonの解決策は機能しますが、少なくともエラーを回避する限り、私の場合、Microsoft Excelから発生した奇妙なf-uped文字をCSVに変換し、それを（これを取得する）キリル文字Kとして登録しましたルビーは太字のKでした。これを修正するには、「iso-8859-1」を使用しました。CSV.parse(f, :encoding => "iso-8859-1")、これははるかに管理に私の気紛れdeakyキリル文字のKさんになって/\xCA/、私は、その後に削除可能性があり、string.gsub!(/\xCA/, '')

を使用する前にscan、要求されたページのContent-Typeヘッダーがtext/htmlであることを確認してください。UTF-8でエンコードされていない画像などへのリンクが存在する可能性があるためです。要素のhrefようなものを取得した場合、ページは非HTMLになる可能性もあります<link>。これを確認する方法は、使用しているHTTPライブラリによって異なります。次に、結果がasciiのみであることを確認しますString#ascii_only?（HTMLはasciiを使用することしか想定されていないため、UTF-8ではなく、エンティティはそれ以外で使用できます）。これらのテストの両方に合格した場合、使用しても安全scanです。

データを「気にしない」場合は、次のようにすることができます。

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

valid_encoding?合格したばかりだった。私は検索フィールドなので、同じ奇妙さを何度も見つけたので、システムが壊れないようにするために、次のようなものを使用しました。この情報を送信する前にユーザーエクスペリエンスを自動検証するように制御していないため（自動フィードバックで「ダミーアップ！」と言うなど）、それを取り込んで取り除き、空の結果を返すことができます。