タグ付けされた質問 「utf-8」

Sublime Text 3でファイルを開くと、下部にスクリーンショットのように文字エンコーディングを設定するオプションがあります。 これをUTF-8に設定するオプションがあります。これは、調査の結果、BOMなしのUTF-8を意味しますが、以下に示すように、BOM付きのUTF-8に設定したいと思います。 ST3内からこれを行うにはどうすればよいですか？

92 encoding  utf-8  sublimetext3  sublimetext2  byte-order-mark 

引用符、スペース、「エキゾチック」なUnicode文字を含む文字列をエンコードし、JavaScriptのencodeURIComponent関数と同じ出力を生成するものを考え出すために、Javaコードのさまざまなビットを試してきました。 私の拷問テスト文字列は「A」B±「 Firebugに次のJavaScriptステートメントを入力すると： encodeURIComponent('"A" B ± "'); -それから私は得る： "%22A%22%20B%20%C2%B1%20%22" これが私の小さなテストJavaプログラムです： import java.io.UnsupportedEncodingException; import java.net.URLEncoder; public class EncodingTest { public static void main(String[] args) throws UnsupportedEncodingException { String s = "\"A\" B ± \""; System.out.println("URLEncoder.encode returns " + URLEncoder.encode(s, "UTF-8")); System.out.println("getBytes returns " + new String(s.getBytes("UTF-8"), "ISO-8859-1")); } } -このプログラムは以下を出力します。 URLEncoder.encodeは％22A％22 …

92 java  javascript  unicode  utf-8 

私はjsonを使用してそのリソースを表すWebサービスを作成していますが、jsonをエンコードするための最良の方法について考えるのに少し行き詰まっています。json rfc（http://www.ietf.org/rfc/rfc4627.txt）を読むと、推奨されるエンコーディングがutf-8であることが明らかです。ただし、rfcは、文字を指定するための文字列エスケープメカニズムについても説明しています。これは通常、非ASCII文字をエスケープするために使用され、それによって結果のutf-8が有効なASCIIになると思います。 したがって、ASCII以外のUnicode文字（コードポイント）を含むjson文字列があるとします。私のWebサービスはそれをutf-8エンコードして返す必要がありますか、それともすべての非ASCII文字をエスケープして純粋なASCIIを返す必要がありますか？ ブラウザでjsonpまたはevalを使用して結果を実行できるようにしたいと思います。それは決定に影響しますか？utf-8に対するさまざまなブラウザのjavascriptサポートに関する私の知識が不足しています。 編集：結果をエンコードする方法に関する私の主な関心事は、実際には結果のブラウザー処理に関するものであることを明確にしたいと思いました。私が読んだことは、特にJSONPを使用する場合、ブラウザーがエンコードに敏感である可能性があることを示しています。この件に関して本当に良い情報が見つからなかったので、何が起こるかを確認するためにいくつかのテストを開始する必要があります。理想的には、必要ないくつかの文字のみをエスケープし、utf-8だけで結果をエンコードしたいと思います。

89 web-services  json  unicode  utf-8 

閉まっている。この質問はスタックオーバーフローのガイドラインを満たしていません。現在、回答を受け付けていません。 この質問を改善してみませんか？Stack Overflowのトピックとなるように質問を更新します。 3年前休業。 この質問を改善する したがって、XSSフィルタリングをテストするためのXSSチートシートがありますが、悪意のあるページの例以外に、UTF-8コードが動作不良のデータを処理できることを確認するための悪質なまたは不正なテストデータを見つけることができません。 テストに適したデータはどこにありますか？悪いデータはどこにありますか？または、トリッキーな文字のシーケンスとは何ですか？

88 unicode  utf-8 

Visual Studio2008プロジェクトのすべてのファイルを特定の文字エンコードで保存できるかどうか疑問に思います。混合エンコーディングを使用したソリューションがあり、それらをすべて同じにしたい（署名付きのUTF-8）。 単一のファイルを保存する方法を知っていますが、プロジェクト内のすべてのファイルはどうですか？

87 visual-studio  utf-8  character-encoding 

JavaScriptファイルの圧縮を行っていますが、コンプレッサーがファイルに文字が含まれていると文句を言っています。 これらの文字を検索して削除するにはどうすればよいですか？

86 file  unicode  utf-8  utf 

次のPerlプログラムを実行すると： perl -e 'use utf8; print "鸡\n";' この警告が表示されます： Wide character in print at -e line 1. このPerlプログラムを実行すると： perl -e 'print "鸡\n";' 警告は出ません。 use utf8PerlスクリプトでUTF-8文字を使用する必要があると思いました。なぜこれが機能しないのですか？どうすれば修正できますか？私はPerl5.16.2を使用しています。これがコマンドラインのワンライナーではなくファイルにある場合も、同じ問題が発生します。

86 perl  unicode  utf-8 

次のコード： var text = (new WebClient()).DownloadString("http://export.arxiv.org/api/query?search_query=au:Freidel_L*&start=0&max_results=20")); textとりわけ、文字列を含む変数になります 「$κ$-ミンコフスキー空間、スカラー場、およびローレンツ不変性の問題」 ただし、FirefoxでそのURLにアクセスすると、 $κ$-ミンコフスキー空間、スカラー場、およびローレンツ不変性の問題 これは実際には正しいです。私も試しました var data = (new WebClient()).DownloadData("http://export.arxiv.org/api/query?search_query=au:Freidel_L*&start=0&max_results=20"); var text = System.Text.UTF8Encoding.Default.GetString(data); しかし、これは同じ問題を引き起こしました。 ここのどこに問題があるのか​​わかりません。フィードはUTF8でエンコードされていることについて嘘をついていWebClientますか？ブラウザーはそれを理解するのに十分賢いですが、そうではありませんか？フィードは適切にUTF8でエンコードされていますWebClientが、他の方法で失敗していますか？これを軽減するために何ができますか？

85 .net  unicode  utf-8  webclient 

MySQLVARCHAR(32)で、UTF-8テーブルに新しいフィールドを作成した場合、そのフィールドに32バイトのデータまたは32文字（マルチバイト）を格納できることを意味しますか？

84 mysql  unicode  utf-8  varchar 

utf-8でエンコードされたアラビア語、英語、ロシア語のファイルがたくさんあります。Perlスクリプトを使用してこれらのファイルを処理しようとすると、次のエラーが発生します。 Malformed UTF-8 character (fatal) これらのファイルの内容を手動で確認したところ、奇妙な文字がいくつか見つかりました。今、私はこれらの文字をファイルから自動的に削除する方法を探しています。 とにかくそれをすることはありますか？

84 linux  bash  text  utf-8  character-encoding 

PyQt4からcsv形式のテキストファイルを作成しようとしていますQTableWidget。特殊文字が含まれているため、UTF-8エンコーディングでテキストを記述したいと思います。私は次のコードを使用します： import codecs ... myfile = codecs.open(filename, 'w','utf-8') ... f = result.table.item(i,c).text() myfile.write(f+";") セルに特殊文字が含まれるまで機能します。私も試してみました myfile = open(filename, 'w') ... f = unicode(result.table.item(i,c).text(), "utf-8") ただし、特殊文字が表示されると停止します。何が間違っているのかわかりません。

83 python  csv  encoding  utf-8 

データベースをmysqlからSQLServer（politics）に移行しました。これは、UTF8を使用した元のmysqlデータベースです。 今、私は/dba/7346/sql-server-2005-2008-utf-8-collat​​ion-charsetを読みました。SQLServer2008はutf8をサポートしていませんが、これは冗談ですか？ SQL Serverは、ほとんどがラテン語でエンコードされた複数のデータベースをホストします。移行されたデータベースはWeb公開を目的としているため、utf8エンコーディングを維持したいと思います。何かを見逃したことがありますか、それともアプリケーションレベルでenc / decする必要がありますか？

83 sql-server  utf-8 

メールを送信すると、英語以外の文字が表示されません。以下のように表示されます。 余生ä»ä» 実際にこれを引き起こす原因を知っているかもしれませんか？スクリプトにContent-typeとcharsetを追加しようとしても、同じように表示されます。 使った Mail::Factory("mail");

83 php  email  utf-8 

Unicodeで可能なすべての有効な組み合わせの数を説明付きで求めています。charは1、2、3、または4バイトとしてエンコードできることを知っています。また、その文字の開始バイトで長さがクリアされているのに、継続バイトに制限がある理由もわかりません。

82 unicode  utf-8  utf 

厳密なUnicodeプログラミングを行うにはどのような前提条件が必要ですか？ これは、私のコードがcharどこでも型を使用してはならず、wint_tおよびを処理できる関数を使用する必要があることを意味しwchar_tますか？ そして、このシナリオでマルチバイト文字シーケンスが果たす役割は何ですか？

82 c  unicode  utf-8  character-encoding  locale