タグ付けされた質問 「utf-8」

新しいサーバーをセットアップしていますが、WebアプリケーションでUTF-8を完全にサポートしたいと考えています。私は過去に既存のサーバーでこれを試しましたが、常にISO-8859-1にフォールバックする必要があるようです。 正確にどこにエンコーディング/文字セットを設定する必要がありますか？これを行うには、Apache、MySQL、およびPHPを構成する必要があることを認識しています。追跡できる標準のチェックリストはありますか、または不一致が発生した場所をトラブルシューティングしますか？ これは、MySQL 5、PHP 5、Apache 2を実行する新しいLinuxサーバー用です。

1191 php  mysql  linux  apache  utf-8 

との間utf8_general_ciでutf8_unicode_ci、パフォーマンスの点で違いはありますか？

1063 mysql  unicode  utf-8  collation  character-set 

UTF-8とBOMなしのUTF-8の違いは何ですか？どちらが良いですか？

818 unicode  utf-8  character-encoding  byte-order-mark 

閉まっている。この質問はスタックオーバーフローのガイドラインを満たしていません。現在、回答を受け付けていません。 この質問を改善してみませんか？ Stack Overflowのトピックとなるように質問を更新します。 4ヶ月前に閉鎖。 インポートファイルとして使用するためにCSVファイルに変換する必要があるスペイン語の文字（チルダなど）を含むExcelファイルがあります。ただし、「CSVとして保存」を実行すると、ASCII文字ではない「特殊な」スペイン語文字が壊されます。また、MacでExcelファイルを作成した元のユーザーからのように見える左と右の引用符と長いダッシュでこれを行うようです。 CSVは単なるテキストファイルなので、UTF8エンコーディングを処理できると確信しているので、Excelの制限だと思いますが、ExcelからCSVに変換して非ASCII文字を保持する方法を探していますそのまま。

607 excel  encoding  csv  utf-8 

Perlを使用して構築された最新のソリューションのほとんどがデフォルトでUTF-8を有効にしないのはなぜでしょうか。 コアPerlスクリプトには多くのレガシー問題があり、問題が発生する可能性があることを理解しています。しかし、私の視点から、21で番目の世紀、大きな新しいプロジェクト（または大きな視点でのプロジェクトは）最初からそのソフトウェアUTF-8証明を行う必要があります。それでも私はそれが起こっているのを見ません。たとえば、Mooseは厳格な警告を有効にしますが、Unicodeは無効にします。Modern :: Perlはボイラープレートも削減しますが、UTF-8処理は行いません。 どうして？2011年に最新のPerlプロジェクトでUTF-8を回避する理由はありますか？ @tchristへのコメントが長すぎたので、ここに追加します。 はっきりしないようです。いくつか追加してみましょう。 tchristと私は状況をかなり似ていますが、私たちの結論は完全に反対です。同意しますが、Unicodeの状況は複雑ですが、これが私たち（Perlユーザーおよびコーダー）が、UTF-8の処理を現在のように簡単にするいくつかのレイヤー（またはプラグマ）が必要な理由です。 tchristはカバーする多くの側面を指摘しました、私はそれらを数日あるいは数週間読んで考えます。それでも、これは私の趣旨ではありません。tchristは、「UTF-8を有効にする」単一の方法がないことを証明しようとします。私はそれについて議論する知識があまりありません。それで、私は生きている例に固執します。 楽堂をいじってみたところ、UTF-8は必要なだけそこにありました。私は何の問題もなく、それはうまくいった。おそらく、どこかもっと深いところにいくつかの制限があるかもしれませんが、最初は、テストしたすべてが期待どおりに機能しました。 最新のPerl 5でもそれは目標ではないでしょうか？私はもっ​​と強調します：コアPerlのデフォルトの文字セットとしてUTF-8を提案しているのではなく、新しいプロジェクトを開発している人のためにスナップでトリガーする可能性を提案しています。 別の例ですが、よりネガティブなトーンです。フレームワークは開発を容易にするはずです。数年前、私はWebフレームワークを試しましたが、「UTF-8の有効化」があまりに曖昧だったので、それらを捨てました。Unicodeサポートをフックする方法と場所が見つかりませんでした。時間のかかる作業だったので、古い方法を使う方が簡単だと思いました。今、私はここでMason 2 と同じ問題に対処するための恵みがあったことを見ました：Mason2 UTF-8をきれいにする方法は？。したがって、これはかなり新しいフレームワークですが、UTF-8で使用するには、その内部について深い知識が必要です。それは大きな赤い看板のようなものです：やめて、私を使わないで！ 私は本当にPerlが好きです。しかし、Unicodeの扱いは面倒です。私はまだ壁に向かって走っています。何らかの方法でtchristが正しく、私の質問に答えます。Perl5では複雑すぎるため、新しいプロジェクトはUTF-8を引き付けません。

557 perl  unicode  utf-8 

文字セット間でテキストファイルを変換する最も速くて簡単なツールまたは方法は何ですか？ 具体的には、UTF-8からISO-8859-15に、またはその逆に変換する必要があります。 すべてがうまくいきます：お好きなスクリプト言語のワンライナー、コマンドラインツール、またはOSやWebサイトなどのその他のユーティリティ。 これまでのベストソリューション： Linux / UNIX / OS X / cygwinの場合： Troels Arvinによって提案されたGnu iconvは、フィルターとして最適に使用されます。それは普遍的に利用できるようです。例： $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt ベンが指摘したように、iconvを使用したオンラインコンバータがあります。 ヌーのrecodeの（手動による提案）Cheekysoft変換するインプレースで一つまたは複数のファイルを。例： $ recode UTF8..ISO-8859-15 in.txt これはより短いエイリアスを使用します： $ recode utf8..l9 in.txt Recodeは、さまざまな行末タイプとエンコーディング間の変換に使用できるサーフェスもサポートしています。 改行をLF（Unix）からCR-LF（DOS）に変換します。 $ recode ../CR-LF in.txt Base64エンコードファイル： $ recode ../Base64 in.txt それらを組み合わせることもできます。 Unixの行末でBase64エンコードされたUTF8ファイルを、Dosの行末でBase64エンコードされたLatin 1ファイルに変換します。 $ …

526 text  unicode  utf-8  character-set 

ウィキペディアのUTF-8ページによると、私は人々から相反する意見を聞きました。 彼らは同じものですよね？誰かが明確にできますか？

504 unicode  encoding  utf-8  character-encoding  terminology 

UTF-8、UTF-16、UTF-32の違いは何ですか？ それらはすべてUnicodeを格納し、それぞれが文字を表すために異なるバイト数を使用することを理解しています。どちらを選択するかには利点がありますか？

487 unicode  utf-8  utf-16  utf  utf-32 

サンプルコード： >>> import json >>> json_string = json.dumps("ברי צקלה") >>> print json_string "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4" 問題：人間が読める形式ではありません。私の（スマートな）ユーザーは、JSONダンプを使用してテキストファイルを確認または編集することを望んでいます（XMLを使用したくありません）。 オブジェクトを（の代わりに\uXXXX）UTF-8 JSON文字列にシリアル化する方法はあり ますか？

474 python  json  unicode  utf-8  escaping 

一部のデータをCSVファイルにエクスポートするアプリケーションの一部を開発しています。アプリケーションは、すべてのレベルで多言語性を備えているため、常にUTF-8を使用します。しかし、そのようなCSVファイル（発音区別符号、キリル文字、ギリシャ文字を含む）をExcelで開くと、次のような期待される結果が得られませんГ„/Г¤, Г–/Г¶。また、開いているCSVファイルがUTF-8でエンコードされていることをExcelに強制的に理解させる方法がわかりません。またEF BB BF、UTF-8 BOMを指定してみましたが、Excelでは無視されます。 回避策はありますか？ PSどのツールがExcelのように動作する可能性がありますか？ 更新 私はコミュニティを質問の定式化と混同したと言わざるを得ません。この質問をしているときに、ExcelでUTF-8のCSVファイルを問題なく、流暢で透過的な方法で開く方法を求めました。しかし、私はそれを自動的に行うことを求める間違った処方を使用しました。これは非常に混乱し、VBAマクロオートメーションと競合します。私が最も感謝しているこの質問には2つの回答があります。Alexによる最初の回答https://stackoverflow.com/a/6002338/166589と、この回答を受け入れました。そしてマークによるhttps://stackoverflow.com/a/6488070/166589少し遅れて登場しました。使いやすさの観点から、ExcelはユーザーフレンドリーなUTF-8 CSVサポートが不足しているように見えたので、両方の答えが正しいと考え、Excelは実際には実行できなかったと述べたので、最初にAlexの答えを受け入れました。透過的に。ここで私は自動的に混乱しました。マークの答えは、より高度なユーザーが期待される結果を達成するためのより複雑な方法を促進します。どちらの回答も素晴らしいですが、Alexの回答は、明確に指定されていない質問に少しよく適合します。 アップデート2 最後の編集から5か月後、何らかの理由でアレックスの回答が消えていることに気づきました。私はそれが技術的な問題ではなかったことを本当に望んでおり、どの回答がより優れているかについてこれ以上議論がないことを願っています。だから私はマークの答えを最高のものとして受け入れています。

453 excel  csv  utf-8 

UTF-8とISO-8859-1の違いは何ですか？

401 utf-8  character-encoding  iso-8859-1 

Unicodeの基礎とは何か、なぜUTF-8またはUTF-16が必要なのか？私はこれをグーグルで研究し、ここでも検索しましたが、私にはわかりません。 VSSでファイル比較を行うと、2つのファイルのUTFが異なるというメッセージが表示されることがあります。なぜこれが当てはまるのでしょうか？ 簡単に説明してください。

395 unicode  encoding  utf-8  utf-16 

äöå通常のフィンランド語のテキストやЦжФ特殊なケースのようなキリル文字のアルファベットなどをサポートするために、Java Webアプリケーション（サーブレット+ JSP、フレームワークを使用しない）でUTF-8を機能させる必要があります。 私のセットアップは次のとおりです： 開発環境：Windows XP 実稼働環境：Debian 使用するデータベース：MySQL 5.x ユーザーは主にFirefox2を使用していますが、サイトへのアクセスにはOpera 9.x、FF3、IE7、Google Chromeも使用されています。 これを達成する方法は？

367 java  mysql  tomcat  encoding  utf-8 

JVM（1.5.x）で使用されるデフォルトの文字エンコーディングをプログラムで適切に設定するにはどうすればよいですか？ -Dfile.encoding=whatever古いJVM を使用する方法であった方法を読んだことがあります。私が入らない理由のために、私はその贅沢はありません。 私が試してみました： System.setProperty("file.encoding", "UTF-8"); そして、プロパティは設定されますが、getBytes以下の最後の呼び出しでUTF8を使用するようには見えません： System.setProperty("file.encoding", "UTF-8"); byte inbytes[] = new byte[1024]; FileInputStream fis = new FileInputStream("response.txt"); fis.read(inbytes); FileOutputStream fos = new FileOutputStream("response-2.txt"); String in = new String(inbytes, "UTF8"); fos.write(in.getBytes());

362 java  utf-8  character-encoding 

違いは何であるutf8mb4とutf8で文字セットMySQLは？ ASCII、UTF-8、UTF-16、UTF-32エンコーディングについてはすでに知っています。しかしutf8mb4、MySQLサーバーで定義されている他のエンコードタイプとのエンコードグループの違いを知りたいです。 utf8mb4ではなく使用することの特別な利点/提案はありutf8ますか？

341 mysql  encoding  utf-8  character-encoding  utf8mb4