Pythonで取得したSQL Server VARCHAR列のエンコードの問題

最近、SQL Serverでvarchar（120）として保存されているフィールドに関連するエンコーディングに問題がありました。SSMSでは、varcharは次のように表示されます。

「ジョンベンを殺したのは誰？」

ただし、Pythonに取り込むと、次のようになります。

私はこれをPython側から調査しましたが、奇妙なことは何も起こっていません。私の理論では、SQL Serverのvarcharは、PythonではSSMSとは異なる方法で表示されるUTF-8文字を受け入れます。SQL Serverでのエンコードについてはあまり詳しくありません。誰かが私に次のことを知らせてくれますか？

• SSMSでvarcharのエンコーディングを表示する方法はありますか？たとえば、現在SSMSからのコンマを表示する代わりに、\ x82を参照してください。
• SQL Server 2008を使用しています。インポート/エクスポートツールを使用したり、フラットファイルにダンプしたりせずに、UTF-8文字のエンコードをASCII文字に変更する方法はありますか？つまり、クエリを介してこの変換を行うことができますか？
• クエリを介してプログラムで問題のあるレコードを特定する方法はありますか（問題は、ASCIIではサポートされていないUTF-8文字として定義されています）。

前もって感謝します！

使用sp_help N'table_name';して、このVARCHAR列の照合順序は次のとおりSQL_Latin1_General_CP1_CI_ASです。

SQL Serverは、いかなる状況でもUTF-8を格納しません。UTF-16リトルエンディアン（LE）を介してNVARCHAR（NCHARおよびを含むが、NTEXT決して使用しませんNTEXT）およびXML、またはVARCHAR（CHARおよびを含むが、TEXT使用しませんTEXT）を介してコードページに基づいた8ビットエンコーディングを取得します。

ここでの問題は、コードがその0x82文字を誤って変換し、UTF-8であると考えていることですが、そうではありません。0x82の値を持つUTF-8「文字」はありません。これが、「不明」/「 」の置換記号を取得する理由です。シングルバイト0x82の文字がないことを示す次のUTF-8テーブルを参照してください。

UTF-8エンコードテーブル

OPで述べたように、問題の列の照合順序はですSQL_Latin1_General_CP1_CI_AS。これは、8ビットエンコーディングがコードページ1252 （Windows Latin 1（ANSI））を使用していることを意味します。そして、そのチャート（文字名があるため、一番下のチャートまでスクロールします）の値0x82（「コードポイント」列で「82」を探します）を確認すると、実際にはSSMSに表示される単一の低9引用符です。その文字は、UTF-8では3バイトのシーケンスですE2 80 9A。

この手段のすべてが何であるか：コードページ1252へのSQL Server接続用のクライアントをコードするいずれかのセットにあなたのPythonコードの必要性、またはあなたが/変更する必要が返される文字列のエンコーディングを変換するからコードページ1252 に UTF-8。

もちろん、これがWebページに表示されている場合は、ページの宣言された文字セットをに変更できますが、Windows-1252UTF-8文字が既に存在する場合、ページの他の文字に干渉する可能性があります。