Djangoでユニコード文字列を保存すると、MySQLの「不正な文字列値」エラー

first_name、last_nameをDjangoのauth_userモデルに保存しようとすると、奇妙なエラーメッセージが表示されました。

失敗した例

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

成功例

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

MySQLの設定

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

テーブルの文字セットと照合順序

テーブルauth_userには、utf8_general_ci照合を使用したutf-8文字セットがあります。

UPDATEコマンドの結果

上記の値をUPDATEコマンドを使用してauth_userテーブルに更新しても、エラーは発生しませんでした。

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

PostgreSQL

上記の失敗した値は、Djangoでデータベースバックエンドを切り替えたときにPostgreSQLテーブルに更新されます。それは変だ。

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

しかし、http: //www.postgresql.org/docs/8.1/interactive/multibyte.htmlから、私は以下を見つけました：

Name Bytes/Char
UTF8 1-4

unicode charの最大長はPostgreSQLでは4バイトですが、MySQLでは3バイトであるため、上記のエラーが発生しましたか？

これらの答えのどれも私にとって問題を解決しませんでした。根本的な原因は：

4バイト文字をMySQLにutf-8文字セットで格納することはできません。

MySQLはutf-8文字に3バイトの制限があります（そうです、ここでDjango開発者がうまくまとめています）

これを解決するには、次のことを行う必要があります。

1. MySQLデータベース、テーブル、カラムを変更して、utf8mb4文字セットを使用します（MySQL 5.5以降でのみ利用可能）
2. Django設定ファイルで次のように文字セットを指定します。

settings.py

DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

注：データベースを再作成すると、「指定されたキーが長すぎました」という問題が発生する可能性があります。

最も可能性の高い原因は、CharField255のmax_lengthと何らかのインデックス（たとえば、一意）を持つaです。utf8mb4はutf-8より33％多い領域を使用するため、これらのフィールドを33％小さくする必要があります。

この場合、max_lengthを255から191に変更します。

または、MySQL設定を編集してこの制限を削除する こともできますが、django hackeryは必要です

更新：この問題に再び遭遇し、191文字に減らすことができなかったため、PostgreSQLに切り替えましたVARCHAR。

同じ問題があり、列の文字セットを変更することで解決しました。データベースにデフォルトの文字セットがある場合でもutf-8、MySQLではデータベースの列に別の文字セットを使用することが可能だと思います。これが私が使ったSQLクエリです：

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

この問題がある場合は、mysqlデータベースのすべての列を自動的に変更するPythonスクリプトを次に示します。

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()

新しいプロジェクトの場合は、データベースを削除し、適切な文字セットで新しいプロジェクトを作成します。

CREATE DATABASE <dbname> CHARACTER SET utf8;

上記のエラーを回避する1つの方法を見つけました。

データベースに保存

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

これは、そのような文字列をMySQLテーブルに保存し、表示用のテンプレートにレンダリングする前にデコードする唯一の方法ですか？

テキストフィールドの照合順序をUTF8_general_ciに変更すると、問題は解決します。

これはDjangoでは実行できません。

Unicode文字列を保存しようとしているのではなく、UTF-8エンコーディングでバイト文字列を保存しようとしている。それらを実際のUnicode文字列リテラルにします。

user.last_name = u'Slatkevičius'

または（文字列リテラルがない場合）utf-8エンコーディングを使用してデコードします。

user.last_name = lastname.decode('utf-8')

テーブルを変更するだけで、何もする必要はありません。このクエリをデータベースで実行するだけです。 ALTER TABLE table_nameCONVERT TO CHARACTER SET utf8

それは間違いなく動作します。

@madprops回答の改善-django管理コマンドとしてのソリューション：

import MySQLdb
from django.conf import settings

from django.core.management.base import BaseCommand


class Command(BaseCommand):

    def handle(self, *args, **options):
        host = settings.DATABASES['default']['HOST']
        password = settings.DATABASES['default']['PASSWORD']
        user = settings.DATABASES['default']['USER']
        dbname = settings.DATABASES['default']['NAME']

        db = MySQLdb.connect(host=host, user=user, passwd=password, db=dbname)
        cursor = db.cursor()

        cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

        sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
        cursor.execute(sql)

        results = cursor.fetchall()
        for row in results:
            print(f'Changing table "{row[0]}"...')
            sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
            cursor.execute(sql)
        db.close()

これが私以外の人を助けることを願っています:)