これらのUnicode結合文字はどうなっているのですか、またどのようにフィルタリングできますか？

Question 1

กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้ก็็็็็็็็็็็็็็็็็็็็กิิิิิิิิิิิิิิิิิิิิก้้้้้้้้้้้้้้้้้้้้

これらは最近、Facebookのコメントセクションに表示されました。

どうすればこれを消毒できますか？

Question 2

これらのユニコード文字はどうなっていますか？

それは、一連の結合文字を持つ文字です。問題の結合文字はベース文字の上に行きたいので、それらは（文字通り）積み上げられます。たとえば、

ก้้้้้้้้้้้้้้้้้้้้

...それはก（Thai character ko kai）（U + 0E01）で、その後にタイ語の結合文字mai tho（U + 0E49）が20コピー続きます。

どうすればこれを消毒できますか？

あなたは可能性があり、事前に処理したテキストを単一の文字に適用することができます結合文字の数を制限しますが、努力は価値が報酬ではないかもしれません。現在のすべての文字のデータシートが必要になるので、それらが組み合わされているか、または何であるかがわかります。一部の言語は単一のベースで複数の発音区別符号を使用して記述されているため、少なくともいくつかを許可する必要があります。これで、コメントをラテン文字セットに制限したい場合は、範囲チェックが簡単になりますが、コメントをいくつかの言語のみに制限したい場合は、これが唯一の選択肢です。unicode.orgの詳細情報、コードシートなど。

ところで、何かの文字がどのように構成されているのかを知りたい場合は、別の質問として、最近私はJSBinの簡潔で汚れた "Unicode Show Me"ページをコーディングしました。テキストをコピーしてテキスト領域に貼り付けるだけで、テキストを構成するすべてのコードポイント（〜文字）が表示され、上記のような各文字を説明するページへのリンクが表示されます。JavaScriptで記述されており、JavaScriptでU + FFFFを超える文字を処理するには、その質問に対して私がやりたい以上の作業を行う必要があるため、これはU + FFFF以下の範囲のコードポイントでのみ機能します（JavaScriptでは、「キャラクター」は常に 16ビット。つまり、一部の言語では、文字が2つの別々のJavaScript「文字」に分割される可能性があり、私はそれを考慮しませんでしたが、ほとんどのテキストで便利です...

Question 3

適切なUnicodeサポートを備えた正規表現エンジンを使用している場合、この種の文字列をサニタイズするのは簡単です。たとえば、Perlでは、次のように、すべての（ユーザーが認識する）文字から最初の結合マーク以外のすべてを削除できます。

#!/usr/bin/perl
use strict;
use utf8;

binmode(STDOUT, ':utf8');

my $string = "กิิ ก้้ ก็็ ก็็ กิิ ก้้ ก็็ กิิ ก้้ กิิ ก้้ ก็็ ก็็ กิิ ก้้ ก็็ กิิ ก้้";
$string =~ s/(\p{Mark})\p{Mark}+/$1/g; # Strip excess combining marks
print("$string\n");

これは印刷されます：

กิก้ก็ก็กิก้ก็กิก้กิก้ก็ก็กิก้ก็กิก้

Question 4

「これをどのように消毒できるか」は、TJ Crowderによって上記で最もよく回答されています。

しかし、サニタイズは間違ったアプローチであり、Cristy はoverflow:hiddencssを含む要素でそれを正しくしています。

少なくとも、それは私がそれを解決している方法です。

Question 5

わかりました。これを理解するのに少し時間がかかりましたが、キャラクターを組み合わせてザルゴを作成することはこれらに限定されているという印象を受けました。だから私はフリークを捕まえるために正規表現に従うことを期待しました。

([\u0300–\u036F\u1AB0–\u1AFF\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F]{2,})

そしてそれはうまくいきませんでした...

問題は、wikiのリストが結合文字の全範囲をカバーしていないことです。

ヒントになったのは"ก้้้้้้้้้้้้้้้้้้้้".charCodeAt(2).toString(16)=「e49」で、組み合わせの範囲ではなく「私用」に該当します。

C＃ではそれらは該当しUnicodeCategory.NonSpacingMark、次のスクリプトはそれらをフラッシュします。

    [Test]
    public void IsZalgo()
    {
        var zalgo = new[] { UnicodeCategory.NonSpacingMark };

        File.Delete("IsModifyLike.html");
        File.AppendAllText("IsModifyLike.html", "<table>");
        for (var i = 0; i < 65535; i++)
        {
            var c = (char)i;
            if (zalgo.Contains(Char.GetUnicodeCategory(c)))
            {


                File.AppendAllText("IsModifyLike.html", string.Format("<tr><td>{0}</td><td>{1}</td><td>{2}</td><td>A&#{3};&#{3};&#{3}</td></tr>\n",  i.ToString("X"), c, Char.GetUnicodeCategory(c), i));

            }
        }
        File.AppendAllText("IsModifyLike.html", "</table>");
    }

生成されたテーブルを見ると、どのテーブルがスタックしているかを確認できるはずです。Wikiで欠落している範囲の1つが06D6-06DC別の範囲です0730-0749。

更新：

ここでは、「通常の」範囲でバイパスされたものを含むすべてのzalgoを釣り出すはずの更新された正規表現があります。

([\u0300–\u036F\u1AB0–\u1AFF\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F\u0483-\u0486\u05C7\u0610-\u061A\u0656-\u065F\u0670\u06D6-\u06ED\u0711\u0730-\u073F\u0743-\u074A\u0F18-\u0F19\u0F35\u0F37\u0F72-\u0F73\u0F7A-\u0F81\u0F84\u0e00-\u0eff\uFC5E-\uFC62]{2,})

最も難しいのは、いったんそれを実行したら、それらを識別することです-上記のいくつかの優れたものを含む多数のソリューションがあります。

これにより時間を節約できることを願っています。