文字列をBytearrayに変換する方法

Question 1

JavaScriptを使用してbytearrayの文字列を変換するにはどうすればよいですか。出力は、以下のC＃コードと同等である必要があります。

UnicodeEncoding encoding = new UnicodeEncoding();
byte[] bytes = encoding.GetBytes(AnyString);

UnicodeEncodingは、デフォルトでリトルエンディアンのUTF-16であるため。

編集：上記のC＃コードを使用して、bytearrayで生成されたクライアント側をサーバー側で生成されたものと一致させる必要があります。

Question 2

これを実行しているC＃では

UnicodeEncoding encoding = new UnicodeEncoding();
byte[] bytes = encoding.GetBytes("Hello");

で配列を作成します

72,0,101,0,108,0,108,0,111,0

バイト配列

コードが255より大きい文字の場合、次のようになります。

バイト配列

JavaScriptで非常によく似た動作が必要な場合は、これを行うことができます（v2はもう少し堅牢なソリューションですが、元のバージョンは0x00〜0xffでのみ機能します）

var str = "Hello竜";
var bytes = []; // char codes
var bytesv2 = []; // char codes

for (var i = 0; i < str.length; ++i) {
  var code = str.charCodeAt(i);
  
  bytes = bytes.concat([code]);
  
  bytesv2 = bytesv2.concat([code & 0xff, code / 256 >>> 0]);
}

// 72, 101, 108, 108, 111, 31452
console.log('bytes', bytes.join(', '));

// 72, 0, 101, 0, 108, 0, 108, 0, 111, 0, 220, 122
console.log('bytesv2', bytesv2.join(', '));

スニペットを展開

Question 3

node.jsで機能するソリューションを探している場合は、次を使用できます。

var myBuffer = [];
var str = 'Stack Overflow';
var buffer = new Buffer(str, 'utf16le');
for (var i = 0; i < buffer.length; i++) {
    myBuffer.push(buffer[i]);
}

console.log(myBuffer);

Question 4

C＃とJavaは等しいバイト配列を生成すると思います。非ASCII文字がある場合は、0を追加するだけでは不十分です。私の例にはいくつかの特殊文字が含まれています。

var str = "Hell ö € Ω 𝄞";
var bytes = [];
var charCode;

for (var i = 0; i < str.length; ++i)
{
    charCode = str.charCodeAt(i);
    bytes.push((charCode & 0xFF00) >> 8);
    bytes.push(charCode & 0xFF);
}

alert(bytes.join(' '));
// 0 72 0 101 0 108 0 108 0 32 0 246 0 32 32 172 0 32 3 169 0 32 216 52 221 30

C＃がBOM（Byte Order Marks）を配置するかどうかはわかりませんが、UTF-16を使用する場合、JavaString.getBytesは次のバイトを追加します：254255。

String s = "Hell ö € Ω ";
// now add a character outside the BMP (Basic Multilingual Plane)
// we take the violin-symbol (U+1D11E) MUSICAL SYMBOL G CLEF
s += new String(Character.toChars(0x1D11E));
// surrogate codepoints are: d834, dd1e, so one could also write "\ud834\udd1e"

byte[] bytes = s.getBytes("UTF-16");
for (byte aByte : bytes) {
    System.out.print((0xFF & aByte) + " ");
}
// 254 255 0 72 0 101 0 108 0 108 0 32 0 246 0 32 32 172 0 32 3 169 0 32 216 52 221 30

編集：

特殊文字（U + 1D11E）MUSICAL SYMBOL G CLEF（BPMの外部、UTF-16で2バイトだけでなく4バイトも使用）を追加しました。

現在のJavaScriptバージョンは内部で「UCS-2」を使用しているため、この記号は2つの通常の文字のスペースを取ります。

よくわかりませんが、使用する場合 charCodeAtわかりすると、UTF-16でも使用されているサロゲートコードポイントが正確に取得されるため、BPM以外の文字は正しく処理されます。

この問題は絶対に重要です。使用するJavaScriptのバージョンとエンジンによって異なる場合があります。したがって、信頼性の高いソリューションが必要な場合は、以下を参照してください。

https://github.com/koichik/node-codepoint/
http://mathiasbynens.be/notes/javascript-escapes
Mozilla開発者ネットワーク：charCodeAt
BigEndianとLittleEndian

Question 5

2018年の最も簡単な方法はTextEncoderですが、返される要素はバイト配列ではなく、Uint8Arrayです。（そして、すべてのブラウザがそれをサポートしているわけではありません）

let utf8Encode = new TextEncoder();
utf8Encode.encode("eee")
> Uint8Array [ 101, 101, 101 ]

Question 6

UTF-16バイト配列

JavaScriptは、C＃と同様に文字列をUTF-16としてエンコードするUnicodeEncodingため、バイト配列はcharCodeAt()、を使用して正確に一致し、返された各バイトペアを次のように2つの別々のバイトに分割する必要があります。

function strToUtf16Bytes(str) {
  const bytes = [];
  for (ii = 0; ii < str.length; ii++) {
    const code = str.charCodeAt(ii); // x00-xFFFF
    bytes.push(code & 255, code >> 8); // low, high
  }
  return bytes;
}

例えば：

strToUtf16Bytes('🌵'); 
// [ 60, 216, 53, 223 ]

ただし、UTF-8バイト配列を取得する場合は、バイトをトランスコードする必要があります。

UTF-8バイト配列

解決策はやや自明ではないように感じますが、トラフィックの多い本番環境で以下のコードを使用して大成功を収めました（元のソース）。

また、興味のある読者のために、PHPなどの他の言語で報告された文字列の長さを処理するのに役立つUnicodeヘルパーを公開しました。

/**
 * Convert a string to a unicode byte array
 * @param {string} str
 * @return {Array} of bytes
 */
export function strToUtf8Bytes(str) {
  const utf8 = [];
  for (let ii = 0; ii < str.length; ii++) {
    let charCode = str.charCodeAt(ii);
    if (charCode < 0x80) utf8.push(charCode);
    else if (charCode < 0x800) {
      utf8.push(0xc0 | (charCode >> 6), 0x80 | (charCode & 0x3f));
    } else if (charCode < 0xd800 || charCode >= 0xe000) {
      utf8.push(0xe0 | (charCode >> 12), 0x80 | ((charCode >> 6) & 0x3f), 0x80 | (charCode & 0x3f));
    } else {
      ii++;
      // Surrogate pair:
      // UTF-16 encodes 0x10000-0x10FFFF by subtracting 0x10000 and
      // splitting the 20 bits of 0x0-0xFFFFF into two halves
      charCode = 0x10000 + (((charCode & 0x3ff) << 10) | (str.charCodeAt(ii) & 0x3ff));
      utf8.push(
        0xf0 | (charCode >> 18),
        0x80 | ((charCode >> 12) & 0x3f),
        0x80 | ((charCode >> 6) & 0x3f),
        0x80 | (charCode & 0x3f),
      );
    }
  }
  return utf8;
}

Question 7

@hgoeblの答えに触発されました。彼のコードはUTF-16用で、US-ASCII用のものが必要でした。したがって、US-ASCII、UTF-16、およびUTF-32をカバーするより完全な回答があります。

/**@returns {Array} bytes of US-ASCII*/
function stringToAsciiByteArray(str)
{
    var bytes = [];
   for (var i = 0; i < str.length; ++i)
   {
       var charCode = str.charCodeAt(i);
      if (charCode > 0xFF)  // char > 1 byte since charCodeAt returns the UTF-16 value
      {
          throw new Error('Character ' + String.fromCharCode(charCode) + ' can\'t be represented by a US-ASCII byte.');
      }
       bytes.push(charCode);
   }
    return bytes;
}
/**@returns {Array} bytes of UTF-16 Big Endian without BOM*/
function stringToUtf16ByteArray(str)
{
    var bytes = [];
    //currently the function returns without BOM. Uncomment the next line to change that.
    //bytes.push(254, 255);  //Big Endian Byte Order Marks
   for (var i = 0; i < str.length; ++i)
   {
       var charCode = str.charCodeAt(i);
       //char > 2 bytes is impossible since charCodeAt can only return 2 bytes
       bytes.push((charCode & 0xFF00) >>> 8);  //high byte (might be 0)
       bytes.push(charCode & 0xFF);  //low byte
   }
    return bytes;
}
/**@returns {Array} bytes of UTF-32 Big Endian without BOM*/
function stringToUtf32ByteArray(str)
{
    var bytes = [];
    //currently the function returns without BOM. Uncomment the next line to change that.
    //bytes.push(0, 0, 254, 255);  //Big Endian Byte Order Marks
   for (var i = 0; i < str.length; i+=2)
   {
       var charPoint = str.codePointAt(i);
       //char > 4 bytes is impossible since codePointAt can only return 4 bytes
       bytes.push((charPoint & 0xFF000000) >>> 24);
       bytes.push((charPoint & 0xFF0000) >>> 16);
       bytes.push((charPoint & 0xFF00) >>> 8);
       bytes.push(charPoint & 0xFF);
   }
    return bytes;
}

UTF-8は可変長であり、エンコーディングを自分で作成する必要があるため、含まれていません。UTF-8とUTF-16は可変長です。UTF-8、UTF-16、およびUTF-32には、名前が示すように最小ビット数があります。UTF-32文字のコードポイントが65の場合、先行する0が3つあることを意味します。ただし、UTF-16の同じコードには、先頭に0が1つしかありません。一方、US-ASCIIは固定幅の8ビットであるため、バイトに直接変換できます。

String.prototype.charCodeAt最大2バイトを返し、UTF-16と完全に一致します。ただしString.prototype.codePointAt、ECMAScript 6（Harmony）提案の一部であるUTF-32が必要です。charCodeAtはUS-ASCIIが表すことができるよりも多くの可能な文字である2バイトを返すので、関数stringToAsciiByteArrayは文字を半分に分割してどちらかまたは両方のバイトを取る代わりにそのような場合にスローします。

文字エンコードは重要であるため、この答えは重要であることに注意してください。必要なバイト配列の種類は、それらのバイトで表す文字エンコードによって異なります。

javascriptには、UTF-16またはUCS-2のいずれかを内部的に使用するオプションがありますが、UTF-16のように動作するメソッドがあるため、ブラウザーがUCS-2を使用する理由がわかりません。https://mathiasbynens.be/notes/javascript-encodingも参照してください。

はい、質問が4歳であることは知っていますが、自分でこの回答が必要でした。

Question 8

私は答えにコメントすることができないので、私はジン・イズレールの答えに基づいています

var myBuffer = [];
var str = 'Stack Overflow';
var buffer = new Buffer(str, 'utf16le');
for (var i = 0; i < buffer.length; i++) {
    myBuffer.push(buffer[i]);
}

console.log(myBuffer);

ブラウザでNode.jsバッファを使用する場合は、これを使用できると言ってください。

https://github.com/feross/buffer

したがって、トム・スティッケルの異議は有効ではなく、その答えは確かに有効な答えです。

Question 9

String.prototype.encodeHex = function () {
    return this.split('').map(e => e.charCodeAt())
};

String.prototype.decodeHex = function () {    
    return this.map(e => String.fromCharCode(e)).join('')
};

Question 10

私がその場で思いついた最善の解決策は（おそらく粗雑ですが）次のようになります。

String.prototype.getBytes = function() {
    var bytes = [];
    for (var i = 0; i < this.length; i++) {
        var charCode = this.charCodeAt(i);
        var cLen = Math.ceil(Math.log(charCode)/Math.log(256));
        for (var j = 0; j < cLen; j++) {
            bytes.push((charCode << (j*8)) & 0xFF);
        }
    }
    return bytes;
}

私はこの質問が1年以上ここにあることに気づきましたが。

Question 11

私は質問がほぼ4歳であることを知っています、しかしこれは私とスムーズに働いたものです：

String.prototype.encodeHex = function () {
  var bytes = [];
  for (var i = 0; i < this.length; ++i) {
    bytes.push(this.charCodeAt(i));
  }
  return bytes;
};

Array.prototype.decodeHex = function () {    
  var str = [];
  var hex = this.toString().split(',');
  for (var i = 0; i < hex.length; i++) {
    str.push(String.fromCharCode(hex[i]));
  }
  return str.toString().replace(/,/g, "");
};

var str = "Hello World!";
var bytes = str.encodeHex();

alert('The Hexa Code is: '+bytes+' The original string is:  '+bytes.decodeHex());

スニペットを展開

または、文字列のみを操作し、配列を操作しない場合は、次を使用できます。

String.prototype.encodeHex = function () {
  var bytes = [];
  for (var i = 0; i < this.length; ++i) {
    bytes.push(this.charCodeAt(i));
  }
  return bytes.toString();
};

String.prototype.decodeHex = function () {    
  var str = [];
  var hex = this.split(',');
  for (var i = 0; i < hex.length; i++) {
    str.push(String.fromCharCode(hex[i]));
  }
  return str.toString().replace(/,/g, "");
};

var str = "Hello World!";
var bytes = str.encodeHex();

alert('The Hexa Code is: '+bytes+' The original string is:  '+bytes.decodeHex());

スニペットを展開

Question 12

これは、@ BrunoLMが投稿したものと同じ関数をStringプロトタイプ関数に変換したものです。

String.prototype.getBytes = function () {
  var bytes = [];
  for (var i = 0; i < this.length; ++i) {
    bytes.push(this.charCodeAt(i));
  }
  return bytes;
};

関数をそのように定義すると、任意の文字列で.getBytes（）メソッドを呼び出すことができます。

var str = "Hello World!";
var bytes = str.getBytes();

Question 13

アンダースコアは必要ありません。組み込みのマップを使用するだけです。

var string = 'Hello World!';

document.write(string.split('').map(function(c) { return c.charCodeAt(); }));