インデックスの配列を1ホットでエンコードされたnumpy配列に変換します


回答:


395

配列aは、出力配列の非ゼロ要素の列を定義します。また、行を定義してから、ファンシーインデックスを使用する必要があります。

>>> a = np.array([1, 0, 3])
>>> b = np.zeros((a.size, a.max()+1))
>>> b[np.arange(a.size),a] = 1
>>> b
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

111
綺麗な。それを少し一般化します: b = np.zeros((a.size, a.max()+1))、次に `b [np.arange(a.size)、a] = 1`
James Atwood

10
@JamesAtwoodそれはアプリケーションに依存しますが、私は最大値をパラメーターにし、データからそれを計算しません。
Mohammad Moghimi 2016

1
@MohammadMoghimiもちろん、私には理にかなっています。
James Atwood

7
「a」が2dの場合はどうなりますか?3次元のワンホットマトリックスが必要ですか?
AD

8
これが機能する理由の説明を誰かが指摘できますが、[:、 a]を含むスライスは機能しませんか?
N. McA。

168
>>> values = [1, 0, 3]
>>> n_values = np.max(values) + 1
>>> np.eye(n_values)[values]
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

9
このソリューションは、入力NDマトリックスからワンホットN + 1Dマトリックスに役立つ唯一のソリューションです。例:input_matrix = np.asarray([[0,1,1]、[1,1,2]]); np.eye(3)[input_matrix]#出力三次元テンソル
のisaias

5
これは、受け入れられたソリューションよりも優先されるため、+ 1。ただし、より一般的な解決策としてvaluesは、PythonリストではなくNumpy配列を使用する必要があります。これは、1Dだけでなく、すべての次元で機能します。
Alex

8
np.max(values) + 1データセットが無作為にサンプリングされたと言われ、偶然に最大値が含まれていない場合は、バケット数として取得することは望ましくない場合があることに注意してください。バケット数はむしろパラメータである必要があり、アサーション/チェックを配置して、各値が0(含む)およびバケット数(除外)内であることを確認できます。
NightElfik 2018年

2
私にはこのソリューションが最適であり、任意のテンソルに簡単に一般化できます。defone_hot(x、depth = 10):return np.eye(depth)[x]。インデックスとしてテンソルxを指定すると、x.shape目の行のテンソルが返されることに注意してください。
cecconeurale 2018年

4
このソリューションを「理解」する簡単な方法とN-dimで機能する理由(numpyドキュメントを読むことなく):元の行列(values)の各場所に整数kがありeye(n)[k]、その場所に1ホットベクトルを「置く」。これは、元の行列のスカラーの場所にベクトルを「置く」ため、次元を追加します。
avivr

35

kerasを使用している場合、そのための組み込みユーティリティがあります。

from keras.utils.np_utils import to_categorical   

categorical_labels = to_categorical(int_labels, num_classes=3)

そして、それは@YXDの答えとほとんど同じです(source-codeを参照)。


32

これが私が便利だと思うものです:

def one_hot(a, num_classes):
  return np.squeeze(np.eye(num_classes)[a.reshape(-1)])

ここnum_classesはあなたが持っているクラスの数を表しています。したがってa(10000、)の形状のベクトルがある場合この関数はそれを(10000、C)に変換します。aはインデックスが0であることに注意してください。つまり、にone_hot(np.array([0, 1]), 2)なります[[1, 0], [0, 1]]

まさにあなたが欲しかったものを私は信じています。

PS:ソースはシーケンスモデルです-deeplearning.ai


また、np.eye`を使用して(ベクトルaのサイズ)多くの1つのホットエンコードされた配列を取得するため、np.squeeze()を実行する理由は何np.eye(num_classes)[a.reshape(-1)]. What you are simply doing is using ですか。a.reshape(-1)インデックスに対応する出力を生成しますnp.eye()np.sqeeze出力の次元が常にあるように、決して持たないであろう単一の次元を単に削除するためにそれを使用するので、必要性を理解していませんでした(a_flattened_size, num_classes)
Anu

27

使用できます sklearn.preprocessing.LabelBinarizer

例:

import sklearn.preprocessing
a = [1,0,3]
label_binarizer = sklearn.preprocessing.LabelBinarizer()
label_binarizer.fit(range(max(a)+1))
b = label_binarizer.transform(a)
print('{0}'.format(b))

出力:

[[0 1 0 0]
 [1 0 0 0]
 [0 0 0 1]]

とりわけsklearn.preprocessing.LabelBinarizer()、出力transformが疎になるように初期化することができます。


21

numpyの目の機能を使うこともできます:

numpy.eye(number of classes)[vector containing the labels]


1
より明確にするために使用np.identity(num_classes)[indices]する方が良いかもしれません。素敵な答え!
Oliver

5

1次元ベクトルを2次元の1ホット配列に変換する関数を次に示します。

#!/usr/bin/env python
import numpy as np

def convertToOneHot(vector, num_classes=None):
    """
    Converts an input 1-D vector of integers into an output
    2-D array of one-hot vectors, where an i'th input value
    of j will set a '1' in the i'th row, j'th column of the
    output array.

    Example:
        v = np.array((1, 0, 4))
        one_hot_v = convertToOneHot(v)
        print one_hot_v

        [[0 1 0 0 0]
         [1 0 0 0 0]
         [0 0 0 0 1]]
    """

    assert isinstance(vector, np.ndarray)
    assert len(vector) > 0

    if num_classes is None:
        num_classes = np.max(vector)+1
    else:
        assert num_classes > 0
        assert num_classes >= np.max(vector)

    result = np.zeros(shape=(len(vector), num_classes))
    result[np.arange(len(vector)), vector] = 1
    return result.astype(int)

以下に使用例をいくつか示します。

>>> a = np.array([1, 0, 3])

>>> convertToOneHot(a)
array([[0, 1, 0, 0],
       [1, 0, 0, 0],
       [0, 0, 0, 1]])

>>> convertToOneHot(a, num_classes=10)
array([[0, 1, 0, 0, 0, 0, 0, 0, 0, 0],
       [1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
       [0, 0, 0, 1, 0, 0, 0, 0, 0, 0]])

これはベクトルに対してのみ機能することに注意しassertてください(ベクトルの形状をチェックする必要はありません;))。
johndodo

1
一般化されたアプローチとパラメータチェックの場合は+1。ただし、一般的な方法として、入力のチェックを実行するためにアサートを使用しないことをお勧めします。アサートは、内部の中間条件を確認するためにのみ使用してください。むしろ、すべてassert ___をに変換しif not ___ raise Exception(<Reason>)ます。
fnunnari

3

1ホットエンコーディングの場合

   one_hot_encode=pandas.get_dummies(array)

例えば

コーディングを楽しむ


コメントをありがとうございますが、コードが何をしているかの簡単な説明は非常に役に立ちます!
Clarus

例を参照してください
Shubham Mishra

@Clarus以下の例をチェックアウトしてください。one_hot_encode [value]を実行すると、np配列の各値の1つのホットエンコーディングにアクセスできます。 >>> import numpy as np >>> import pandas >>> a = np.array([1,0,3]) >>> one_hot_encode=pandas.get_dummies(a) >>> print(one_hot_encode) 0 1 3 0 0 1 0 1 1 0 0 2 0 0 1 >>> print(one_hot_encode[1]) 0 1 1 0 2 0 Name: 1, dtype: uint8 >>> print(one_hot_encode[0]) 0 0 1 1 2 0 Name: 0, dtype: uint8 >>> print(one_hot_encode[3]) 0 0 1 0 2 1 Name: 3, dtype: uint8
ディーパック

2

短い答えはノーだと思います。nディメンションのより一般的なケースでは、これを思いつきました:

# For 2-dimensional data, 4 values
a = np.array([[0, 1, 2], [3, 2, 1]])
z = np.zeros(list(a.shape) + [4])
z[list(np.indices(z.shape[:-1])) + [a]] = 1

より良い解決策があるかどうか疑問に思っています-最後の2行でこれらのリストを作成する必要があるのが嫌いです。とにかく、私はいくつかの測定をtimeit行いましたが、numpyベースの(indices/ arange)と反復バージョンはほぼ同じように動作するようです。


2

K3 --- rncからの優れた答えについて詳しく説明するために、より一般的なバージョンを次に示します。

def onehottify(x, n=None, dtype=float):
    """1-hot encode x with the max value n (computed from data if n is None)."""
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    return np.eye(n, dtype=dtype)[x]

また、このメソッドと、現在受け入れられているYXDの回答からのメソッドの簡単なベンチマークを以下に示します(わずかに変更されているため、後者は1D ndarrayでのみ機能することを除いて、同じAPIを提供します)。

def onehottify_only_1d(x, n=None, dtype=float):
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    b = np.zeros((len(x), n), dtype=dtype)
    b[np.arange(len(x)), x] = 1
    return b

後者の方法は約35%高速ですが(MacBook Pro 13 2015)、前者がより一般的です。

>>> import numpy as np
>>> np.random.seed(42)
>>> a = np.random.randint(0, 9, size=(10_000,))
>>> a
array([6, 3, 7, ..., 5, 8, 6])
>>> %timeit onehottify(a, 10)
188 µs ± 5.03 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
>>> %timeit onehottify_only_1d(a, 10)
139 µs ± 2.78 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

2

次のコードを使用して、ワンホットベクトルに変換できます。

let xは、クラス0からある数の単一の列を持つ通常のクラスベクトルです。

import numpy as np
np.eye(x.max()+1)[x]

0がクラスでない場合。次に+1を削除します。


1

私は最近同じ種類の問題に出くわしました、そしてあなたが特定のフォーメーション内に入る数を持っている場合にのみ満足であることが判明した言った解決策を見つけました。たとえば、次のリストをワンホットエンコードする場合は、

all_good_list = [0,1,2,3,4]

先に進んでください。投稿されたソリューションはすでに上記で説明されています。しかし、このデータを検討するとどうなるでしょうか。

problematic_list = [0,23,12,89,10]

上記の方法でこれを行うと、90個のワンホットカラムになる可能性があります。これは、すべての回答にのようなものが含まれるためn = np.max(a)+1です。私のために機能し、あなたと共有したいより一般的な解決策を見つけました:

import numpy as np
import sklearn
sklb = sklearn.preprocessing.LabelBinarizer()
a = np.asarray([1,2,44,3,2])
n = np.unique(a)
sklb.fit(n)
b = sklb.transform(a)

私は誰かが上記の解決策と同じ制限に遭遇し、これが役に立つかもしれないと思います


1

そのようなタイプのエンコーディングは通常、numpy配列の一部です。次のような数の多い配列を使用している場合:

a = np.array([1,0,3])

次に、それを1ホットエンコーディングに変換する非常に簡単な方法があります。

out = (np.arange(4) == a[:,None]).astype(np.float32)

それでおしまい。


1
  • pは2D ndarrayになります。
  • 行の中で最も高い値を知り、そこに1を置き、それ以外の場所には0を置きます。

クリーンで簡単なソリューション:

max_elements_i = np.expand_dims(np.argmax(p, axis=1), axis=1)
one_hot = np.zeros(p.shape)
np.put_along_axis(one_hot, max_elements_i, 1, axis=1)

1

Neuraxleパイプラインステップの使用:

  1. 例を設定する
import numpy as np
a = np.array([1,0,3])
b = np.array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])
  1. 実際の変換を行います
from neuraxle.steps.numpy import OneHotEncoder
encoder = OneHotEncoder(nb_columns=4)
b_pred = encoder.transform(a)
  1. それが機能することを主張する
assert b_pred == b

ドキュメントへのリンク:neuraxle.steps.numpy.OneHotEncoder


0

上記の回答と私自身の使用例に基づいてこれを行うために私が書いた関数の例を次に示します。

def label_vector_to_one_hot_vector(vector, one_hot_size=10):
    """
    Use to convert a column vector to a 'one-hot' matrix

    Example:
        vector: [[2], [0], [1]]
        one_hot_size: 3
        returns:
            [[ 0.,  0.,  1.],
             [ 1.,  0.,  0.],
             [ 0.,  1.,  0.]]

    Parameters:
        vector (np.array): of size (n, 1) to be converted
        one_hot_size (int) optional: size of 'one-hot' row vector

    Returns:
        np.array size (vector.size, one_hot_size): converted to a 'one-hot' matrix
    """
    squeezed_vector = np.squeeze(vector, axis=-1)

    one_hot = np.zeros((squeezed_vector.size, one_hot_size))

    one_hot[np.arange(squeezed_vector.size), squeezed_vector] = 1

    return one_hot

label_vector_to_one_hot_vector(vector=[[2], [0], [1]], one_hot_size=3)

0

numpy演算子のみを使用して、補完のために単純な関数を追加します。

   def probs_to_onehot(output_probabilities):
        argmax_indices_array = np.argmax(output_probabilities, axis=1)
        onehot_output_array = np.eye(np.unique(argmax_indices_array).shape[0])[argmax_indices_array.reshape(-1)]
        return onehot_output_array

入力として確率行列を使用します。例:

[[0.03038822 0.65810204 0.16549407 0.3797123] ... [0.02771272 0.2760752 0.3280924 0.33458805]]

そして、それは戻ります

[[0 1 0 0] ... [0 0 0 1]]


0

これは、次元に依存しないスタンドアロンのソリューションです。

これは、任意のN次元アレイ変換するarrワンホットN + 1次元アレイに非負の整数をone_hotone_hot[i_1,...,i_N,c] = 1手段arr[i_1,...,i_N] = c。あなたは経由で入力を回復することができますnp.argmax(one_hot, -1)

def expand_integer_grid(arr, n_classes):
    """

    :param arr: N dim array of size i_1, ..., i_N
    :param n_classes: C
    :returns: one-hot N+1 dim array of size i_1, ..., i_N, C
    :rtype: ndarray

    """
    one_hot = np.zeros(arr.shape + (n_classes,))
    axes_ranges = [range(arr.shape[i]) for i in range(arr.ndim)]
    flat_grids = [_.ravel() for _ in np.meshgrid(*axes_ranges, indexing='ij')]
    one_hot[flat_grids + [arr.ravel()]] = 1
    assert((one_hot.sum(-1) == 1).all())
    assert(np.allclose(np.argmax(one_hot, -1), arr))
    return one_hot

0

次のコードを使用します。それは最もよく働きます。

def one_hot_encode(x):
"""
    argument
        - x: a list of labels
    return
        - one hot encoding matrix (number of labels, number of class)
"""
encoded = np.zeros((len(x), 10))

for idx, val in enumerate(x):
    encoded[idx][val] = 1

return encoded

PSで見つけました PSリンクにアクセスする必要はありません。


5
numpyを使用したループの使用は避ける必要があります
Kenan
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.