行ごとに繰り返しながらパンダのデータフレームを更新する

私はこのようなパンダデータフレームを持っています（かなり大きなものです）

           date      exer exp     ifor         mat  
1092  2014-03-17  American   M  528.205  2014-04-19 
1093  2014-03-17  American   M  528.205  2014-04-19 
1094  2014-03-17  American   M  528.205  2014-04-19 
1095  2014-03-17  American   M  528.205  2014-04-19    
1096  2014-03-17  American   M  528.205  2014-05-17 

次に、行ごとに繰り返し処理を行い、各行を進むと、各行の値がifor いくつかの条件に応じて変化する可能性があるため、別のデータフレームを検索する必要があります。

繰り返しながら、これをどのように更新しますか？それらのどれもうまくいかなかったいくつかのことを試しました。

for i, row in df.iterrows():
    if <something>:
        row['ifor'] = x
    else:
        row['ifor'] = y

    df.ix[i]['ifor'] = x

これらのアプローチはどれも機能していないようです。データフレームで更新された値が表示されません。

df.set_valueを使用して、ループに値を割り当てることができます。

for i, row in df.iterrows():
    ifor_val = something
    if <condition>:
        ifor_val = something_else
    df.set_value(i,'ifor',ifor_val)

行の値が必要ない場合は、単純にdfのインデックスを反復処理できますが、ここに示されていないものの行の値が必要な場合に備えて、元のforループを保持しました。

更新

df.set_value（）はバージョン0.21.0以降廃止されました。代わりにdf.at（）を使用できます：

for i, row in df.iterrows():
    ifor_val = something
    if <condition>:
        ifor_val = something_else
    df.at[i,'ifor'] = ifor_val

Pandas DataFrameオブジェクトは、シリーズのシリーズと考える必要があります。つまり、列の観点から考える必要があります。これが重要である理由は、使用pd.DataFrame.iterrowsするときにシリーズとして行を反復しているためです。ただし、これらはデータフレームが格納しているシリーズではないため、繰り返し処理中に作成される新しいシリーズです。つまり、それらを割り当てようとしても、それらの編集は元のデータフレームに反映されません。

さて、それが邪魔にならないようになりました：何をしますか？

この投稿の前の提案は次のとおりです。

1. pd.DataFrame.set_valueされたパンダのバージョン0.21の非推奨
2. pd.DataFrame.ixされる非推奨
3. pd.DataFrame.loc大丈夫ですが、配列インデクサーで動作し、より良いことができます

私の推薦の
使用pd.DataFrame.at

for i in df.index:
    if <something>:
        df.at[i, 'ifor'] = x
    else:
        df.at[i, 'ifor'] = y

これを次のように変更することもできます。

for i in df.index:
    df.at[i, 'ifor'] = x if <something> else y

コメントへの応答

また、前の行の値をif条件に使用する必要がある場合はどうなりますか？

for i in range(1, len(df) + 1):
    j = df.columns.get_loc('ifor')
    if <something>:
        df.iat[i - 1, j] = x
    else:
        df.iat[i - 1, j] = y

使用できるメソッドはitertuples()、DataFrameの行を名前付きタプルとして反復し、インデックス値をタプルの最初の要素として使用します。また、に比べてはるかに高速iterrows()です。の場合itertuples()、それぞれrowがIndexDataFrameに含まlocれ、値を設定するために使用できます。

for row in df.itertuples():
    if <something>:
        df.at[row.Index, 'ifor'] = x
    else:
        df.at[row.Index, 'ifor'] = x

    df.loc[row.Index, 'ifor'] = x

ほとんどの場合、またはitertuples()より高速です。iatat

おかげ@SantiStSupery、使用して.atはるかに高速に比べていますloc。

df.ix[i, 'exp']=Xまたはのdf.loc[i, 'exp']=X代わりに値を割り当てる必要がありますdf.ix[i]['ifor'] = x。

それ以外の場合は、ビューに取り組んでおり、温暖化が発生するはずです。

-c:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_index,col_indexer] = value instead

しかし確かに、DataFrame@ Phillip Cloudが提案するように、ループはおそらくベクトル化アルゴリズムに置き換えるほうがよいでしょう。

ええと、とにかく反復する場合は、何よりも単純な方法を使用しないでください。 df['Column'].values[i]

df['Column'] = ''

for i in range(len(df)):
    df['Column'].values[i] = something/update/new_value

または、新しい値を古い値やそのようなものと比較したい場合は、リストに保存して最後に追加してみてください。

mylist, df['Column'] = [], ''

for <condition>:
    mylist.append(something/update/new_value)

df['Column'] = mylist

for i, row in df.iterrows():
    if <something>:
        df.at[i, 'ifor'] = x
    else:
        df.at[i, 'ifor'] = y

を使用してlambda関数を使用することをお勧めしますdf.apply()-

df["ifor"] = df.apply(lambda x: {value} if {condition} else x["ifor"], axis=1)

列からMAX番号を増分します。例えば ​​：

df1 = [sort_ID, Column1,Column2]
print(df1)

私の出力：

Sort_ID Column1 Column2
12         a    e
45         b    f
65         c    g
78         d    h

MAX = df1['Sort_ID'].max() #This returns my Max Number 

次に、df2に列を作成し、MAXを増分する列の値を入力する必要があります。

Sort_ID Column1 Column2
79      a1       e1
80      b1       f1
81      c1       g1
82      d1       h1

_{注：df2には、最初はColumn1とColumn2のみが含まれます。Sortid列を作成し、df1からMAXを増分する必要があります。}