Python Pandas 迭代


Pandas 对象的基本迭代行为取决于类型。当迭代一个系列时,它被视为类数组,基本迭代产生值。其他数据结构,如 DataFrame 和 Panel,遵循类似字典迭代的约定keys的对象。

简而言之,基本迭代(对于i在对象中)产生:

  • Series: values

  • DataFrame: column标签

  • Panel: item标签

迭代 DataFrame


迭代 DataFrame 会给出列名,让我们考虑以下示例来理解相同的内容:

import pandas as pd
import numpy as np
 
N=20
df = pd.DataFrame({
    'A': pd.date_range(start='2016-01-01',periods=N,freq='D'),
    'x': np.linspace(0,stop=N-1,num=N),
    'y': np.random.rand(N),
    'C': np.random.choice(['Low','Medium','High'],N).tolist(),
    'D': np.random.normal(100, 10, size=(N)).tolist()
    })

for col in df:
    print col

输出如下:

A
C
D
x
y

要遍历 DataFrame 的行,我们可以使用以下函数:

  • iteritems(): 迭代(键,值)对

  • iterrows(): 迭代行作为 (index,series) 对

  • itertuples(): 遍历行作为命名元组

iteritems()


迭代每一列作为键,值对,标签作为键,列值作为系列对象。

import pandas as pd
import numpy as np
 
df = pd.DataFrame(np.random.randn(4,3),columns=['col1','col2','col3'])
for key,value in df.iteritems():
    print key,value

输出如下:

col1 0    0.802390
1    0.324060
2    0.256811
3    0.839186
Name: col1, dtype: float64

col2 0    1.624313
1   -1.033582
2    1.796663
3    1.856277
Name: col2, dtype: float64

col3 0   -0.022142
1   -0.230820
2    1.160691
3   -0.830279
Name: col3, dtype: float64

观察,每一列都作为系列中的键值对单独迭代。

iterrows()


iterrows() 返回产生每个索引值的迭代器以及包含每行数据的系列。

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(4,3),columns = ['col1','col2','col3'])
for row_index,row in df.iterrows():
    print row_index,row

输出如下:

0  col1    1.529759
    col2    0.762811
    col3   -0.634691
Name: 0, dtype: float64

1  col1   -0.944087
    col2    1.420919
    col3   -0.507895
Name: 1, dtype: float64
 
2  col1   -0.077287
    col2   -0.858556
    col3   -0.663385
Name: 2, dtype: float64
3  col1    -1.638578
    col2     0.059866
    col3     0.493482
Name: 3, dtype: float64

注意: 因为iterrows()遍历行,它不保留跨行的数据类型。 0,1,2 是行索引,col1,col2,col3 是列索引。

itertuples()


itertuples() 方法将返回一个迭代器,为 DataFrame 中的每一行产生一个命名元组。元组的第一个元素将是行对应的索引值,而其余值是行值。

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(4,3),columns = ['col1','col2','col3'])
for row in df.itertuples():
    print row

输出如下:

Pandas(Index=0, col1=1.5297586201375899, col2=0.76281127433814944, col3=-
0.6346908238310438)

Pandas(Index=1, col1=-0.94408735763808649, col2=1.4209186418359423, col3=-
0.50789517967096232)

Pandas(Index=2, col1=-0.07728664756791935, col2=-0.85855574139699076, col3=-
0.6633852507207626)

Pandas(Index=3, col1=0.65734942534106289, col2=-0.95057710432604969,
col3=0.80344487462316527)

注意: 迭代时不要试图修改任何对象。迭代用于读取,迭代器返回原始对象(视图)的副本,因此更改不会反映在原始对象上。

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(4,3),columns = ['col1','col2','col3'])

for index, row in df.iterrows():
    row['a'] = 10
print df

输出如下:

        col1       col2       col3
0  -1.739815   0.735595  -0.295589
1   0.635485   0.106803   1.527922
2  -0.939064   0.547095   0.038585
3  -1.016509  -0.116580  -0.523158

可以看到,没有发生任何变化。