Python Pandas 迭代
Pandas 对象的基本迭代行为取决于类型。当迭代一个系列时,它被视为类数组,基本迭代产生值。其他数据结构,如 DataFrame 和 Panel,遵循类似字典迭代的约定keys的对象。
简而言之,基本迭代(对于i在对象中)产生:
Series: values
DataFrame: column标签
Panel: item标签
迭代 DataFrame
迭代 DataFrame 会给出列名,让我们考虑以下示例来理解相同的内容:
import pandas as pd import numpy as np N=20 df = pd.DataFrame({ 'A': pd.date_range(start='2016-01-01',periods=N,freq='D'), 'x': np.linspace(0,stop=N-1,num=N), 'y': np.random.rand(N), 'C': np.random.choice(['Low','Medium','High'],N).tolist(), 'D': np.random.normal(100, 10, size=(N)).tolist() }) for col in df: print col
输出如下:
A C D x y
要遍历 DataFrame 的行,我们可以使用以下函数:
iteritems(): 迭代(键,值)对
iterrows(): 迭代行作为 (index,series) 对
itertuples(): 遍历行作为命名元组
iteritems()
迭代每一列作为键,值对,标签作为键,列值作为系列对象。
import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(4,3),columns=['col1','col2','col3']) for key,value in df.iteritems(): print key,value
输出如下:
col1 0 0.802390 1 0.324060 2 0.256811 3 0.839186 Name: col1, dtype: float64 col2 0 1.624313 1 -1.033582 2 1.796663 3 1.856277 Name: col2, dtype: float64 col3 0 -0.022142 1 -0.230820 2 1.160691 3 -0.830279 Name: col3, dtype: float64
观察,每一列都作为系列中的键值对单独迭代。
iterrows()
iterrows() 返回产生每个索引值的迭代器以及包含每行数据的系列。
import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(4,3),columns = ['col1','col2','col3']) for row_index,row in df.iterrows(): print row_index,row
输出如下:
0 col1 1.529759 col2 0.762811 col3 -0.634691 Name: 0, dtype: float64 1 col1 -0.944087 col2 1.420919 col3 -0.507895 Name: 1, dtype: float64 2 col1 -0.077287 col2 -0.858556 col3 -0.663385 Name: 2, dtype: float64 3 col1 -1.638578 col2 0.059866 col3 0.493482 Name: 3, dtype: float64
注意: 因为iterrows()遍历行,它不保留跨行的数据类型。 0,1,2 是行索引,col1,col2,col3 是列索引。
itertuples()
itertuples() 方法将返回一个迭代器,为 DataFrame 中的每一行产生一个命名元组。元组的第一个元素将是行对应的索引值,而其余值是行值。
import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(4,3),columns = ['col1','col2','col3']) for row in df.itertuples(): print row
输出如下:
Pandas(Index=0, col1=1.5297586201375899, col2=0.76281127433814944, col3=- 0.6346908238310438) Pandas(Index=1, col1=-0.94408735763808649, col2=1.4209186418359423, col3=- 0.50789517967096232) Pandas(Index=2, col1=-0.07728664756791935, col2=-0.85855574139699076, col3=- 0.6633852507207626) Pandas(Index=3, col1=0.65734942534106289, col2=-0.95057710432604969, col3=0.80344487462316527)
注意: 迭代时不要试图修改任何对象。迭代用于读取,迭代器返回原始对象(视图)的副本,因此更改不会反映在原始对象上。
import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(4,3),columns = ['col1','col2','col3']) for index, row in df.iterrows(): row['a'] = 10 print df
输出如下:
col1 col2 col3 0 -1.739815 0.735595 -0.295589 1 0.635485 0.106803 1.527922 2 -0.939064 0.547095 0.038585 3 -1.016509 -0.116580 -0.523158
可以看到,没有发生任何变化。