Python Pandas 稀疏数据
当任何与特定值匹配的数据(NaN / 缺失值,尽管可以选择任何值)被忽略时,稀疏对象都会被“压缩”。一个特殊的 SparseIndex 对象跟踪数据被“稀疏化”的位置。这在一个例子中会更有意义。所有标准的 Pandas 数据结构都应用 to_sparse method:
import pandas as pd import numpy as np ts = pd.Series(np.random.randn(10)) ts[2:-2] = np.nan sts = ts.to_sparse() print sts
Its output 如下:
0 -0.810497 1 -1.419954 2 NaN 3 NaN 4 NaN 5 NaN 6 NaN 7 NaN 8 0.439240 9 -1.095910 dtype: float64 BlockIndex Block locations: array([0, 8], dtype=int32) Block lengths: array([2, 2], dtype=int32)
稀疏对象的存在是出于内存效率的原因。
现在让我们假设你有一个很大的 NA DataFrame 并执行以下代码:
import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(10000, 4)) df.ix[:9998] = np.nan sdf = df.to_sparse() print sdf.density
Its output 如下:
0.0001
任何稀疏对象都可以通过调用转换回标准密集形式 to_dense :
import pandas as pd import numpy as np ts = pd.Series(np.random.randn(10)) ts[2:-2] = np.nan sts = ts.to_sparse() print sts.to_dense()
Its output 如下:
0 -0.810497 1 -1.419954 2 NaN 3 NaN 4 NaN 5 NaN 6 NaN 7 NaN 8 0.439240 9 -1.095910 dtype: float64
稀疏数据类型
稀疏数据应具有与其密集表示相同的 dtype。目前, 浮点64,整数64 and 粗体字 支持。视原作而定 dtype,fill_value 默认值 changes:
-
float64 : np.nan
-
int64 : 0
-
bool : False
让我们执行以下代码来理解相同:
import pandas as pd import numpy as np s = pd.Series([1, np.nan, np.nan]) print s s.to_sparse() print s
Its output 如下:
0 1.0 1 NaN 2 NaN dtype: float64 0 1.0 1 NaN 2 NaN dtype: float64