Pandas 的作者 Wes McKinney在他的博客中写道
“ ...我对 pandas 的经验法则是，您的 RAM 应该是数据集大小的 5 到 10 倍。因此，如果您有一个 10 GB 的数据集，那么您实际上应该有大约 64 GB，最好是 128 GB 的 RAM如果你想避免内存管理问题。 ”
我经常使用 Pandas 的数据集不比我的 RAM (16GB) 小很多。所以我想知道，这些“内存管理问题”有哪些实际意义？任何人都可以提供更多的见解吗？这是否意味着它将数据存储在磁盘上的虚拟内存中，因此速度很慢？
当 Pandas 发现它的最大 RAM 限制时，它会冻结并终止进程，因此不会降低性能，只是一个 SIGKILL 信号完全停止进程。处理速度与 CPU 和 RAM 速度（即 DDR3 与 DDR4、延迟、SSD vd HDD 等）有更多关系。
Pandas 有严格的内存限制，但如果您需要处理大型数据集，除了增加 RAM 之外，还有其他选择。
1.-达斯克
以下是 dask 的某些限制。
Dask 教程： https ://medium.com/swlh/parallel-processing-in-python-using-dask-a9a01739902a
2.-贾克斯
3.-羽毛格式
与语言无关，因此它可用于 R 和 Python，通常可以减少存储的内存占用。
4.- 在 Pandas 中原生减少内存消耗
当您稍后使用基于树的算法处理数据时，减少对列进行编码的内存位数特别有用。这是 Kaggle 普及的一个脚本。
import pandas as pd
def reduce_mem_usage(df, verbose=True):
numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
start_mem = df.memory_usage().sum() / 1024**2
for col in df.columns:
col_type = df[col].dtypes
if col_type in numerics:
c_min = df[col].min()
c_max = df[col].max()
if str(col_type)[:3] == 'int':
if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
df[col] = df[col].astype(np.int8)
elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
df[col] = df[col].astype(np.int16)
elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
df[col] = df[col].astype(np.int32)
elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:
df[col] = df[col].astype(np.int64)
else:
if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:
df[col] = df[col].astype(np.float16)
elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
df[col] = df[col].astype(np.float32)
else:
df[col] = df[col].astype(np.float64)
end_mem = df.memory_usage().sum() / 1024**2
print('Memory usage after optimization is: {:.2f} MB'.format(end_mem))
print('Decreased by {:.1f}%'.format(100 * (start_mem - end_mem) / start_mem))
return df