我建议尝试分批进行。潜在的问题很可能在某种程度上仍然与内存相关，因为该merge方法会复制其输入，因此根本没有内存效率。

例如，您可以读取 10 个文件，创建所需的输出，就像您已经完成的那样。对文件 10-20、20-30 和 30-40 重复此操作。最后四个您创建的四个文件。这有点烦人，但有时这些小变通办法可以完成工作。

[编辑]

另一种选择可能是在读取过程中使用更多涉及的内存管理chunksize，通过pd.read_csv(). 顾名思义，这会将文件的一部分以块的形式读入内存。如果您在循环中执行此操作，则应该对内存使用设置上限。例如（未经测试）：

chunksize = 50e6        # 50 Mb

for single_file in list_of_file_paths:
    for i, chunk in enumerate(pd.read_csv(single_file, chunksize=chunksize):
        if i == 0:
            result = chunk
        else:
            result = pd.merge((result, chunk), copy=False, how= ...)

在合并它们之前，您可能需要对各个块做一些事情。

此外，请注意我将copy参数设置merge为False，这可能会有所帮助 -文档对于它如何节省内存有点含糊。

使用 Pentaho 数据集成器。从Sourceforge下载，解压缩，然后单击spoon.bat（或spoon.sh）。在网上找到一个入门指南，花几分钟学习如何阅读 CSV 文件（一旦知道，就需要点击三下），并询问关于 SOF 上的连接的问题，标记 pentaho。