阿里的 DataX 吧，搭建也方便。功能基本满足。

我都是根据实际情况做清洗，有些是用 sql,有些用 python,spark 之类的， 也没有一个完美的工具。

像你说的，行与行没关系，可以拆分成多份分别处理再合并呀，可以看看 Spark 。感觉用文件存储比数据库合适。

pg 里可以写 python 之类的很多编程语言.

@TimG #10 如果用 clickhouse, 我是这么做的：客户端用 python 处理，一次读取 100 万行（看硬件情况），处理完成后写入新表。主要弄好分区键，clikchouse 我记得翻页会越来越慢。