项目名称:ETLite
目前暂时考虑使用Python来开发,原因当然是生态齐全。
目前的思路如下:
- Extrat: sqlalchemy、dbfreader2、csv、openxlpy
- Transform:Duckdb
- Loader: 同Extract
所有源数据转到pandas的dataframe,再写入中间库Duckdb进行清洗,清洗后由loader装入生产库,全程有日志记录,暂时先不使用队列和流来处理。😀
本文作者:skyter10086
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA
许可协议。转载请注明出处!