Pandas-AWS 0.1.2数据上传扩展
轻量封装的 pandas
加 AWS 上传功能,pandas-aws-0.1.2.tar.gz
蛮适合做数据批量后直接上传 S3 的场景。用法不复杂,基本上 pandas 操作完,加一行上传就行了,效率高,代码也干净。
Pandas 的扩展库里,这种把常见流程封成一条龙的小工具,我还挺推荐的。尤其你平常在搞 ETL,或者模型训练之后要丢结果上云,那就刚好合适。
上传过程用的是 boto3,可以配合临时权限用,也支持多区域配置,容错还不错。关键是你不用单独写上传逻辑,少好多麻烦。
哦对了,如果你在用 pandas
做数据清洗,想自动把结果放 S3,不用另开脚本,这个包就能帮你搞定一整个流程。推荐你配合任务调度器(比如 Airflow)一起用,效果更好。
如果你平时就在和 AWS 打交道,又懒得每次写 boto3
上传代码,可以试试这个库,节省不少时间。
5.17KB
文件大小:
评论区