从阿里云数仓表中导出数据的详细步骤

假设你在阿里云上Dataworks的空间space下有一个表table_A，想要把它的数据导出到文件以供后续使用，但是数据量又很多，从浏览器复制不太现实。阿里云提供了Java和Python版本的SDK，用来完成这个操作。
为了帮助业务取数，我之前搜了很多文档包括官方文档，但都没有完整讲清楚具体怎么做的，信息很碎片化。经过个人的实践总算摸清楚其中每一步的细节，分享出来。
其实阿里内部是有一套自有的数仓导出&文件分发平台的，希望能尽早开放出来给用户使用。

“空间”所在位置（已打码）：

【注意】使用SDK访问数仓表也会按流量计费，因此不要进行一些非必要的操作！

  1. 安装python，建议用python3

    1. brew install python3

  2. 安装pip

    1. easy_install pip

  3. 安装pyodps

    1. pip install pyodps

按图中的步骤，获取AccessKeyId和AccessKeySecret。注意：AccessKeySecret创建后在阿里云上是无法再次查看的，需要自行保存。

先写一个简单的脚本，将数仓中所有的行的id列取出来，输出到文件中，请自行替换以下代码中带有”【】”的参数。
注意数据分片是必须的，请自行替换成你的表的分片字段名（默认一般是ds，格式为20210611）

  1. from odps import ODPS
  2. file_handle=open(\'export.txt\',mode=\'w\')
  3. o = ODPS(\'【AccessKeyId】\', \'【AccessKeySecret】\', \'【space】\',\'http://service.odps.aliyun.com/api\')
  4. for record in o.read_table(\'【table_A】\', partition=\'ds=【数据分片】\'):
  5. 	file_handle.write(record.id + \'\n\')
  6. file_handle.close()

此时使用execute_sql+reader来读取即可

  1. from odps import ODPS
  2. file_handle=open(\'export.txt\',mode=\'w\')
  3. o = ODPS(\'【AccessKeyId】\', \'【AccessKeySecret】\', \'【space】\',\'http://service.odps.aliyun.com/api\')
  4. with o.execute_sql("select * from 【table_A】 where id = \'【***】\' and ds=\'【数据分片】\'").open_reader() as reader:
  5. 	for record in reader:
  6. 		file_handle.write(record.id + \'\n\')
  7. file_handle.close()

pyods官方文档：https://pyodps.readthedocs.io/zh_CN/latest/

版权声明：本文为wuyuegb2312原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/wuyuegb2312/p/14884657.html