数据集成同步数据到OSS/FTP/SFTP/HDFS时将并行多线程写入,由于对应文件系统限制,只能生成多个不重名文件才可以保证同步任务的并发运行,所以在每个文件后面加上一串随机字符串防止文件名冲突。
OSS/FTP/SFTP/HDFS同步后文件名加后缀的原因:
数据集成同步数据到OSS/FTP/SFTP/HDFS时将并行多线程写入,由于对应文件系统限制,只能生成多个不重名文件才可以保证同步任务的并发运行,所以在每个文件后面加上一串随机字符串防止文件名冲突。
解决方法
目前只有OSS插件支持并发写入单个文件并且不会在文件后面加后缀,_FTP/SFTP/HDFS插件不支持_
OSS插件操作方法
在[脚本模式]增加如下配置:"writeSingleObject": true
特别提醒:如果您自定义资源组上面设置上面的参数不生效是因为您datax版本比较老建议升级版本。
免责声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,也不承认相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,请发送邮件至:operations@xinnet.com进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。