×
新网 > 虚机资讯 > 正文

Apache Flink Table API和SQL API的外部数据源是什么

  • 作者:zccc
  • 来源:网络
  • 2021-12-28 15:22:22

小编给大家分享一下Apache Flink Table API和SQL API的外部数据源是什么,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考

小编给大家分享一下Apache Flink Table API和SQL API的外部数据源是什么,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

“ Apache Flink的Table API与SQL API实现对接外部数据源的方式是Table connector直连外部数据源,Tabel connector将外部的数据源读取到Flink中进行计算或者把Apache Flink的结果写入到外部数据源之中。”

Apache Flink的Table API与SQL API在之前已经提到了Table Source与Table Sink的方式对实现数据源的注册于结果的写入等。Apache Flink已经基本实现了对于的数据源的注册于写入的需求,但是仍然不够灵活,用户更加希望的可能是通过配置的方式实现对于不同数据源的选择,并且实现数据的写入。所以Apache Flink又提供了Table connector。

Table connector的实现不仅仅能够更好的API与SQL Client,同时Table connector类似与实现了CREATE TABLE 的方式对数据进行了注册,能够实现再不修改代码的情况下实现把数据写入不同的位置。Tabel connector方法指定了需要连接Table connector对应的Descriptor,withFormat方式指定了输出或输入的文件格式(csv,JSON,Parquet等)。withSchema方法指定了注册在TableEnvironment中的表结构。

tableEnv.connect(...)
.withFormat(...)
.withSchema(...)
.inAppendMode() //更新模式
.registerTableSource("MyTable")

通过以上方式注册数据源后,我们可以直接把数据读取或者写入到该表中。也就是说我们可以实现类似于像操作DBMS表的数据一样操作该表进行数据读取与写入。

在当前的很多云场景中,类似于阿里云,华为云等均提供了实时计算的产品,产品使用SQL的方式进行注册,注册指定云厂商的其他产品与存储格式等 withSchema ,指定读取的数据结构 withSchema 与更新的模式等即可实现数据的读取或计算结果的写入。

CREATE TABLE datahub_stream(
 name VARCHAR,
 age BIGINT,
 birthday BIGINT
) WITH (
 type='产品',
 endPoint='...',
 project='...',
 topic='...'
 ...
);

我们在使用时涉及的步骤也大致分为这些,如下代码。connect方法指定了连接对应的Desciriptor,withFormat指定输出或输入的文件格式,例如JSON,CSV,Avro等。withSchema用以指定注册在TableEnvironment中的表结构。inAppendMode指定了数据的更新模式。最终通过registerTableSource方法将本次外部数据源注册到TableEnvironment中,用以进行查询计算。

talbEnv.connect(...)
.withFormat(...)
.withSchema(...)
.inAppendMode()
.registerTableSource("TableName")

以上是“Apache Flink Table API和SQL API的外部数据源是什么”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!


"新网虚拟主机"

  • 相关专题

免责声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,也不承认相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,请发送邮件至:operations@xinnet.com进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

免费咨询获取折扣

Loading