博客
关于我
flink读取hive表数据的一些现象
阅读量:763 次
发布时间:2019-03-23

本文共 384 字,大约阅读时间需要 1 分钟。

一个可能的解释是,配置文件中的executionplanner设置直接影响了Flink如何处理数据。默认的execution设置为streaming,这适用于处理实时数据流,但在某些情况下,批量处理可能提供了更好的性能或数据一致性。与此同时,planner设置到batch说明Flink使用批量处理模式。

用户提到的现象显示,无论是创建Hive表还是Flink流表,由于type: streamingbatch都能正常工作,说明它们在不同的数据量和处理需求下都可以有效使用。特别是在处理外部日志文件时,批量处理能完全读取数据,而流处理则可能遇到读取逻辑上的问题。这可能是因为批处理模式更适合处理完整的、离散的数据集,而流处理则需要数据持续生成。

通过这些分析,可以得出配置文件中的execution设置直接反映了Flink处理数据的方式,从而影响了查询和处理性能。

转载地址:http://eykkk.baihongyu.com/

你可能感兴趣的文章
python 启动提示IDLE's subprocess didn't make conne...
查看>>
python 命令接口_实现“[命令][操作][参数]”样式的命令行接口?
查看>>
Python 和 OpenCV.如何检测图像中的所有(填充)圆形/圆形对象?
查看>>
Python 和 RabbitMQ - 聆听来自多个渠道的消费事件的最佳方式?
查看>>
python编辑器打不开_关于命令ride.py打不开RF,而是打开pycharm编辑器问题解决思路...
查看>>
python编译exe同时支持32位_第三周:同时管理64位和32位版本的Python,并用Pyinstaller打包成exe...
查看>>
Python 和Java 哪个更适合做自动化测试?
查看>>
Python编程:掌握高级语言程序设计。从零基础到精通,收藏这篇就够了!
查看>>
python 图片转ico
查看>>
python 图片转文字、语音转文字、文字转语音保存音频并朗读
查看>>
python 在包含类似字符\x16、\x12、\x某某的数组中将以\x开头的字符找出来的方法
查看>>
Python 在并行进程之间共享字典
查看>>
Python 垃圾收集器文档
查看>>
python 基于 wordcloud + jieba + matplotlib 生成词云
查看>>
python 基于detectron或mask_rcnn的mask遮罩区域进行图片截取
查看>>
Python编程:Tkinter图形界面设计(2)
查看>>
Python 基础 - Day 5 Learning Note - 模块 之 标准库:time (1)
查看>>
Python 基础一
查看>>
python 基础操作知识整理总结
查看>>
Python 基础知识点整理与分享,期盼你的交流!
查看>>