《parquet》游戏背景是什么？游戏背景故事介绍

标签：hive和sparksql计算引擎在text导入parquet格式的hive存储引擎分片数量机制
表的hive导入：
create
table
XXXXXXX201512
(N多字段构成)STORED
AS
PARQUETFILE;
insert
into
XXXXXXX201512
select
*
from
XXXXXXX20151231;

我们是否还需要另外一个新的数据处理引擎？当我第一次听到flink的时候这是我是非常怀疑的。在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。自从Apachespark出现后，貌似已经成为当今把大部分的问题解决得最好的框架了，所以我对另外一款解决类似问题的框架持有很强烈的怀疑态度。不过因为好奇，我花费了数个星期在尝试了解flink。一开始仔细看了flink的几个例子，感觉和spark非常类似，心理就倾向于认为flink又是一个模仿spark的框架。但是随着了解的深入，这些API体现了一些flink的新奇的思路，这些思路还是和spark有着比较明显的区别的。我对这些思路有些着迷了，所以花费了的时间在这上面。flink中的很多思路，例如内存管理，datasetAPI都已经出现在spark中并且已经证明这些思路是非常靠谱的。所以，深入了解flink也许可以帮助我们分布式数据处理的未来之路是怎样的在后面的文章里，我会把自己作为一个spark开发者对flink的第一感受写出来。因为我已经在spark上干了2年多了，但是只在flink上接触了2到3周，所以必然存在一些bias，所以大家也带着怀疑和批判的角度来看这篇文章吧。ApacheFlink是什么flink是一款新的大数据处理引擎，目标是统一不同来源的数据处理。这个目标看起来和spark和类似。没错，flink也在尝试解决spark在解决的问题。这两套系统都在尝试建立一个统一的平台可以运行批量，流式，交互式，图处理，机器学习等应用。所以，flink和spark的目标差别并不大，他们最主要的区别在于实现的细节。后面我会重点从不同的角度对比这两者。ApacheSparkvsApacheFlink1.抽象Abstractionspark中，对于批处理我们有RDD,对于流式，我们有DStream，不过内部实际还是RDD.所以所有的数据表示本质上还是RDD抽象。后面我会重点从不同的角度对比这两者。在flink中，对于批处理有DataSet，对于流式我们有DataStreams。看起来和spark类似，他们的不同点在于：一）DataSet在运行时是表现为运行计划(runtimeplans)的在spark中，RDD在运行时是表现为javaobjects的。通过引入Tungsten，这块有了些许的改变。但是在flink中是被表现为logicalplan(逻辑计划)的，听起来很熟悉？没错，就是类似于spark中的dataframes。所以在flink中你使用的类Dataframeapi是被作为第一优先级来优化的。但是相对来说在sparkRDD中就没有了这块的优化了。flink中的Dataset，对标spark中的Dataframe，在运行前会经过优化。在spark1.6，datasetAPI已经被引入spark了，也许最终会取代RDD抽象。二）Dataset和DataStream是独立的API在spark中，所有不同的API，例如DStream，Dataframe都是基于RDD抽象的。但是在flink中，Dataset和DataStream是同一个公用的引擎之上两个独立的抽象。所以你不能把这两者的行为合并在一起操作，当然，flink社区目前在朝这个方向努力(SparkwordcountobjectWordCount{defmain(args:Array[String]){valenv=newSparkContext("local","wordCount")valdata=List("hi","howareyou","hi")valdataSet=env.parallelize(data)valwords=dataSet.flatMap(value=>value.split("\\s+"))valmappedWords=words.map(value=>(value,1))valsum=mappedWords.reduceByKey(_+_)println(sum.collect())}}//FlinkwordcountobjectWordCount{defmain(args:Array[String]){valenv=ExecutionEnvironment.getExecutionEnvironmentvaldata=List("hi","howareyou","hi")valdataSet=env.fromCollection(data)valwords=dataSet.flatMap(value=>value.split("\\s+"))valmappedWords=words.map(value=>(value,1))valgrouped=mappedWords.groupBy(0)valsum=grouped.sum(1)println(sum.collect())}}不知道是偶然还是故意的，API都长得很像，这样很方便开发者从一个引擎切换到另外一个引擎。我感觉以后这种CollectionAPI会成为写datapipeline的标配。Steamingspark把streaming看成是更快的批处理，而flink把批处理看成streaming的specialcase。这里面的思路决定了各自的方向，其中两者的差异点有如下这些：实时vs近实时的角度flink提供了基于每个事件的流式处理机制，所以可以被认为是一个真正的流式计算。它非常像storm的model。而spark，不是基于事件的粒度，而是用小批量来模拟流式，也就是多个事件的集合。所以spark被认为是近实时的处理系统。Sparkstreaming是更快的批处理，而FlinkBatch是有限数据的流式计算。虽然大部分应用对准实时是可以接受的，但是也还是有很多应用需要eventlevel的流式计算。这些应用更愿意选择storm而非sparkstreaming，现在，flink也许是一个更好的选择。流式计算和批处理计算的表示spark对于批处理和流式计算，都是用的相同的抽象：RDD，这样很方便这两种计算合并起来表示。而flink这两者分为了DataSet和DataStream，相比spark，这个设计算是一个糟糕的设计。对windowing的支持因为spark的小批量机制，spark对于windowing的支持非常有限。只能基于processtime，且只能对batches来做window。而Flink对window的支持非常到位，且Flink对windowingAPI的支持是相当给力的，允许基于processtime,datatime,record来做windowing。我不太确定spark是否能引入这些API，不过到目前为止，Flink的windowing支持是要比spark好的。Steaming这部分flink胜SQLinterface目前spark-sql是spark里面最活跃的组件之一，Spark提供了类似Hive的sql和Dataframe这种DSL来查询结构化数据，API很成熟，在流式计算中使用很广，预计在流式计算中也会发展得很快。至于flink，到目前为止，FlinkTableAPI只支持类似DataFrame这种DSL，并且还是处于beta状态，社区有计划增加SQL的interface，但是目前还不确定什么时候才能在框架中用上。所以这个部分，spark胜出。DatasourceIntegrationSpark的数据源API是整个框架中最好的，支持的数据源包括NoSqldb,parquet,ORC等，并且支持一些高级的操作，例如predicatepushdownFlink目前还依赖map/reduceInputFormat来做数据源聚合。这一场spark胜Iterativeprocessingspark对机器学习的支持较好，因为可以在spark中利用内存cache来加速机器学习算法。但是大部分机器学习算法其实是一个有环的数据流，但是在spark中，实际是用无环图来表示的，一般的分布式处理引擎都是不鼓励试用有环图的。但是flink这里又有点不一样，flink支持在runtime中的有环数据流，这样表示机器学习算法更有效而且更有效率。这一点flink胜出。StreamasplatformvsBatchasPlatformSpark诞生在Map/Reduce的时代，数据都是以文件的形式保存在磁盘中，这样非常方便做容错处理。Flink把纯流式数据计算引入大数据时代，无疑给业界带来了一股清新的空气。这个idea非常类似akka-streams这种。成熟度目前的确有一部分吃螃蟹的用户已经在生产环境中使用flink了，不过从我的眼光来看，Flink还在发展中，还需要时间来成熟。结论目前Spark相比Flink是一个更为成熟的计算框架，但是Flink的很多思路很不错，Spark社区也意识到了这一点，并且逐渐在采用Flink中的好的设计思路，所以学习一下Flink能让你了解一下Streaming这方面的更迷人的思路。

优化过程中常用到方法 查看查询的整个运行计划 scala>query.queryExecution查看查询的Unresolved LogicalPlan scala>query.queryExecution.logical 查看查询的Analyzed LogicalPlan scala>query.queryExecution.analyzed 查看优化后的LogicalPl.

你输入sqoop import 的目录在哪里？如果在/usr/sqoop下输入的命令，那么在/usr/sqoop下输入hive登入，然后show tables查看。

parquet是hive建表时的一种存储格式，算是hadoop自带的，和orc.rc一起都是列存格式。其实parquet和ora算是cloudera和hortonworks对数据存储格式的竞争，对压缩比和数据读取不一样