工程java画图板
java画图板 时间:2021-02-24 阅读:(
)
Flink快速上手之JavaAPI使用本文将介绍如何通过简单地几步来开始编写你的FlinkJava程序.
要求编写你的FlinkJava程序唯一的要求是需要安装Maven3.
0.
4(或者更高)和Java7.
x(或者更高)创建FlinkJava工程使用下面其中一个命令来创建FlinkJava工程1、使用Mavenarchetypes:$mvnarchetype:generate\-DarchetypeGroupId=org.
apache.
flink\-DarchetypeArtifactId=flink-quickstart-java\-DarchetypeVersion=1.
0.
02、运行quickstart脚本$curlhttps://flink.
apache.
org/q/quickstart.
sh|bash上面两个命令(使用Maven创建的时候需要输入artifactId、groupId等相关信息)运行完之后都会产生类似于以下的目录结构:.
quickstartpom.
xmlsrcmainjavaorgmyorgquickstartJob.
javaSocketTextStreamWordCount.
java1/4WordCount.
javaresourceslog4j.
properties8directories,5files检查工程您的工作目录中会出现一个新的目录.
如果你使用了curl命令来创建FlinkJava工程,这个目录的名称是quickstart.
否则,就是你输入的artifactId名字.
这个工程是一个Maven工程,包含三个类.
Job是一个基本的框架程序,SocketTextStreamWordCount和WordCount是一个简单的单词次数计算示例.
需要注意的是,这三个类的main方法都允许你在开发/测试模式下启动Flink.
我们推荐将这个工程导入到你的IDE中,并进行开发和测试.
如果你用的是Eclipse,可以使用m2e插件来导入Maven工程.
有些Eclipse发行版默认嵌入了这个插件,其他的需要你手动去安装.
IntelliJIDE内置就提供了对Maven工程的支持.
给MacOSX用户的建议:默认的JVM堆内存对Flink来说太小了,你必须手动增加内存.
这里以Eclipse为例,依次选择RunConfigurations->Arguments,然后在VMArguments里写入:-Xmx800m.
编译工程如果你想要编译你的工程,进入到工程所在目录,并输入mvncleaninstall-Pbuild-jar命令.
你将会找到target/your-artifact-id-1.
0-SNAPSHOT.
jar文件,它可以在任意的Flink集群上运行.
还有一个fat-jar,名为target/your-artifact-id-1.
0-SNAPSHOT-flink-fat-jar.
jar,包含了所有添加到Maven工程的依赖.
下一步开始编写我们自己的程序Quickstart工程包含了一个WordCount的实现,也就是大数据处理系统的HelloWorld.
WordCount的目标是计算文本中单词出现的频率.
比如:单词"the"或者"house"在所有的Wikipedia文本中出现了多少次.
样本输入2/4bigdataisbig样本输出big2data1is1下面的代码就是Quickstart工程的WordCount实现,它使用两种操作(FlatMap和Reduce)处理了一些文本,并且在标准输出中打印了单词的计数结果.
publicclassWordCount{publicstaticvoidmain(String[]args)throwsException{//setuptheexecutionenvironmentfinalExecutionEnvironmentenv=ExecutionEnvironment.
getExecutionEnvironment();//getinputdataDataSettext=env.
fromElements("Tobe,ornottobe,--thatisthequestion:--","Whether'tisnoblerinthemindtosuffer","Theslingsandarrowsofoutrageousfortune","Ortotakearmsagainstaseaoftroubles,");DataSet>counts=//splitupthelinesinpairs(2-tuples)containing:(word,1)text.
flatMap(newLineSplitter())//groupbythetuplefield"0"andsumuptuplefield"1".
groupBy(0).
aggregate(Aggregations.
SUM,1);//emitresultcounts.
print();}}3/4这些操作是在专门的类中定义的,下面是LineSplitter类.
publicclassLineSplitterimplementsFlatMapFunction>{@OverridepublicvoidflatMap(Stringvalue,Collector>out){//normalizeandsplitthelineintowordsString[]tokens=value.
toLowerCase().
split("\\W+");//emitthepairsfor(Stringtoken:tokens){if(token.
length()>0){out.
collect(newTuple2(token,1));}}}}完整代码参见https://github.
com/apache/flink/blob/master//flink-examples/flink-examples-batch/src/main/java/org/apache/flink/examples/java/wordcount/WordCount.
java本博客文章除特别声明,全部都是原创!
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载.
本文链接:【】()PoweredbyTCPDF(www.
tcpdf.
org)4/4
趣米云早期为做技术起家,为3家IDC提供技术服务2年多,目前商家在售的服务有香港vps、香港独立服务器、香港站群服务器等,线路方面都是目前最优质的CN2,直连大陆,延时非常低,适合做站,目前商家正在做七月优惠活动,VPS低至18元,价格算是比较便宜的了。趣米云vps优惠套餐:KVM虚拟架构,香港沙田机房,线路采用三网(电信,联通,移动)回程电信cn2、cn2 gia优质网络,延迟低,速度快。自行封...
在刚才更新Vultr 新年福利文章的时候突然想到前几天有网友问到自己有在Vultr 注册账户的时候无法用支付宝付款的问题,当时有帮助他给予解决,这里正好顺带一并介绍整理出来。毕竟对于来说,虽然使用的服务器不多,但是至少是见过世面的,大大小小商家的一些特性特征还是比较清楚的。在这篇文章中,和大家分享如果我们有在Vultr新注册账户或者充值购买云服务器的时候,不支持支付宝付款的原因。毕竟我们是知道的,...
关于半月湾HMBCloud商家之前也有几篇那文章介绍过这个商家的产品,对于他们家的其他产品我都没有多加留意,而是对他们家的DC5机房很多人还是比较喜欢的,这个比我们有些比较熟悉的某商家DC6 DC9机房限时,而且半月湾HMBCloud商家是相对便宜的。关于半月湾DC5机房的方案选择和介绍:1、半月湾三网洛杉矶DC5 CN2 GIA同款DC6 DC9 1G内存 1TB流量 月$4.992、亲测选择半...
java画图板为你推荐
网页解密急急急~~谁知道怎么让所有的网页都设密码?以及破解的办法啊? 谢谢了谁帮帮我啊郭吉军什么叫做广告联盟iphone5解锁iphone5密码忘了怎么解锁怎么在qq空间里添加背景音乐如何在qq空间中添加背景音乐安卓应用平台安卓手机下软件哪个网站好网易公开课怎么下载怎么下载网易公开课里的视频 .......数据库损坏数据库损坏是怎么回事啊?mate8价格华为mate8 128g售价多少钱ios系统iOS系统是什么二层交换机集线器和二层交换机,三层交换机的区别
香港虚拟空间 免费二级域名 fc2新域名 长沙域名注册公司 免费linux主机 日本动态vps 国外永久服务器 私人服务器 2014年感恩节 双12活动 大容量存储 免费网站申请 架设服务器 免费活动 江苏双线服务器 无限流量 新加坡空间 申请免费空间 阿里云个人邮箱 好看的空间 更多