个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili
抱歉，您正在使用不支持的浏览器访问个人空间。推荐您以获得更好的体验 ヾ(o???)?Spark Streaming（32）
SparkStreaming从Flume Poll数据案例实战和内幕源码解密
1、Spark Steaming on polling from Flume实战
2、Spark Steaming on polling from Flume源码
配置sink1：
agent1.sinks.sink1.type=org.apache.spark.streaming.flume.sink.SparkSink
agent1.sinks.sink1.hostname=Master
agent1.sinks.sink1.port=9999
agent1.sinks.sink1.channel=channel1
将三个包拷贝到flume的classpath中/usr/local/flume/apache-flume-1.6.0-bin/lib
groupId = org.apache.spark
artifactId = spark-streaming-flume-sink_2.11
version = 2.1.0
groupId = org.scala-lang
artifactId = scala-library
version = 2.11.7
groupId = mons
artifactId = commons-lang3
version = 3.5
第三步：写代码
将FlumeUtils.createStream改成FlumeUtils.createPollingStream
package com.tom.spark.SparkApps.
import java.util.A
import org.apache.spark.SparkC
import org.apache.spark.api.java.function.FlatMapF
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairF
import org.apache.spark.streaming.D
import org.apache.spark.streaming.api.java.JavaDS
import org.apache.spark.streaming.api.java.JavaPairDS
import org.apache.spark.streaming.api.java.JavaReceiverInputDS
import org.apache.spark.streaming.api.java.JavaStreamingC
import org.apache.spark.streaming.flume.FlumeU
import org.apache.spark.streaming.flume.SparkFlumeE
import scala.Tuple2;
public class SparkStreamingPollingDataFromFlume {
public static void main(String[] args) {
* 第一步：配置SparkConf，
* 1、至少2条线程：因为Spark Streaming应用程序在运行的时候至少有一条
* 线程用于不断的循环接收数据，并且至少有一条线程用于处理接收的数据（否则的话无法有线程用
* 于处理数据，随着时间的推移，内存和磁盘都会不堪重负）
* 2、对于集群而言，每个Executor一般肯定不止一个Thread，那对于处理Spark Streaming
* 应用程序而言，每个Executor一般分配多少Core比较合适？根据经验，5个左右的Core是最佳的
* （一个段子：分配为奇数个Core表现最佳，例如3个、5个、7个Core等
SparkConf conf = new SparkConf().setMaster("local[4]").setAppName("SparkStreamingPollingDataFromFlume");
* 第二步：创建Spark StreamingContext：
* 1、这是SparkStreaming应用程序所有功能的起始点和程序调度的核心.
* SparkStreamingContext的构建可以基于SparkConf参数，也可以基于持久化的SparkStreamingContext的
* 内容来恢复过来（典型的场景是Driver崩溃后重新启动，由于Spark Streaming具有连续7*24小时不间断运行的特征，
* 所以需要在Driver重新启动后继续上一次的状态，此时的状态恢复需要基于曾经的Checkpoint）
* 2、在一个Spark Streaming应用程序中可以创建若干个SparkStreamingContext对象，使用下一个SparkStreaming
* 之前需要把前面正在运行的SparkStreamingContext对象关闭掉，由此，我们得出一个重大启发，SparkStreaming框架也只是
* Spark Core上的一个应用程序而已，只不过Spark Streaming框架想运行的话需要Spark工程师写业务逻辑处理代码
JavaStreamingContext javassc = new JavaStreamingContext(conf, Durations.seconds(5));
* 第三步：创建Spark Streaming输入数据来源input Stream:
* 1、数据输入来源可以基于File、HDFS、Flume、Kafka、Socket等
* 2、在这里我们指定数据来源于网络Socket端口，Spark Streaming连接上该端口并在运行的时候一直监听该端口的数据
(当然该端口服务首先必须存在），并且在后续会根据业务需要不断有数据产生（当然对于Spark Streaming
应用程序的运行而言，有无数据其处理流程都是一样的）
* 3、如果经常在每间隔5秒钟没有数据的话不断启动空的Job其实会造成调度资源的浪费，因为并没有数据需要发生计算；所以
实际的企业级生成环境的代码在具体提交Job前会判断是否有数据，如果没有的话就不再提交Job；
JavaReceiverInputDStream&SparkFlumeEvent& lines = FlumeUtils.createPollingStream(javassc, "Master", 9999);
* 第四步：接下来就像对于RDD编程一样基于DStream进行编程，原因是DStream是RDD产生的模板（或者说类），在Spark Streaming具体
* 发生计算前，其实质是把每个Batch的DStream的操作翻译成为对RDD的操作！
JavaDStream&String& words = lines.flatMap(new FlatMapFunction&SparkFlumeEvent, String&(){
public Iterable&String& call(SparkFlumeEvent event) throws Exception {
String line = event.event().body.array().toString();
return Arrays.asList(line.split(" "));
* 第4.2步：在单词拆分的基础上对每个单词实例计数为1，也就是word =& (word, 1)
JavaPairDStream&String, Integer& pairs = words.mapToPair(new PairFunction&String, String, Integer&() {
public Tuple2&String, Integer& call(String word) throws Exception {
return new Tuple2&String, Integer& (word, 1);
* 第4.3步：在单词实例计数为1基础上，统计每个单词在文件中出现的总次数
JavaPairDStream&String, Integer& wordsCount = pairs.reduceByKey(new Function2&Integer, Integer, Integer&(){
public Integer call(Integer v1, Integer v2) throws Exception {
return v1 + v2;
* 此处的print并不会直接触发Job的支持，因为现在的一切都是在Spark Streaming框架的控制之下的，对于SparkStreaming
* 而言，具体是否触发真正的Job运行是基于设置的Duration时间间隔的
* 注意，Spark Streaming应用程序要想执行具体的Job，对DStream就必须有ouptputstream操作
* outputstream有很多类型的函数触发，例如print,saveAsTextFile,saveAsHadoopFiles等，
* 其中最为重要的一个方法是foreachRDD，因为Spark Streaming处理的结果一般会放在Redis、DB、DashBoard
* 等上面，所以foreachRDD主要就是用来完成这些功能的，而且可以随意自定义具体数据到底放在哪里。
wordsCount.print();
* Spark Streaming 执行引擎也就是Driver开始运行，Driver启动的时候是位于一条新的线程中的，当然其内部有消息循环体，用于
* 接收应用程序本身或者Executor中的消息，
javassc.start();
javassc.awaitTermination();
javassc.close();
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：20610次
积分：1341
积分：1341
排名：千里之外
原创：125篇
(20)(18)(15)(15)(55)(2)对不起，您要访问的页面暂时没有找到，您可以：21ic官方微信-->
后使用快捷导航没有帐号？
请完成以下验证码
查看: 2788|回复: 27
imx6 请问如何HDMI和LCD同时输出一个画面！急。求大神回答
&&已结帖(20)
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
修改uboot启动参数
1.用下面的命令可以实现fb0在触摸屏上显示。
setenv bootargs_mmc 'setenv bootargs ${bootargs} root=/dev/mmcblk1p1 ip=dhcp rootwait rw video=mxcfb0:dev=ldb,LDB-XGA,if=RGB666'
2.用下面命令可以实现fb0通过HDMI接口在电视机上显示
setenv bootargs_mmc 'setenv bootargs ${bootargs} root=/dev/mmcblk1p1 rootwait rw video=mxcfb0:dev=hdmi,M@60,if=RGB24 ip=none'
3.我想用以下命令实现双屏显示，但是只有HDMI的显示
setenv bootargs_mmc 'setenv bootargs ${bootargs} root=/dev/mmcblk1p1 rootwait rw video=mxcfb1:dev=ldb,
LDB-XGA,if=RGB666
video=mxcfb0:dev=hdmi,M@60,if=RGB24 ip=none'
我把3中video都改成mxcfb0也不行，反正只能播一个上面。
请问能用什么方式，可以实现fb0同时在hdmi和lcd上输出。
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
自己先顶一个。版主大人快快来瞧瞧啊。
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
应该是hdmi和ldb的同时输出一个画面
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
助理工程师, 积分 1095, 距离下一级还需 905 积分
助理工程师, 积分 1095, 距离下一级还需 905 积分
主题帖子积分
专家等级：结帖率：0%打赏：0.00受赏：0.20
主题帖子积分
助理工程师, 积分 1095, 距离下一级还需 905 积分
助理工程师, 积分 1095, 距离下一级还需 905 积分
关注一下。。。
我自己没弄过
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
高级技术员, 积分 711, 距离下一级还需 289 积分
高级技术员, 积分 711, 距离下一级还需 289 积分
主题帖子积分
专家等级：结帖率：0%
主题帖子积分
高级技术员, 积分 711, 距离下一级还需 289 积分
高级技术员, 积分 711, 距离下一级还需 289 积分
期待版主来解决这个问题
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
实习生, 积分 9, 距离下一级还需 41 积分
实习生, 积分 9, 距离下一级还需 41 积分
主题帖子积分
专家等级：结帖率：0%
主题帖子积分
实习生, 积分 9, 距离下一级还需 41 积分
实习生, 积分 9, 距离下一级还需 41 积分
首先确认你所使用的芯片有几个IPU单元，iMX6系列有的芯片内部有两个IPU，有的有1个IPU，但不管是一个IPU还是两个IPU的芯片，每个IPU都对应有连个两个数据源D10、D11，在两个数据源上是可以实现同现和异显功能，建议再看一下驱动，我是做硬件的，具体的驱动实现不是很了解，只能提到这么多了
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
高级技术员, 积分 735, 距离下一级还需 265 积分
高级技术员, 积分 735, 距离下一级还需 265 积分
主题帖子积分
专家等级：结帖率：50%
主题帖子积分
高级技术员, 积分 735, 距离下一级还需 265 积分
高级技术员, 积分 735, 距离下一级还需 265 积分
这些问题解决起来还真是够麻烦的啊
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
初级工程师, 积分 2462, 距离下一级还需 538 积分
初级工程师, 积分 2462, 距离下一级还需 538 积分
主题帖子积分
专家等级：结帖率：75%
主题帖子积分
初级工程师, 积分 2462, 距离下一级还需 538 积分
初级工程师, 积分 2462, 距离下一级还需 538 积分
关注一下...期待大侠出现
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
后来邮件问了飞思卡尔的FAE，给我的答复是：
& && &如果是Android系统，Android有完整的frameware架构，默认支持LVDS和HDMI双屏显示。
& && &如果是Linux系统，BSP附带的文件系统比较简单，客户需要自己来做双屏显示部分。
我现在用的是linux系统，看来很麻烦啊。
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
助理工程师, 积分 1195, 距离下一级还需 805 积分
助理工程师, 积分 1195, 距离下一级还需 805 积分
主题帖子积分
专家等级：结帖率：0%
主题帖子积分
助理工程师, 积分 1195, 距离下一级还需 805 积分
助理工程师, 积分 1195, 距离下一级还需 805 积分
这个设置起来不知道麻烦不麻烦
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
楼主你好，请问你这里使用的是哪个版本的BSP呢？
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
楼主你好，请问你这里使用的是哪个版本的BSP呢？
是的，Android系统的话默认支持LVDS和HDMI双屏显示。Linux系统，BSP附带的文件系统比较简单，客户需要自己来做双屏显示部分。
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
后来邮件问了飞思卡尔的FAE，给我的答复是：
& && &如果是Android系统，Android有完整的frameware架构，默 ...
是的，Android系统的话默认支持LVDS和HDMI双屏显示。Linux系统，BSP附带的文件系统比较简单，客户需要自己来做双屏显示部分。
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
后来邮件问了飞思卡尔的FAE，给我的答复是：
& && &如果是Android系统，Android有完整的frameware架构，默 ...
是的，Android系统的话默认支持LVDS和HDMI双屏显示。Linux系统，BSP附带的文件系统比较简单，客户需要自己来做双屏显示部分。
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
楼主你好，你帖中只有一个屏显示，这里点亮另外一个屏：
enable second display, run :
echo 0 & /sys/class/graphics/fb2/blank
在第二个显示屏上播放视频：
gst_lauch playbin2 uri=file:///akiyo.mp4 video-sink=
希望以上回复对你有帮助。
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
好的。我去试试。
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
楼主你好，请问你这里使用的是哪个版本的BSP呢？
用的是3.0.5.35的linux版本
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
高级工程师, 积分 6855, 距离下一级还需 1145 积分
高级工程师, 积分 6855, 距离下一级还需 1145 积分
主题帖子积分
专家等级：结帖率：0%打赏：0.00受赏：200.10
主题帖子积分
高级工程师, 积分 6855, 距离下一级还需 1145 积分
高级工程师, 积分 6855, 距离下一级还需 1145 积分
关注一下......在uboot下设置参数就可以了吧......
本人不卖开发板，以下群只为技术交流，禁止打广告
SAMA5D3x、SAM9(QQ群:)
AM335x(QQ群:)
iMX6(QQ群:)
嵌入式Qt、MySQL、OpenCV(QQ群:)
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
关注一下......在uboot下设置参数就可以了吧......
安卓的uboot设置下参数就行。linux的不行。
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
主题帖子积分
专家等级：结帖率：100%
主题帖子积分
初级技术员, 积分 54, 距离下一级还需 46 积分
初级技术员, 积分 54, 距离下一级还需 46 积分
楼主你好，你帖中只有一个屏显示，这里点亮另外一个屏：
enable second display, run :
echo 0 & /sys/clas ...
大神你好。
gst-launch playbin2 uri=file:///akiyo.mp4 video-sink=&mfw_v4lsink device=&/dev/video16&&
这个可以播放一个指定的mp4.
但是我想播放一个设备的比如/dev/fb1，怎么弄啊
21ic公开课，21ic网友共同的学习圈子！学单片机、嵌入式、模拟、电源……就看这里
移步更多21ic独家微课：
技术导师奖章
人才类勋章
时间类勋章
坚毅之洋流
发帖类勋章
核心会员奖章
等级类勋章
热门推荐 /3