Channel Socket ChannelHandler ChannelHandler 的典型用途包括： 将数据从一种格式转换为另一种格式。 提供异常的通知。 提供 Channel 变为活动的或非活动的通知。 提供当 Channel 注册到 EventLoop 或者从 EventLoop 注销时的通知 提供有关用户自定义的通知 Channel 的方法：...

Spark SQL 提供了一下三大功能： 从结构化数据源（JSON、Hive、Parquet）中读取数据 使用 SQL 语句进行查询 SQL 和代码整合 为实现这些功能，Spark SQL 提供了一种特殊的 RDD 叫 SchemaRDD。SchemaRDD 是存放 Row 对象的 RDD，每个 Row 对象代表一行记录。 SchemaRDd 还包含记录的结构信息（...

Spark 运行时架构 在分布式环境下，Spark 集群采用的是主/从结构。在一个 Spark 集群中，有一个节点负责中央协调，调度各个分布式工作节点。这个中央协调节点被称为驱动器（Driver）节点，与之对应的工作节点被称为执行器（executor）节点。驱动器节点可以和大量的执行器节点进行通信，它们也都作为独立的 Java 进程运行。驱动器节点和所有的执行器节点一起被称为一个 Spar...

共享变量是一种可以在 Spark 任务中使用的特殊类型的变量。Spark 有两种类型的共享变量：累加器（accumulator） 和广播变量（broadcast variable）。 累加器用来对信息进行聚合，广播变量用来高效分发较大的对象。 当任务需要很长时间进行配置，譬如需要创建数据库连接或者随机数生成器时，在多个数据元素间共享一次配置就会比较有效率。由于需要用到远程呼号查询数据库，...

在分布式程序中，通信的代价是很大的，因此控制数据分布以获得最少的网络传输可以极大地提升整体性能。和单节点的程序需要为记录集合选择合适的数据结构一样，Spark 程序可以通过控制 RDD 分区方式来减少通信开销。分区并不是对所有应用都有好处的——比如，如果给定 RDD 只需要被扫描一次，我们完全没有必要对其预先进行分区处理。只有当数据集多次在诸如连接这种基于键的操作中使用时，分区才会有帮助。我...

RDD （Resilient Distributed Dataset） 是 Spark 对数据的核心抽象——弹性分布式数据集。 RDD 其实就是分布式的元素集合，在 Spark 中，对数据的所有操作不外乎就是创建 RDD、转换已有的 RDD 以及调用 RDD 操作进行求值。而这一切的背后，Spark 会自动将 RDD 中的数据分发到集群上，并将操作并行化执行。 RDD Spark ...

参考： https://tomcat.apache.org/tomcat-8.5-doc/apr.html $ yum groups list $ sudo yum y groupinstall 'Development Tools' $ sudo yum -y install openssl-devel apr apr-devel apr-util apr-util-devel ap...

$ sudo yum install autoconf automake libtool curl make gcc-c++ unzip cd protobuf-2.5.0 ./autogen.sh ./configure make make check make install ldconfig https://github.com/google/protobuf/release...

Apache Kafka 是目前非常具有吸引力的一个分布式消息系统, Spring 是每个 Java 开发人员耳熟能详的流行的开发框架. 这里讲介绍什么是 Spring Kafka, 如何使用 KafkaTemplate 来想 kafka brokers 产生消息, 以及如何使用 “listener container” 从 Kafka 中消费消息. 原文: Spring Kafka T...

原文: Create Multi-threaded Apache Kafka Consumer 1. 为什么需要多线程 假设我们实现了一个通知模块允许一些用户通过这个模块订阅一些来自其他用户..其他应用的通知. 我们的模块所读取的就是其他用户或应用写入到 Kafka 集群的消息. 这个例子里面, 我们将创建一个消费者订阅 Kafka 的主题来实现. 期初, 所有的事情看起来都还不错...