Fork/Join 框架是 Java7 中新增的一项特性，也是 Java7 平台的其中一项主要改进。 在实际情况中，很多时候我们都需要面对经典的“分治”问题。要解决这类问题，主要任务通常被分解为多个任务块（分解阶段），其后每一小块任务被独立并行计算。一旦计算任务完成，每一快的结果会被合并或者解决（解决阶段）。 “分治”问题可以很容易地通过 Callable 线程的 Executor 接口...

全文参考： spring boot 配置 freemarker pom.xml <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot...

Requirements The only requirements are working Maven 3.0.4 (or higher) and Java 8.x installations. 官网 https://flink.apache.org/ Create Project 使用 maven 命令: $ mvn archetype:generate ...

Channel Socket ChannelHandler ChannelHandler 的典型用途包括： 将数据从一种格式转换为另一种格式。 提供异常的通知。 提供 Channel 变为活动的或非活动的通知。 提供当 Channel 注册到 EventLoop 或者从 EventLoop 注销时的通知 提供有关用户自定义的通知 Channel 的方法：...

Spark SQL 提供了一下三大功能： 从结构化数据源（JSON、Hive、Parquet）中读取数据 使用 SQL 语句进行查询 SQL 和代码整合 为实现这些功能，Spark SQL 提供了一种特殊的 RDD 叫 SchemaRDD。SchemaRDD 是存放 Row 对象的 RDD，每个 Row 对象代表一行记录。 SchemaRDd 还包含记录的结构信息（...

Spark 运行时架构 在分布式环境下，Spark 集群采用的是主/从结构。在一个 Spark 集群中，有一个节点负责中央协调，调度各个分布式工作节点。这个中央协调节点被称为驱动器（Driver）节点，与之对应的工作节点被称为执行器（executor）节点。驱动器节点可以和大量的执行器节点进行通信，它们也都作为独立的 Java 进程运行。驱动器节点和所有的执行器节点一起被称为一个 Spar...

共享变量是一种可以在 Spark 任务中使用的特殊类型的变量。Spark 有两种类型的共享变量：累加器（accumulator） 和广播变量（broadcast variable）。 累加器用来对信息进行聚合，广播变量用来高效分发较大的对象。 当任务需要很长时间进行配置，譬如需要创建数据库连接或者随机数生成器时，在多个数据元素间共享一次配置就会比较有效率。由于需要用到远程呼号查询数据库，...

在分布式程序中，通信的代价是很大的，因此控制数据分布以获得最少的网络传输可以极大地提升整体性能。和单节点的程序需要为记录集合选择合适的数据结构一样，Spark 程序可以通过控制 RDD 分区方式来减少通信开销。分区并不是对所有应用都有好处的——比如，如果给定 RDD 只需要被扫描一次，我们完全没有必要对其预先进行分区处理。只有当数据集多次在诸如连接这种基于键的操作中使用时，分区才会有帮助。我...

RDD （Resilient Distributed Dataset） 是 Spark 对数据的核心抽象——弹性分布式数据集。 RDD 其实就是分布式的元素集合，在 Spark 中，对数据的所有操作不外乎就是创建 RDD、转换已有的 RDD 以及调用 RDD 操作进行求值。而这一切的背后，Spark 会自动将 RDD 中的数据分发到集群上，并将操作并行化执行。 RDD Spark ...

参考： https://tomcat.apache.org/tomcat-8.5-doc/apr.html $ yum groups list $ sudo yum y groupinstall 'Development Tools' $ sudo yum -y install openssl-devel apr apr-devel apr-util apr-util-devel ap...