一、概述 1.定义 Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 2.消息队列 2.1.消息队列的两种模式 1)点对点 消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消
一、MapReduce概述 1.定义 MapReduce是一个分布式运算程序的编程框架 2.MapReduce核心思想 MapReduce运算程序需要分为2个阶段:Map阶段和Reduce阶段 总结就是:分片聚集 3.MapReduce进程
现在的互联网应用基本都有排行榜这个功能,现在就用java + redis来实现一下吧。 先看一下效果: 引入依赖 <dependency> <groupId>redis.clients</groupId
Java 8 API添加了一个新的抽象称为流Stream,可以让你以一种声明的方式处理数据。 Stream 使用一种类似用 SQL 语句从数据库查询数据的直观方式来提供一种对 Java 集合运算和表达的高阶抽象。 Stream API可以极
1 准备工作 安装好Linux操作系统这里选择的是Linux 7: [root@slave1 software]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 关
一.为什么选择Nginx Nginx 是一个高性能的 Web 和反向代理服务器, 它具有有很多非常优越的特性: 作为 Web 服务器:相比 Apache,Nginx 使用更少的资源,支持更多的并发连接,体现更高的效率,这点使 Nginx 尤
随着业务复杂度的提升,数据库方面的压力也越来越大,单个库表已经不能满足我们的要求了,这个时候急需一套分库分表的解决方案。当然了,分库分表中间件也有很多,比如sharding-jdbc,mycat等,sharding-jdbc用起来非常简单,
很多小伙伴可能会有这种体验:从git上拉取代码后,只修改了一行代码,提交代码时,却发现整个文件都被修改了。不要慌,这是git自动转换换行符导致的问题。 原因 1.不同操作系统使用的换行符是不一样的。 Unix/Linux使用的是LF,Mac