月眸—后端技术交流,大数据技术交流,资源分享
Kylin构建原理
一、相关术语 1.维度:即观察数据的角度。 比如员工数据,可以从性别角度来分析,也可以更加细化,从入职时间或者地区的维度来观察。因此在统计时可以将维度值相同的记录聚合在一起,然后应用聚合函数做累加、平 【阅读更多...】
flume学习笔记
一、flume概述 1.定义 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。 2.flume架构 2.1.Agen 【阅读更多...】
kafaka学习笔记
一、概述 1.定义 Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 2.消息队列 2.1.消息队列的两种模式 1)点对点 消息生产者生产消息发送到Queue中,然 【阅读更多...】
hadoop系列四:MapReduce和Yarn笔记
一、MapReduce概述 1.定义 MapReduce是一个分布式运算程序的编程框架 2.MapReduce核心思想 MapReduce运算程序需要分为2个阶段:Map阶段和Reduce阶段 总结就 【阅读更多...】
redis实现排行榜效果
现在的互联网应用基本都有排行榜这个功能,现在就用java + redis来实现一下吧。 先看一下效果: 引入依赖 <dependency> <groupId>redis 【阅读更多...】
java8 Collectors 常用方法
Java 8 API添加了一个新的抽象称为流Stream,可以让你以一种声明的方式处理数据。 Stream 使用一种类似用 SQL 语句从数据库查询数据的直观方式来提供一种对 Java 集合运算和表达 【阅读更多...】
Centos7 安装达梦数据库
1 准备工作 安装好Linux操作系统这里选择的是Linux 7: [root@slave1 software]# cat /etc/redhat-release CentOS Linux relea 【阅读更多...】
nginx安装及配置
一.为什么选择Nginx Nginx 是一个高性能的 Web 和反向代理服务器, 它具有有很多非常优越的特性: 作为 Web 服务器:相比 Apache,Nginx 使用更少的资源,支持更多的并发连接 【阅读更多...】
分库分表插件之sharding-jdbc
随着业务复杂度的提升,数据库方面的压力也越来越大,单个库表已经不能满足我们的要求了,这个时候急需一套分库分表的解决方案。当然了,分库分表中间件也有很多,比如sharding-jdbc,mycat等,s 【阅读更多...】
git换行符问题解决方案
很多小伙伴可能会有这种体验:从git上拉取代码后,只修改了一行代码,提交代码时,却发现整个文件都被修改了。不要慌,这是git自动转换换行符导致的问题。 原因 1.不同操作系统使用的换行符是不一样的。 【阅读更多...】