月眸


月眸

hadoop系列四:MapReduce和Yarn笔记

一、MapReduce概述 1.定义 MapReduce是一个分布式运算程序的编程框架 2.MapReduce核心思想 MapReduce运算程序需要分为2个阶段:Map阶段和Reduce阶段 总结就是:分片聚集 3.MapReduce进程


毛毛小妖 636浏览 0条评论 2020年02月17日 阅读全文

hadoop系列三:Hdfs详解

一、HDFS概述 1.HDFS定义 HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,有很多服务器联合起来实现其功能,集群中的服务器有各自的角


毛毛小妖 875浏览 0条评论 2019年01月28日 阅读全文

hadoop系列二:Hadoop集群搭建

一、准备工作 1.安装centos7虚拟机 2.安装VMTools 3.关闭防火墙 systemctl stop firewalld systemctl disable firewalld 4.设置静态ip vim /etc/sysconf


毛毛小妖 806浏览 0条评论 2019年01月28日 阅读全文

hadoop系列一:Hadoop简介

一、hadoop介绍 HADOOP是apache旗下的一套开源软件平台 HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 HADOOP的核心组件有 HDFS(分布式文件系统) YARN(运算资源调度


毛毛小妖 651浏览 0条评论 2019年01月28日 阅读全文
1