Hadoop的运行模式包括：本地模式、伪分布式以及完全分布式

• 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
• 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
• 完全分布式模式：多台服务器组成分布式环境。生产环境使用。

参考此文章按照以下内容去克隆3个节点。

• 节点102，IP地址：192.168.128.102，hostname：hadoop102
• 节点103，IP地址：192.168.128.103，hostname：hadoop103
• 节点104，IP地址：192.168.128.104，hostname：hadoop104

操作系统安装

虚拟机的安装过程见此教程。

配置网络过程见此教程。

安装工具

更换yum源，编辑CentOS-Base.repo文件：

1

vim /etc/yum.repos.d/CentOS-Base.repo

什么是大数据

大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据主要解决，海量数据的采集、存储和分析计算问题。

大数据4V特征：

1. Volume（量大）：存储量大，计算量大
2. Variety（多样）：来源多，格式多
3. Velocity（快速）：数据增长速度快，处理速度要求快
4. Value（价值）：价值密度低，和数据总量的大小成反比

Shell概述

Shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核。

此外，Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。

我们的虚拟机从安装开始，到最后安装好所有的软件包和相应的版本，是需要耗费很长时间的，在实际的集群中操作时我们需要一台机器一台机器的安装，这个没办法。但是现在我们是在自己的电脑中模拟集群的环境，就没有必要一台机器一台机器的安装了，我们安装好一台后，直接克隆该机器即可。

RPM软件包管理

RPM（RedHat Package Manager），RedHat软件包管理工具，类似windows里面的setup.exe是Linux这系列操作系统里面的打包安装工具，它虽然是RedHat的标志，但理念是通用的。

RPM包的名称格式Apache-1.3.23-11.i386.rpm

• apache软件名称
• 1.3.23-11软件的版本号，主版本和此版本
• i386是软件所运行的硬件平台，Intel 32位微处理器的统称
• rpm文件扩展名，代表RPM包

在使用RPM进行软件包管理时，一般会使用以下三个操作：

1. 查询命令（rpm -qa)
2. 卸载命令（rpm -e [软件包名称]）
3. 安装命令（rpm -ivh [rpm安装包]）

要想更好的使用Centos系统进行相关操作和软件包的安装，我们首先对其相关限制服务进行关闭，注意这种操作会降低系统的安全性，建议在实际的企业级项目时不要完全开放相关限制服务，仅开放对应的服务端口即可。

关闭防火墙

在某些情况下，例如需要使用特定网络服务或应用程序时，防火墙可能会阻止必要的网络连接，所以在此处我们首先将防火墙关闭。

VMware网络配置

点击编辑->虚拟网络编辑器

VMware安装

一台电脑本身是可以装多个操作系统的，但是做不到多个操作系统切换自如，所以我们需要一款软件帮助我们达到这个目的，不然数仓项目搭建不起来。

推荐的软件为VMware，VMware可以使用户在一台计算机上同时运行多个操作系统，还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统，甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。