hdfs常用命令：

第一部分：hdfs文件系统命令

第一类：文件路径增删改查系列：

hdfs dfs -mkdir dir创建文件夹

hdfs dfs -rmr dir删除文件夹dir

hdfs dfs -ls查看目录文件信息

hdfs dfs -lsr递归查看文件目录信息

hdfs dfs -stat path 返回指定路径的信息

5. YARN

实现Hadoop集群的资源共享

YARN不仅仅支持MapReduce，还支持Spark、Flink等计算引擎。

YARN主要负责集群资源的管理和调度，支持主从架构，主节点最多可以有2个，从节点可以有多个

• ResourceManager：主节点主要负责集群资源的分配和管理。

• NodeManager：从节点主要负责当前机器资源管理。

  阅读全文 »

4. MapReduce

计算扑克牌中的黑桃个数

就是我们平时打牌时用的扑克牌，现在呢，有一摞牌，我想知道这摞牌中有多少张黑桃

最直接的方式是一张一张检查并且统计出有多少张是黑桃，但是这种方式的效率比较低，如果说这一摞牌只有几十张也就无所谓了，如果这一摞拍有上千张呢？你一张一张去检查还不疯了？

3. HDFS（Hadoop Distributed File System）

3.1 Hadoop分布式文件系统

• HDFS是一种允许文件通过网络在多台主机上分享的文件系统可以让多台机器上的多个用户分享文件和存储文件。

• 分布式文件管理系统有很多，HDFS只是其中一种实现。

  阅读全文 »

Java数据类型与Hadoop数据类型的对应关系

Git分支管理策略

一、主分支Master

首先，代码库应该有一个、且仅有一个主分支。所有提供给用户使用的正式版本，都在这个主分支上发布。

Git常用命令及方法大全

正则表达式

1 re模块操作

在Python中需要通过正则表达式对字符串进行匹配的时候，可以使用一个模块，名字为re

1.1 re模块的使用过程

1
2
3
4
5
6
7
8

# 导入re模块
import re

# 使用match方法进行匹配操作
result = re.match(正则表达式,要匹配的字符串)

# 如果上一步匹配到数据的话，可以使用group方法来提取数据
result.group()

52 属性集

52.1 概述

java.util.Properties 继承于Hashtable ，来表示一个持久的属性集。它使用键值结构存储数据，每个键及其对应值都是一个字符串。该类也被许多Java类使用，比如获取系统属性时，System.getProperties 方法就是返回一个Properties对象。

IO概述

什么是IO

生活中，你肯定经历过这样的场景。当你编辑一个文本文件，忘记了ctrl+s ，可能文件就白白编辑了。当你电脑上插入一个U盘，可以把一个视频，拷贝到你的电脑硬盘里。那么数据都是在哪些设备上的呢？键盘、内存、硬盘、外接设备等等。

我们把这种数据的传输，可以看做是一种数据的流动，按照流动的方向，以内存为基准，分为输入input 和输出output ，即流向内存是输入流，流出内存的输出流。