hadoop的HA集群搭建过程 hadoop的HA机制原理 集群规划 安装步骤 配置HDFS 安装配置zooekeeper集群 1 hadoop的HA机制原理HA:为了解决hadoop集群但单点故障问题。 hadoop中namenode单点故障的解决： active standby 2 ...

zookeeper数据存储形式 zookeeper安装 zookeeper命令行客户端的使用 1 zookeeper数据存储形式zookeeper中对用户的数据采用kv形式存储 key：是以路径的形式表示的，各key之间有父子关系，比如 /是顶层key 用户建的key只能在/ 下作为子节点 ...

Hive命令行 服务端 beeline 基本语法 HQL 函数使用 1 基本介绍1.1 HIVE简单介绍Hive是一个可以将SQL翻译为MR程序的工具，支持用户将HDFS上的文件映射为表结构，然后用户就可以输入SQL对这些表（HDFS上的文件）进行查询分析。Hive将用户定义的库、表结构等 ...

MySQL基本命令 用户创建 授权 删除 表操作 MySQL无法远程访问问题解决 1 mysql 安装1.1 windows下安装mysql1.1.1 下载mysql安装包下载地址：https://dev.mysql.com/downloads/mysql下载免安装版：mysql-5.7.2 ...

SSH连接 ssh-key生成秘钥 无密码登录服务器 无密码访问git仓库 1 ssh-keygen命令ssh-keygen命令说明： -t ：指定加密类型（如：rea,dsa) -C : 指定注释,用于识别这个密钥 其他参数具体可以查看帮助 bash123456789101112 ...

ubuntu18.04 基本配置 常用软件安装 更换源 搜狗输入法 VMware 播放器 谷歌浏览器 VSCODE IDEA TIM QQ 迅雷 微信 00 内容简介当前Ubuntu版本：ubuntu 18.04，具体操作如下： 01 设置root密码 02 更换国内源 03 将电脑上的其他 ...

spark-shell spark-submit 程序运行 运用提交 运用部署 1 spark-shell的使用1.1 连接到本地连接到本地使用命令： ./bin/spark-shell --master local[*]这里的local[*]指的是cpu核心数（cores），可以在w ...

Spark解决的问题 spark的设计初衷 spark和Mapreduce的对比 Spark的编程 1 Spark解决的问题spark产生：替代MapReduce计算，解决MapReduce计算缓慢的问题 注：Hive解决MapReduce编程复杂的问题 Hadoop生态体系：hdfs+z ...

1 安装hexo-offlinebash1npm i hexo-offline --save 2 添加pwa文件在/source目录下新建一个名为pwa的文件夹 先在pwa目录下添加一个名为favicon.png的图片作为图标 然后在pwa目录下添加manifest.json文件，输入如下内容 js ...

大数据 Hadoop Hive Pig Kafka Spark PySpark SQL 集群管理器 PostgreSQL MongoDB Cassandra 1 大数据简介大数据是这个时代最热门的话题之一。但是什么是大数据呢?它描述了一个庞大的数据集，并且正在以惊人的速度增长。大数据除了体积(V ...