博主自主知识产权《springboot深入浅出系列课程》(16章97节文档) 已经上线,请关注

字母哥的文章

docker

Docker-软件工程集装箱技术

Docker-软件工程集装箱技术
向您推荐 Dcoker入门与实践系列文章 欢迎加入QQ技术交流群:300139299 Docker是软件工程中的集装箱技术 Docker是一个虚拟化的容器技术,它轻巧,且易移植,“build once, configure once and run anywhere”。 集...

4年前 (2016-04-01) 7230℃

Hive

hive数据加载

hive数据加载
数据装载入表 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] 注意事项: hive建表默认使...

4年前 (2016-03-16) 3506℃

Hive

hiveServer2服务端安装

hiveServer2服务端安装
本文假设hive已经做了基础安装,基础配置参考《Hive安装》 配置hive-site.xml 启动HiveServer2还需要下面的设置 <!--并发配置--> <property> <name>hive.support.concur...

4年前 (2016-03-16) 3646℃

Hive

Hadoop-2.6.0为基础的Hive安装

Hadoop-2.6.0为基础的Hive安装
Hive安装 软件需求与环境说明 假设已经搭建好 Hadoop-2.6.0 环境,并能正常运行 mysql 安装软件 服务端:MySQL-server-5.5.16-1.rhel5.x86_64.rpm 客户端:MySQL-client-5.5.16-1.rhel5.x86_6...

4年前 (2016-03-16) 2528℃

Hive

Hive简介

Hive简介
设计目的:让有SQL技能,但无hadoop知识的人来查询分析大数据。 1. 基于hadoop的数据仓库工具, 2. Hive中的一张表对应的是HDFS的一个目录。 3. 支持一种与SQL几乎完全相同的语言HiveQL,除了不支持更新,索引和事务控制。 4. SQL到MapRedu...

4年前 (2016-03-16) 2171℃

HDFS

HDFS之SequenceFile和MapFile

HDFS之SequenceFile和MapFile
Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的,在小文件的处理上不但效率低下,而且十分消耗磁盘空间(每一个小文件占用一个Block,HDFS默认block大小为64M)。 解决办法:通常是选择一个容器,将这些小文件组织起来统一存储。HDFS提供了两...

4年前 (2016-03-16) 2137℃

HDFS

HDFS简介

HDFS简介
HDFS(Hadoop Distributed FileSystem)hadoop 分布式文件系统 把数据文件分布到不同的节点上的目的是什么?在不同的节点上分布式计算,计算靠近数据的原则。 Hadoop集群硬件部署结构: * Rack为机架,Switch为交换机(千兆,百兆) ...

4年前 (2016-03-16) 2083℃

管理与维护

hadoop常用维护命令

hadoop常用维护命令
hadoop常用维护命令 列出正在运行的job $ hadoop job -list kill掉job(1234指jobid) $ hadoop job -kill 1234 查看hdfs块状态 $ hadoop fsck / FSCK started by ...

4年前 (2016-03-16) 1904℃

管理与维护

hadoop2.6.0-HA-QJM

hadoop2.6.0-HA-QJM
方案架构说明 先看看没有HA的HDFS的系统架构 然后有HA方案的系统架构: 方案解析 两个NameNode,一个active,一个standby状态。 activeNameNode写EditLogs到JournalNode集群,standByNameNode从J...

4年前 (2016-03-16) 2168℃

大数据

ZooKeeper的安装

ZooKeeper的安装
重要:在奇数台机器上安装zookeeper 安装步骤 步骤一 解压: tar -xzvf zookeeper-3.4.6.tar.gz -C /home/cluster/zookeeper; 配置环境变量: ZOOKEEPER=/home/cluster/zookeep...

4年前 (2016-02-20) 2275℃