字母哥的文章

Docker-软件工程集装箱技术

向您推荐 Dcoker入门与实践系列文章欢迎加入QQ技术交流群：300139299 Docker是软件工程中的集装箱技术 Docker是一个虚拟化的容器技术，它轻巧，且易移植，“build once, configure once and run anywhere”。集...

4年前 (2016-04-01) 7230℃

数据装载入表 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] 注意事项： hive建表默认使...

4年前 (2016-03-16) 3506℃

本文假设hive已经做了基础安装，基础配置参考《Hive安装》配置hive-site.xml 启动HiveServer2还需要下面的设置  <property> <name>hive.support.concur...

4年前 (2016-03-16) 3646℃

Hive安装软件需求与环境说明假设已经搭建好 Hadoop-2.6.0 环境，并能正常运行 mysql 安装软件服务端：MySQL-server-5.5.16-1.rhel5.x86_64.rpm 客户端：MySQL-client-5.5.16-1.rhel5.x86_6...

4年前 (2016-03-16) 2528℃

设计目的：让有SQL技能，但无hadoop知识的人来查询分析大数据。 1. 基于hadoop的数据仓库工具， 2. Hive中的一张表对应的是HDFS的一个目录。 3. 支持一种与SQL几乎完全相同的语言HiveQL，除了不支持更新,索引和事务控制。 4. SQL到MapRedu...

4年前 (2016-03-16) 2171℃

Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗磁盘空间(每一个小文件占用一个Block,HDFS默认block大小为64M)。解决办法:通常是选择一个容器，将这些小文件组织起来统一存储。HDFS提供了两...

4年前 (2016-03-16) 2137℃

HDFS（Hadoop Distributed FileSystem）hadoop 分布式文件系统把数据文件分布到不同的节点上的目的是什么？在不同的节点上分布式计算,计算靠近数据的原则。 Hadoop集群硬件部署结构： * Rack为机架，Switch为交换机（千兆，百兆） ...

4年前 (2016-03-16) 2083℃

hadoop常用维护命令列出正在运行的job $ hadoop job -list kill掉job（1234指jobid） $ hadoop job -kill 1234 查看hdfs块状态 $ hadoop fsck / FSCK started by ...

4年前 (2016-03-16) 1904℃

方案架构说明先看看没有HA的HDFS的系统架构然后有HA方案的系统架构：方案解析两个NameNode，一个active，一个standby状态。 activeNameNode写EditLogs到JournalNode集群，standByNameNode从J...

4年前 (2016-03-16) 2168℃

重要：在奇数台机器上安装zookeeper 安装步骤步骤一解压： tar -xzvf zookeeper-3.4.6.tar.gz -C /home/cluster/zookeeper；配置环境变量： ZOOKEEPER=/home/cluster/zookeep...

4年前 (2016-02-20) 2275℃