Hadoop 2.7.2 HDFS on Centos6.5

文章首发站点:OpensGalaxy.com

一、环境准备

1、下载Hadoop 2.7.2 版本

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

2、安装JAVA 7

Hadoop Version 2.7 需要java7

Oracle官方下载链接页面 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

jdk-7u79-linux-x64.rpm

[root@iZ25b872mg2Z ~]# java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

[……]阅读全文

Continue reading

阿里云RDS中DTS使用指导及总结

本文转自阿里云RDS迁移文档 点击查看原文,本文主要目的是讲述作者在使用RDS的DTS(数据迁移服务时)遇到的问题,多次通过工单与阿里云工程师交流,如果你在使用前阅读本文,可能会少走些弯路,节省时间,我会把遇到的问题标注在本帮助文档的相应位置。(总结在文章最后)

Oracle迁移至RDS

使用DTS(http://dts.aliyun.com)将本地的Oracle迁移至RDS for PPAS实例中,可以进行结构定义迁移及全量数据迁[……]阅读全文

Continue reading

Gluster分布式文件系统(进阶篇)

   基于Gluster分布式文件系统的KVM平台,目前大多的IAAS云计算平台均以共享存储(磁盘柜)的方式提供统一访问的存储空间,但成本、性能等方面一直是个问题。随着分布式文件系统的不断成熟,我们有理由相信这是IAAS云计算平台的未来,低成本、高性能、PB级别的存储容量这些正是我们追求的,Gluster分布式文件系统+KVM的方式似乎为我们提供了答案。

测试环境说明:

硬件:服务器:2台Hp DL580 G7 (64G 4*xeon e7-4807 300g*4 RAID5 4个千兆网口)

    交换机:2台 H3C S5120   文件系统数据传输专用

软件:操作系统:Ubuntu 12.04.1 LTS 64bit

系统配置:机器名:linux01 公共IP地址:192.168.1.100 私有数据传输IP地址:100.100.100.10  单独分区:/export/brick(用于分布式系统brick使用)

            Linux02 公共IP地址:192.168.1.101 私有数据传输IP地

址:100.100.100.20

[……]阅读全文

Continue reading

Gluster分布式文件系统 使用(初阶篇)

操作系统:Ubuntuserver 12.04.1 LTS 64bit

分布式文件系统:Gluster

测试服务器:4ip:192.168.1.1-192.168.1.4

1、安装软件包:

apt-get install glusterfs-server glusterfs-common glusterfs-client glusterfs-dbg glusterfs-examples

2、建立分区或磁盘挂在目录

mkdir-p /export/brick1 (在所有存储节点建立)

3、挂在分区或磁盘到目录

mount/dev/sda1/export/brick1(所有节点执行挂载,分区或磁盘容量要尽量一致(对于replica模式的卷尤为重要,这种模式下会以容量小的分区或磁盘为准))

 

4、修改/etc/hosts文件,加入各节点机器名与IP对应关系,内容如下:

test01 192.168.1.1

test02 192.168.1.2

test03 192.168.1.3

test04 192.168.1.4

在其他节点做相同操作

 

[……]阅读全文

Continue reading

GlusterFS集群文件系统介绍

1.      GlusterFS概述

GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能。

44164_13010488121P5t

图1 GlusterFS统一的挂载点

GlusterFS支持运行在任何标准IP网络上标准应用程序的标准客户端,如图2所示,用户可以在全局统一的命名空间中使用NFS/CIFS等标准协议来访问应用数据。GlusterFS使得用户可摆脱原有的独立、高成本的封闭存储系统,能够利用普通廉价的存储设备来部署可集中管理、横向扩展、虚拟化的存储池,存储容量可扩展至TB/PB级。GlusterFS主要特征如下:

[……]阅读全文

Continue reading