博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Alluxio 安装与配置
阅读量:5319 次
发布时间:2019-06-14

本文共 2081 字,大约阅读时间需要 6 分钟。

一、概述

Alluxio, formerly Tachyon, enables any application to interact with any data from any storage system at memory speed.

From

Alluxio,原名为 Tachyon,使任何应用以内存级速度进行文件系统上的数据交换。

二、安装与配置

2.1 解压

tar -xzf alluxio-1.4.0-bin.tar.gz

cd alluxio-1.4.0

2.2 配置

从模板文件中创建 conf/alluxio-env.sh ,也可通过命令配置:

./bin/alluxio bootstrapConf localhost

三、运行

3.1 单机启动 Alluxio

3.1.1 格式化

格式化 Alluxio 为启动 Alluxio 做准备。如下命令会格式化Alluxio的日志和worker存储目录,以便接下来启动master和worker。

./bin/alluxio format

3.1.2 本地启动

Alluxio 默认配置成在 localhost 启动 master 和 worker 。使用如下命令在 localhost 启动 Alluxio:

./bin/alluxio-start.sh local

3.1.3 验证启动

--》 查看 Alluxio master 的运行状态

--》 查看 Alluxio worker 的运行状态

或者,在运行命令 jps,查看当前 java 进程中 AlluxioMaster、AlluxioWorker 信息。

3.2 集群运行 Alluxio

3.2.1 集群内节点的配置

为使集群的 master 与 worker 方便沟通,需要对 ssh 进行配置。

首先,在将要运行 master 的节点上通过如下命令生成相应公私钥。

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

其次,将此处生成的 authorized_keys 分发到集群的 workers 中,放在 worker的 ~/.ssh/authorized_keys

然后,修改好所有节点的 /etc/hosts 文件,为各个节点取别名,方便沟通。

再者,修改 master 的配置文件 ./conf/alluxio-env.sh ,有三个关键点:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 # java 的安装目录

export ALLUXIO_HOME=/root/alluxio # alluxio 的安装目录
export ALLUXIO_MASTER_HOSTNAME=master # 我的 host 文件中有一条记录,“[master节点的ip] master”记录

随后,修改 master 的配置文件 ./conf/workers :(workers 的别名,需要在 host 文件上配置,才能被解析)

797098-20170217171749832-1701938902.png

最后,将 master 节点上的配置分发到各个 worker 节点上。使用如下命令

./bin/alluxio copyDir

./bin/alluxio copyDir ./conf/workers 即可将该文件分发到各个节点的相同目录下。需要保持一致的文件有:./conf/workers全部配置,./conf/alluxio-env.sh中的部分配置

更一般的,你甚至可以无需在 worker 节点上安装 alluxio ,而是通过 ./bin/alluxio copyDir . ,将本节点上的 alluxio 目录分发到各个节点上。

3.2.2 在集群内运行

上述配置完成后,即可在 master 上通过命令 ./bin/alluxio format./bin/alluxio-start.sh all Mount 在集群内运行 Alluxio。

同样的,你可以通过 jps 去检查运行状态。

  • master 上:出现 proxy、master
  • worker 上:出现 proxy、worker

使用./bin/alluxio-start.sh all 停止运行 Alluxio。

3.2.3 错误

在集群内运行的时候,可能会出现 worker 启动不了的问题。表现为 master 上的 AlluxioMaster、AlluxioProxy 正在运行,且通过 stop 命令无法关闭。

解决:我是通过查找到这两个命令运行的父进程 id ,然后将父进程杀掉,再按 3.2.2 的命令。

3.3 文件系统操作

相关命令见:

转载于:https://www.cnblogs.com/neillee/p/6410842.html

你可能感兴趣的文章
666 专题四 并查集
查看>>
模拟3
查看>>
小众公众号的简单运营
查看>>
Sql Server 附加没有日志文件的数据库(.mdf)文件方法
查看>>
系统调用方式文件编程-open
查看>>
python实战项目之爬虫(一)
查看>>
spring boot项目分享
查看>>
开放平台那些事
查看>>
CLion之C++框架篇-优化框架,引入boost(三)
查看>>
集合的addAll方法--list.addAll(null)会报错--java.lang.NullPointerException
查看>>
C#学习笔记—了解C#
查看>>
python使用dbm持久字典详解
查看>>
ls命令
查看>>
mysql建立自增主键的插入,及自动插入当前时间
查看>>
angular语法:Controller As
查看>>
django ORM中update_or_create功能,如果只要匹配某一特定字段呢
查看>>
tensorflow节点布放(device assignment of node)算法:simpler_placer
查看>>
u-boot的环境变量
查看>>
ios消息机制
查看>>
Java泛型详解
查看>>