Alluxio是一款专业的虚拟分布式存储系统，具有灵活的API接口和文件系统接口，通过接口连接到众多的存储系统，支持将内存数据持久化到底层存储系统，还可以以挂载的方式实现不同存储系统之间的数据管理功能，为计算框架和存储系统之间架起了连接的桥梁。

软件特色

1、灵活的文件API：Alluxio的本地API类似于java.io.File类，提供了 InputStream和OutputStream的接口和对内存映射I/O的高效支持。我们推荐使用这套API以获得Alluxio的完整功能以及最佳性能。

2、兼容Hadoop HDFS的文件系统接口:基于这套接口Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。

3、可插拔的底层存储：Alluxio支持将内存数据持久化到底层存储系统。Alluxio提供了通用接口以简化对接不同的底层存储系统。目前Alluxio支持Microsoft Azure Blob Store，Amazon S3，Google Cloud Storage，OpenStack Swift，GlusterFS， HDFS，MaprFS，Ceph，NFS，Alibaba OSS，Minio以及单节点本地文件系统，后续也会支持更多其他存储系统。

4、Alluxio层级存储：Alluxio可以管理内存和本地存储如SSD和HDD，以加速数据访问。如果需要更细粒度的控制，分层存储功能可以用于自动化管理不同层之间的数据，确保热数据在更快的存储层上。自定义策略可以方便地应用到Alluxio，而且pin(钉住)的概念允许用户显式地控制数据的存放位置。

5、统一命名空间：Alluxio可以通过挂载功能实现不同存储系统之间的高效数据管理。并且，透明命名机制在持久化存储对象到底层存储系统时可以保留存储对象的文件名和目录层次结构。

6、Web UI：用户可以通过Web UI浏览文件系统。在调试模式下，管理员还可以查看每一个文件的详细信息，包括存放位置，检查点路径等。

7、命令行：用户也可以通过./bin/alluxio fs与Alluxio交互，例如：实现将数据从文件系统拷入拷出。

Alluxio系统架构

与其他诸如HDFS、HBase、Spark等大数据相关框架一致，Alluxio也是一个主从结构的系统。它的主节点为Master，负责管理全局的文件系统元数据，比如文件系统树等，而从节点为Worker，负责管理本节点数据存储服务。另外，Alluxio还有一个组件为Client，为用户提供统一的文件存取服务接口。

当应用程序需要访问Alluxio时，通过客户端先与主节点Master通讯，或许对应文件的元数据，然后再和对应Worker节点通讯，进行实际的文件存取操作。所有的Worker会周期性地发送心跳给Master，维护文件系统元数据信息和确保自己被Master感知扔在集群中正常提供服务，而Master不会主动发起与其他组件的通信，它只是以回复请求的方式与其他组件进行通信。这与HDFS、HBase等分布式系统设计模式是一致的。

Alluxio安装配置教程

1、下载编译

下载的执行包，支持的Hadoop 2.2.x，一般我们需要自己编译源码。下载下来，通过以下命令构建适合自己的版本

mvn -T 2C install -Phadoop-2 -Dhadoop.version=2.6.0-cdh5.15.2 -DskipTests -Dmaven.javadoc.skip -Dfindbugs.skip -Dcheckstyle.skip -Dlicense.skip

说明

-T 2C：开启多线程编译，每个核cpu开启2个线程

-P：hadoop-2 为haddop大版本，可以是hadoop-1、hadoop-3

-D：具体细分版本号，我们这里是cdh版本

2、搭建和部署

部署一般建议和计算框架同置(co-locate)部署。本次以3台做个集群，其中p1机器是alluxio主节点，若要做高可用可引入zk(2.0版本会使用masters自身做高可用，不需要zk)，这里没有做高可用配置。

下载/编译出适合自己的执行包

上传到服务器上(3台都要),我将源码文件放在/usr/local/git并软链接到/opt下，后续我就直接在/opt下操作

选取其中一台机器作为主节点master,hostname是p1

在${ALLUXIO_HOME}/conf下

cp conf/alluxio-site.properties.template conf/alluxio-site.properties

alluxio.master.hostname=p1(主节点的主机名)

alluxio.underfs.address=hdfs://p1:8020/alluxio/home(namenode地址，即将hdfs跟路径挂载到alluxio下)

workers文件里面添加woker主机名字，例如我这里是p2、p3

masters文件里面添加master主机名字，例如我这里是p1

利用alluxio提供拷贝命令到其他集群机器

在hdfs 上新建/alluxio/home目录，hdfs dfs -mkdir /alluxio/home

启动Alluxio

用启动hadoop同一用户来启动，例如hdfs

cd ${ALLUXIO_HOME}/bin，然后运行 ./alluxio format，只是第一次需要运行，会清空alluxio里面的数据

cd ${ALLUXIO_HOME}/bin，然后运行 ./alluxio-start.sh all SudoMount，过程需要输入几次启动用户的密码

SudoMount 只是在第一次启动需要加，目的是挂载/mnt/ramdisk给alluxio作为默认的存储，若是一直hang住，检查启动用户是否配置了免密，我是将hdfs ALL=(ALL) NOPASSWD: ALL加入了/etc/sudoers里面。

${ALLUXIO_HOME}/bin ./alluxio runTests测试集群，其实就是上传一些文件到/alluxio/home

到web UI查看：http://p1:19999/home，其中p1是你master主机的ip

执行命令查看集群信息：cd ${ALLUXIO_HOME}/bin然后./alluxio fsadmin report