阿里云容器镜像服务使用文档()

版本介绍

版本 说明
hadoop-1.3 Hadoop单机镜像,快速搭建一套Hadoop单机环境,亦可起多个容器稍作修改配置高可用集群
hadoop-1.4 以hadoop单机环境为基础镜像,安装了Hive数据仓库,并适配了Iceberg,开箱即用
hadoop-1.5 以hadoop单机环境为基础镜像,安装了Spark框架,开箱即用

hadoop-1.3版本要做以下步骤

Windows主机需要做以下步骤:

配置hosts文件映射 并刷新 ipconfig /flushdns

192.168.195.128(CentOS宿主机IP)		hadoop

CentOS宿主机需要做以下步骤:

  • 安装docker环境

    拉取镜像

    – – yum install -y docker
    – docker –version
    – vim /etc/docker/daemon.json
    – {“registry-mirrors”: [“https://d8b3zdiw.mirror.aliyuncs.com”]}
    – systemctl restart docker
    – docker pull 675361896/hadoop:tagname

  • 拉取镜像
  • 运行镜像
    docker run -itd –privileged –hostname hadoop -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 –name hadoop –user root 921cad23e02d /usr/sbin/init

  • 进入镜像后的操作
    – source /etc/profile
    – /usr/local/hadoop-3.2.4/sbin/start-all.sh

    Web 端查看 HDFS 的 NameNode:http://CentOS宿主机IP:9870
    Web 端查看 YARN 的 ResourceManager:http://CentOS宿主机IP:8088

hadoop-1.4版本要做以下步骤

1,重复hadoop-1.3的步骤
启动容器增加暴露Hive相关的端口

docker run -itd --privileged --hostname hadoop  -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 -p9083:9083 -p10000:10000 -p10002:10002 --name iceberg --user root  921cad23e02d /usr/sbin/init

2,开启hive服务

# 启动hive的元数据服务
./hive --service metastore &
# 启动server
./hive --service hiveserver2 -hiveconf hive.server2.thrift.port=10000 &
# 初始化元数据
schematool --initSchema -dbType derby
# 连接hive服务
./beeline -u jdbc:hive2://hadoop:10000 -n root

Web 端查看 Hive 的 Home页面:http://CentOS宿主机IP:10002

hadoop-1.5版本要做以下步骤

1,重复hadoop-1.3的步骤

启动容器增加暴露Spark相关的端口

docker run -itd --privileged --hostname hadoop  -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 -p9083:9083 -p10000:10000 -p10002:10002 -p4040:4040 --name iceberg --user root  921cad23e02d /usr/sbin/init

2,启动pyspark服务

/usr/local/spark/bin/pyspark

Web 端查看 Spark的Driver/Executer状态:http://CentOS宿主机IP:4040

————————

版本介绍

版本 说明
hadoop-1.3 Hadoop单机镜像,快速搭建一套Hadoop单机环境,亦可起多个容器稍作修改配置高可用集群
hadoop-1.4 以hadoop单机环境为基础镜像,安装了Hive数据仓库,并适配了Iceberg,开箱即用
hadoop-1.5 以hadoop单机环境为基础镜像,安装了Spark框架,开箱即用

hadoop-1.3版本要做以下步骤

Windows主机需要做以下步骤:

配置hosts文件映射 并刷新 ipconfig /flushdns

192.168.195.128(CentOS宿主机IP)		hadoop

CentOS宿主机需要做以下步骤:

  • 安装docker环境

    拉取镜像

    – – yum install -y docker
    – docker –version
    – vim /etc/docker/daemon.json
    – {“registry-mirrors”: [“https://d8b3zdiw.mirror.aliyuncs.com”]}
    – systemctl restart docker
    – docker pull 675361896/hadoop:tagname

  • 拉取镜像
  • 运行镜像
    docker run -itd –privileged –hostname hadoop -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 –name hadoop –user root 921cad23e02d /usr/sbin/init

  • 进入镜像后的操作
    – source /etc/profile
    – /usr/local/hadoop-3.2.4/sbin/start-all.sh

    Web 端查看 HDFS 的 NameNode:http://CentOS宿主机IP:9870
    Web 端查看 YARN 的 ResourceManager:http://CentOS宿主机IP:8088

hadoop-1.4版本要做以下步骤

1,重复hadoop-1.3的步骤
启动容器增加暴露Hive相关的端口

docker run -itd --privileged --hostname hadoop  -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 -p9083:9083 -p10000:10000 -p10002:10002 --name iceberg --user root  921cad23e02d /usr/sbin/init

2,开启hive服务

# 启动hive的元数据服务
./hive --service metastore &
# 启动server
./hive --service hiveserver2 -hiveconf hive.server2.thrift.port=10000 &
# 初始化元数据
schematool --initSchema -dbType derby
# 连接hive服务
./beeline -u jdbc:hive2://hadoop:10000 -n root

Web 端查看 Hive 的 Home页面:http://CentOS宿主机IP:10002

hadoop-1.5版本要做以下步骤

1,重复hadoop-1.3的步骤

启动容器增加暴露Spark相关的端口

docker run -itd --privileged --hostname hadoop  -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 -p9083:9083 -p10000:10000 -p10002:10002 -p4040:4040 --name iceberg --user root  921cad23e02d /usr/sbin/init

2,启动pyspark服务

/usr/local/spark/bin/pyspark

Web 端查看 Spark的Driver/Executer状态:http://CentOS宿主机IP:4040