HDFS迁移MinIO(转载)

从Hadoop迁移

这篇博文将重点介绍如何在不淘汰和替换有价值的工具和服务的情况下进行迁移。现实情况是，如果你不对你的基础架构进行现代化改造，你就无法在组织所需的AI/ML方面取得进步，但你不必为了实现这一目标而抛弃一切。

使用Spark和Hive分解存储和计算

此架构涉及 Kubernetes 管理用于数据处理的 Apache Spark 和 Apache Hive 容器;Spark 与 MinIO 原生集成，而 Hive 使用 YARN。MinIO 处理有状态容器中的对象存储，在此架构中，它依赖于多租户配置进行数据隔离。

架构概述

• 计算节点：Kubernetes 高效管理计算节点上的无状态 Apache Spark 和 Apache Hive 容器，确保资源利用率和动态扩展。

• 存储层：MinIO纠删码和BitRot保护意味着您可能会丢失多达一半的驱动器数量，但仍然可以恢复，所有这些都不需要维护Hadoop所需的每个数据块的三个副本。

• 访问层：对 MinIO 对象存储的所有访问都通过 S3 API 统一，为与存储的数据交互提供无缝接口。

• 安全层：数据安全至关重要。MinIO 使用每个对象的密钥加密所有数据，确保对未经授权的访问提供强大的保护。

接入层中的互操作性

S3a是寻求从Hadoop过渡的应用程序的重要端点，它提供了与Hadoop生态系统中各种应用程序的兼容性。自 2006 年以来，兼容 S3 的对象存储后端已作为默认功能无缝集成到 Hadoop 生态系统中的众多数据平台中。这种集成可以追溯到将 S3 客户端实施整合到新兴技术中。

在所有与Hadoop相关的平台上，采用该 hadoop-aws 模块是 aws-java-sdk-bundle 标准做法，确保了对S3 API的强大支持。这种标准化方法有助于应用程序从 HDFS 和 S3 存储后端平稳过渡。只需指定适当的协议，开发人员就可以毫不费力地将应用程序从Hadoop切换到现代对象存储。S3 的协议方案用 s3a：// 表示，而 HDFS 的协议方案用 hdfs:// 表示。

迁移的好处

毫无疑问，现代工作负载需要出色的性能来与正在处理的数据量和现在所需的任务复杂性竞争。当性能不仅仅是虚荣的基准测试，而是一个硬性要求时，Hadoop替代品的竞争者领域就会急剧下降。

推动迁移的另一个因素是云原生规模。当云的概念不再是物理位置，而更像是一种操作模型时，就可以做一些事情，比如在几分钟内从单个 .yaml 文件部署整个数据堆栈。如此迅速的实现会让任何Hadoop工程师从椅子上摔下来。

这一概念的一部分是摆脱供应商锁定带来的经济效益，它允许组织为特定工作负载选择一流的选项。更不用说，无需维护三个单独的数据副本来保护它，这已成为过去，具有主动-主动复制和纠删编码。投资于面向未来的技术通常也意味着更容易找到和招募有才华的专业人员来从事您的基础设施工作。人们希望从事推动业务发展的事情，而几乎没有比数据做得更好的了。这些因素共同促成了数据堆栈，该堆栈不仅更快、更便宜，而且更适合当今和未来的数据驱动需求。

开始

要从Hadoop迁移，显然必须首先安装它。如果要模拟此体验，可以通过在此处设置 Hadoop 的 Hortonworks 发行版来开始本教程。

否则，您可以从以下安装步骤开始：

1. 设置 Ambari：接下来，安装 Ambari，它将通过自动为你配置 YARN 来简化服务的管理。Ambari提供了一个用户友好的仪表板，用于管理Hadoop生态系统中的服务，并保持一切顺利运行。

2. 安装 Apache Spark：Spark 对于处理大规模数据至关重要。按照标准安装过程启动并运行 Spark。

3. 安装 MinIO：根据您的环境，您可以在两种安装方法之间进行选择：Kubernetes 或 Helm Chart。

成功安装这些元素后，可以将 Spark 和 Hive 配置为使用 MinIO 而不是 HDFS。导航到 Ambari UI http://：8080/ 并使用默认凭据登录： username: admin, password: admin ，

sudo pip install yq
alias kv-pairify='yq ".configuration[]" | jq ".[]" | jq -r ".name + \"=\" + .value"'

下面可能代表了 core-site.xml 一种配置 S3a 的方法，其中 MinIO 在 12 个节点和 1.2TiB 内存上运行。

cat ${HADOOP_CONF_DIR}/core-site.xml | kv-pairify | grep "mapred"

mapred.maxthreads.generate.mapoutput=2 # Num threads to write map outputs
mapred.maxthreads.partition.closer=0 # Asynchronous map flushers
mapreduce.fileoutputcommitter.algorithm.version=2 # Use the latest committer version
mapreduce.job.reduce.slowstart.completedmaps=0.99 # 99% map, then reduce
mapreduce.reduce.shuffle.input.buffer.percent=0.9 # Min % buffer in RAM
mapreduce.reduce.shuffle.merge.percent=0.9 # Minimum % merges in RAM
mapreduce.reduce.speculative=false # Disable speculation for reducing
mapreduce.task.io.sort.factor=999 # Threshold before writing to drive
mapreduce.task.sort.spill.percent=0.9 # Minimum % before spilling to drive

重新启动ambari以及hdfs组件

导航到Spark2面板

spark.hadoop.fs.s3a.access.key minio
spark.hadoop.fs.s3a.secret.key minio123
spark.hadoop.fs.s3a.path.style.access true
spark.hadoop.fs.s3a.block.size 512M
spark.hadoop.fs.s3a.buffer.dir ${hadoop.tmp.dir}/s3a
spark.hadoop.fs.s3a.committer.magic.enabled false
spark.hadoop.fs.s3a.committer.name directory
spark.hadoop.fs.s3a.committer.staging.abort.pending.uploads true
spark.hadoop.fs.s3a.committer.staging.conflict-mode append
spark.hadoop.fs.s3a.committer.staging.tmp.path /tmp/staging
spark.hadoop.fs.s3a.committer.staging.unique-filenames true
spark.hadoop.fs.s3a.committer.threads 2048 # number of threads writing to MinIO
spark.hadoop.fs.s3a.connection.establish.timeout 5000
spark.hadoop.fs.s3a.connection.maximum 8192 # maximum number of concurrent conns
spark.hadoop.fs.s3a.connection.ssl.enabled false
spark.hadoop.fs.s3a.connection.timeout 200000
spark.hadoop.fs.s3a.endpoint http://minio:9000
spark.hadoop.fs.s3a.fast.upload.active.blocks 2048 # number of parallel uploads
spark.hadoop.fs.s3a.fast.upload.buffer disk # use disk as the buffer for uploads
spark.hadoop.fs.s3a.fast.upload true # turn on fast upload mode
spark.hadoop.fs.s3a.impl org.apache.hadoop.spark.hadoop.fs.s3a.S3AFileSystem
spark.hadoop.fs.s3a.max.total.tasks 2048 # maximum number of parallel tasks
spark.hadoop.fs.s3a.multipart.size 512M # size of each multipart chunk
spark.hadoop.fs.s3a.multipart.threshold 512M # size before using multipart uploads
spark.hadoop.fs.s3a.socket.recv.buffer 65536 # read socket buffer hint
spark.hadoop.fs.s3a.socket.send.buffer 65536 # write socket buffer hint
spark.hadoop.fs.s3a.threads.max 2048 # maximum number of threads for S3A

更改完后全部重新启动

导航到hive面板

hive.blobstore.use.blobstore.as.scratchdir=true
hive.exec.input.listing.max.threads=50
hive.load.dynamic.partitions.thread=25
hive.metastore.fshandler.threads=50
hive.mv.files.threads=40
mapreduce.input.fileinputformat.list-status.num-threads=50

重启改完的组件

转载链接

https://blog.csdn.net/miniopro/article/details/139852791