在大数据领域,Cloudera Manager(CM)和CDH(Cloudera Distribution Including Apache Hadoop)是广泛使用的管理工具和Hadoop发行版。CM6.3.1是Cloudera Manager的一个版本,提供集中界面管理和监控集群各组件。CDH6.3.2则为特定版本,包括多开源大数据项目如HDFS、YARN、HBase、Spark等。Streamsets是数据集成工具,用于实时数据流处理,可创建数据管道,收集多源数据并传输至不同目标。重点介绍在CentOS7系统上使用CM6.3.1和CDH6.3.2单机部署Streamsets3.22.3的操作,需准备Parcel包。Parcel是CDH分发机制,允许集群内一致受控部署软件包。下载需包括Manifest元数据、Streamsets数据收集器Parcel及其SHA校验和文件、以及定义Streamsets在CDH服务配置的CSD文件。上传至/opt/cloudera/parcel-repo和/opt/cloudera/csd目录后,通过CDH UI管理界面完成集成,确保Streamsets服务在所有节点正确配置和启动。