Titan数据运营系统

Titan是一个涵盖数据采集、存储、处理、分析和可视化的全栈闭环系统,特别适用于线上业务为主的公司。通过对用户行为进行深入分析和挖掘,Titan为精准营销、个性化推荐和业务运营提供强力支持,从而提升业务转化率并优化运营效果。

系统流程:

  1. 数据采集: 利用Flume-Kafka-Flume架构从埋点日志服务器读取日志数据。
  2. 数据存储: 将采集到的日志数据存储至HDFS分布式文件系统。
  3. 数据仓库构建: 在Hive中进行数仓设计,并使用Spark完成数仓表之间的转换以及ADS层表到MySQL的数据迁移。
  4. 任务调度: 通过Azkaban进行定时任务调度,确保数据处理流程的自动化执行。
  5. 数据可视化: 最终将报表数据以Web形式呈现,方便用户进行数据洞察和分析。

技术栈:

  • Java/Scala
  • Hadoop
  • Spark
  • Hive
  • Kafka
  • Flume
  • Azkaban
  • SpringBoot
  • Bootstrap
  • ECharts

项目展示: 项目地址