Titan数据运营系统
Titan是一个涵盖数据采集、存储、处理、分析和可视化的全栈闭环系统，特别适用于线上业务为主的公司。通过对用户行为进行深入分析和挖掘，Titan为精准营销、个性化推荐和业务运营提供强力支持，从而提升业务转化率并优化运营效果。
系统流程:
- 数据采集: 利用Flume-Kafka-Flume架构从埋点日志服务器读取日志数据。
- 数据存储: 将采集到的日志数据存储至HDFS分布式文件系统。
- 数据仓库构建: 在Hive中进行数仓设计，并使用Spark完成数仓表之间的转换以及ADS层表到MySQL的数据迁移。
- 任务调度: 通过Azkaban进行定时任务调度，确保数据处理流程的自动化执行。
- 数据可视化: 最终将报表数据以Web形式呈现，方便用户进行数据洞察和分析。
技术栈:
- Java/Scala
- Hadoop
- Spark
- Hive
- Kafka
- Flume
- Azkaban
- SpringBoot
- Bootstrap
- ECharts
项目展示: 项目地址