大数据开发 & Java开发工程师简历

1. 个人信息

- 工作性质：全职

- 目标地点：北京

- 目标职能：大数据Spark研发工程师

- 目标薪资：面议

2. 求职意向

- 职位名称：数据分析研发工程师

- 单位名称：图吧导航

3. 专业技能

- 大数据Spark研发工程师：

- 工作职责：在图吧导航担任数据分析研发工程师期间，负责需求调研、分析、功能模块设计与编码实现，调整项目开发周期，参与业务需求分析，并进行项目规划和效果评估。

- 技术掌握：深入理解Spark工作机制，熟练使用Scala编程，能够进行流式数据在线处理分析和性能调优。熟悉Spark Streaming、DataFrame和SQL的使用，同时对Elasticsearch、Hadoop、Hive、Redis和Kafka有深入了解。

  • Hadoop和Spark技术：
  • Hadoop：理解Hadoop的分布式文件系统，掌握MapReduce原理，能进行编码实现。

  • Spark：深入理解Spark源码，擅长Spark任务执行流程，能进行性能优化。

  • 数据存储与查询：

  • Elasticsearch：熟悉使用，用于日志管理和数据检索。
  • Redis：掌握其内存数据库原理，实现高效数据查询。

  • Hive：理解其工作原理，能进行数据仓库构建，进行数据主题抽取和多维分析。

  • 数据采集与流处理：

  • Kafka：熟练运用，作为数据采集和传输的工具。

  • Logstash：理解其工作原理，用于数据过滤和分析。

  • 其他技能：

  • Scala：用于Spark编程。
  • Shell脚本：熟练编写，用于Linux环境的自动化任务。
  • 英文技术文档阅读：能独立阅读和理解英文技术文档，撰写高质量的技术文档。

4. 项目经历

- 项目一：智能导航大数据平台

- 使用Kafka+SparkStreaming+Redis+HBase/MySQL构建智能导航系统，通过数据分析预测交通状况，提供实时导航服务。