| |
 简小历女23岁2年189****8695342531562@qq.com大数据开发工程师一句话向HR介绍自己 |
| 教育背景 |
2011-09 到 2015-07 简历本科技学院 本科 |
| 工作经历 |
简历本网络传媒有限公司 大数据开发工程师 根据公司发展需要，为公司所做的项目提供技术支持，搭建数据分析平台，对数据进行简单清洗和处理，对项目所需的部分指标进行分析处理，解决项目中出现的部分问题，优化项目代码，减少运行时间。 |
| 项目经历 |
简历本网络传媒有限公司 项目介绍 该项目为优购平台用户行为分析项目，该项目旨在通过Logstash获取用户海量购物浏览消费数据，经kafka中转，再获取到Spark中对数据进行分析处理；分析统计页面跳转率、每日成交量、用户来源每日用户访问来源排名、每日新增用户数、每日商品销量Top10、实时成交额、实时黑名单等指标；再将结果数据用图表展示出来，为企业科学决策提供依据；图表可以直观展示和分析购物平台运营状况，可根据海量用户行为做合适的营销策略调整，提升活跃用户数，促进优购物网站发展。 我的职责 1.搭建Hadoop，Spark，Hive，Zookeeper集群 2.数据的清洗和简单处理 3.分析处理每日用户访问来源排名、每日新增用户数、页面跳转率、每日商品销量Top10离线指标，实时成交额、实时黑名单等指标 4.hql语句的优化
简历本电子商务有限公司 项目介绍 该项目为宜聚网数据统计分析项目，宜聚网是实名注册可小额抵押汽车、小额理财的一个平台。本项目通过对该平台用户海量借贷数据的获取，统计网站日点击量、注册用户数、各年龄层比率、放款次数金额、单笔募集时间等来分析网站运营情况，根据借贷人群、金额和来源情况的分析结果适度调整营销策略，促进网站长远的发展。 我的职责 1.搭建项目集群环境 2.Hive表的结构设计，如贴源表、明细表 3.分析处理每月贷款金额、每月注册用户数、各年龄层比率、用户地域分布排名、黑名单离线指标，实时统计单笔款项募集时间、实时点击量、实时成交额。 4.问题处理以及Spark和hive相关优化 |
| 个人技能 |
了解数据建模相关知识 熟悉Flume、Logstash数据采集工具的原理，熟悉Elasticsearch 熟悉消息系统Kafka工作机制，能独立完成Kafka集群部署 熟练使用Sqoop进行关系型数据库与Hdfs/Hive/Hbase之间进行数据导入导出；了解Azkaban任务调度系统 熟练使用Spark RDD/ Spark SQL/Spark-Streaming算子，熟悉Spark架构及框架原理，熟悉Spark中的一些优化 掌握Hbase数据库工作机制，能独立完成Hbase集群环境搭建 熟练使用Hive进行数据的查询分析处理及ETL相关操作，了解Hive优化 熟悉HDFS文件存储系统、Map/Reduce离线计算模型、YARN资源管理的工作机制以及Hadoop生态体系相关技术 熟练Scala、Java编程语言、Shell脚本 |
