姓名：简小历
年龄：23岁
电话：159****4849
邮箱：368804****@qq.com
经验：1年
意向：大数据工程师
时间：2011-09 - 2015-07
学校：简历本大学 | 专业：计算机科学与技术 | 学历：本科
工作时间：2010-03 - 2014-05
公司名称：简历本信息技术有限公司 | 所在部门：软件与服务事业集团/数据解决方案事业部 | 所在岗位：高级软件测试工程师
工作描述：
1）进行测试需求分析，制定测试计划，合理分配测试资源；
2）设计开发测试用例，开发相关自动化测试框架及工具
3）负责产品集成测试（功能，性能，稳定性），报告并追踪产品问题，提供系统测试及验收报告
4）与开发团队紧密合作，分析系统性能瓶颈，提供优化意见
5）优化软件质量保证流程，提高效率及实用性
工作时间：2015-11 - 2017-09
公司名称：简历本人才咨询有限公司 | 所在部门： | 所在岗位：大数据工程师
工作描述：
根据需求，负责相关大数据应用模块设计；
参与大数据产品的数据分析、数据模型、功能设计及产品研发工作；
研究各种数据清洗，修复方法；
研究大数据有关的数据分析方法；
负责有关大数据分析产品的设计和开发。
项目时间：2016-09 - 2017-09
项目名称：交互式实时数据分析平台
项目描述：
项目介绍
项目名称 : 交互式数据分析系统（准实时数据分析平台）
技术架构 : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker
开发环境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)
项目描述 : 该系统是一个交互式用户行为分析系统。系统的主要用户为公司内部的PM和运营人员，用户根据自己的需求去
分析某一 类客户的流量数据。根据分析结果，PM可以优化产品设计，运营人员可以为自己的运营工作提供数据
支持。用户在系统界面中选择某个分析功能对应的菜单，并进入对应的任务创建界面，然后选择筛选条件和任务
参数，并提交任务。在接收到用户提交的任务之后，根据任务类型选择其对应的Spark作业，启动一条子线
程来执行Spark-submit命令以提交Spark作业。Spark作业运行在Yarn集群上，并针对Hdfs中的海量
数据使用SparkSQL进行计算，最终将计算结果写入Hdfs中。另外还集成Flume，Kafka和Spark,
利用SparkStreaming，进行实时分析。用户通过系统界面查看任务分析结果，将结果返回给界面进行展现。
项目职责 :负责项目的集群搭建部署，需求分析, 参与库表的设计及代码的编写和测试优化工作
开发步骤 : 数据收集阶段：Flume采集供应商接口上的数据,实现flume自定义拦截器,满足业务需求。
Kafka拉取flume上的数据传给sparkStreaming进行数据处理（实时ETL的程序），ETL处理的数据保存到Hdfs中。
数据处理阶段：SparkCore处理Hdfs上的数据，通过RDD进行离线处理和Dstream准实时处理之后保存到Hdfs中。
数据展示阶段：通过JDBC连接Hdfs处理好的数据，进行图表展示。
功能模块 : 用户访问会话（session）分析模块，页面跳出率统计分析模块，
各区域热门商品统计分析模块，广告点击流量实时统计分析模块
我的职责
项目时间：2014-11 - 2017-09
项目名称：Intel新一代数据中心平台的性能评测及调优
项目描述：
项目介绍
Intel内部合作项目 -- 对数据中心平台新一代产品发布提供性能评测及调优
我的职责
负责基于大数据测试基准(TPCx-BB，TPC-DS等)，对新一代数据中心平台进行基本性能评估。
负责对新一代数据中心平台进行性能调优（涉及Hadoop, Java, OS, BIOS等几个层面），充分挖掘系统软硬件资源的能力。
撰写内部技术报告，提交给数据中心部门进行审核。
熟悉hadoop生态圈一些开源组件flume、sqoop、zookeeper等，熟悉Java，Linux，熟悉关
系型数据库mysql、oracle，熟悉数据仓库hive，会写SQL语句，熟悉yarn工作原理及
mapreduce原理，了解hbase，spark，spark_rdd
性格开朗，为人细心，做事一丝不苟，能吃苦耐劳，工作脚踏实地，有较强的责任心，
具有团队合作精神，又具有较强的独立工作能力，思维活跃。
能够安装、部署、Hadoop2.x集群，熟悉Hadoop生态系统的相关产品，熟悉HDFS分布式文件系统，Sqoop数据库ETL工具，Flume日志收集，MapReduce分布式计算框架，熟练掌握Sql/Hql的编写，Zookeeper分布式协作，Yarn资源管理器，Hive数据仓库，HBase实时协作数据库，熟悉Spark内存计算，熟悉MySQL/ORACLE数据库安装、管理、调优、备份、容灾、安全等技能一般,熟悉MapReduce编程。熟悉Linux操作系统，熟悉shell，熟练运用SecureCRT, Xshell，MyEclipse，FileZilla Client等应用软件。
