大数据开发工程师简历项目经验填写样本

简历本 07月04日 简历范文      项目经验怎么写

项目经验(案例一)

项目时间:2014-06 - 2014-12

项目名称:以风险为导向的审计软件

项目描述:
项目介绍
以风险为导向的审计软件,是借鉴国外审计软件的设计理念,融入了辩证法的观念,开创了国年首家产品成果,得到中注协及多家会计事务所的一致好评,也是唯一一家与用用友审计软件竞争的产品,主要界面是审计流程框架开发(包括流程作业步骤,问题回答,关键操作,审计程序,审计底稿列示)
主要功能菜单:项目管理(增加,删除,修改,备份,恢复),系统配置,手机拍照,财务数据(数据导入,数据初始化,财务数据维护,总账预览,核算总账明细账预览),审计调整(负值重分类调整,期初账表调整,期末账表调整,期初审计调整,期末审计调整,调整分录导出,调整分录导入),底稿管理(底稿信息维护,底稿签名,底稿导入,底稿导出,底稿归档),在线帮助等模块
我的职责
开发坏境win7,vs2008,Mysql,使用技术基于Mfc框架开发

项目经验(案例二)

项目时间:2016-04 - 2016-12

项目名称:中国人寿大数据平台建设 | 项目工具:rehat平台,集群规模50台,数据量28T

项目描述:
项目介绍
此项目是把多个业务系统的数据统一加工处理,然后再服务于国寿各个平台,项目大概分为下面几个部分,数据以sqoop或者其他ETL工具从增量库生产Gz文件,然后通过调度平台把数据放入到Hbase中,然后通过oozie调用Mapreduce,spark批处理,HiveSql,sqoop等定时执行任务对数据进行加工,并把处理好的数据放到Hbase表中或Hive内部表中,通过WebService接口执行ImpalaSql把平台数据提供给各个子系统。
我的职责
1.负责指定业务模块的Mapreduce编写
2.mapreduce运行效率优化,HbaseAPI编程接口优化,
3.平台运行过程中基本问题的处理,调度平台任务效率优化,
4.Spark离线处理业务逻辑指标计算,
5.spark-streaming 从kafka中读取流数据处理加工并放回hbase中等

项目经验(案例三)

项目时间:2016-06 - 2017-05

项目名称:运营日志分析系统 | 项目工具:Linux、hadoop-2.6.0-cdh5.5.2、sqoop-1.4.6-cdh3u5、hive-1.2.1-cdh3u5、zookeeper-3.4.5-cdh3u5、 Hbase-1.0.0-cdh3u5、mysql、spark-1.3.0-cdh5.5.2、Jdk1.7.0等。

项目描述:
项目介绍
我们公司拥有多款游戏,每天会产生大量的数据,但是这些数据是分散在不同机器中,管理这些数据非常困难。为了保证数据存储的高效、安全和完整,我们需要一个统一的大数据平台来存储和管理数据;其次,我们需要针对每天生产的数据进行分析和统计,例如DAU、DNU、留存、流失、付费喜好或是渠道排查等等;第三,我们需要一个灵活可配置的集群环境,根据实时的业务需求,改变集群的硬件环境。因此我们选择了Hadoop架构来搭建自己的大数据平台。
我们收集到的大量数据,有两方面的信息:一是事件信息,记录发生过的事件:用户A在某个时刻登录了一次;用户B在另一个时刻进行了一次购买,等等。这种事件信息占了系统所存储信息的大部分,而且绝大部分是不断新增的数据。除事件信息外,还有用户的属性信息,比如用户A首次充值的时间为2013年1月1日,等等。
我们通过分布式hadoop集群处理logstash获取的玩家游戏行为信息,使用mapreduce对数据进行过滤清洗后重新存储到HDFS上,使用hive和spark对数据进行分析,从数据反应的各项趋势了解游戏的运行现状,并把分析结果导入到mysql和redis进行统一管理。
我的职责
1.通过logstash抽取日志服务器上的日志文件和缓存数据库的数据导入到HDFS。
2.通过mapreduce对数据做一个MR清洗,清洗出有效字段。
3.将清洗后的数据导入hive进行分析,利用sqoop将hive分析统计后的结果导出到mysql中保存。
4.通过spark对事件日志进行统计分析,利用jdbc把分析结果写入到mysql。
5.使用HBase进行处理后数据的存储。
6.对mapreduce,hive等进行调优,对Hql语句进行编写调优。
5.日常数据的管理及维护。

项目经验(案例四)

项目时间:2015-12 - 2016-06

项目名称:优购平台用户行为分析

项目描述:
项目介绍
该项目为优购平台用户行为分析项目,该项目旨在通过Logstash获取用户海量购物浏览消费数据,经kafka中转,再获取到Spark中对数据进行分析处理;分析统计页面跳转率、每日成交量、用户来源每日用户访问来源排名、每日新增用户数、每日商品销量Top10、实时成交额、实时黑名单等指标;再将结果数据用图表展示出来,为企业科学决策提供依据;图表可以直观展示和分析购物平台运营状况,可根据海量用户行为做合适的营销策略调整,提升活跃用户数,促进优购物网站发展。
我的职责
1.搭建Hadoop,Spark,Hive,Zookeeper集群
2.数据的清洗和简单处理
3.分析处理每日用户访问来源排名、每日新增用户数、页面跳转率、每日商品销量Top10离线指标,实时成交额、实时黑名单等指标
4.hql语句的优化

有用
本文内容来自互联网,如果侵犯了您的权益,请联系管理员立即删除(附上内容地址)

相关推荐

  • 大数据开发工程师简历模板下载word格式,求职意向:大数据开发工程师,工作经历:根据公司发展需要,为公司所做的项目提供技术支持,搭建数据分析平台,对数据进行简单清洗和处理,对项目所需的部分指标进行分析处理,解决项目中出现的部分问题,优化项目代码,减少运行时间。
    3486人使用
  • 大数据工程师简历模板,基本信息,姓名:简历本,求职意向:软件工程师/软件研发工程师/数据库开发工程师,工作经历:进行数据导入导出 sqoop,mr数据清洗,hive,spark分析统计,以及hadoop集群维护,日常数据维护等...
    237人使用
  • 数据通信工程师简历,基本信息,姓名:简历本,求职意向:网络信息安全工程师/数据通信工程师/通信技术工程师/网络工程师/电信网络工程师,工作经历:电信级的交换机, bras数据配置,熟悉华为,中兴,爱立信,思科的路由器,交换机数据设备,无线网络的优化,3/4G无线网络优化...
    0人使用
  • 数据通信工程师简历模板,求职意向:数据通信工程师,工作经历:在中粮可口可乐的这段时间里,主要参与一些根据地方不同,市场环境不同的所需要制定的一些特殊对待快消品的方案,一遍适应当地执行环境,和日常的制定督促可口可乐业代日常项目的跟进,参与和快消品行业的竞品对比和应对方式,处理广告公司和中粮可口可乐的活动促销活动的广告制作,根据销量执行公司下发的政策方案,参与节假日和学校影院的方案申请、活动执行。
    555人使用
  • 数据通信工程师个人简历,基本信息,姓名:简历本,求职意向:数据通信工程师,工作经历:客户业务维护,工程实施跟进,维护机房设备运行,日常故障处理...
    0人使用
  • 软件开发:责任描述:1、参与项目的需求分析和项目构建。2、参与商品展示模块及搜索系统模块的开发及测试3、搜索系统服务接口的开发,及solrCloud的安装及配置4、使用Redis数据库做缓存
    910人阅读
  • 1.参与过多个项目的开发,熟悉常见业务的处理。2. 学习能力强,对新技术有着强烈的好奇心,适应能力强,能很快融入到项目开发中去。3. 逻辑思维能力强,思路清晰,处理问题细心严谨。4. 有较强的团队意识,乐于与用户以及领导,同事沟通,以便于解决项目中遇到的问题。5. 喜欢大数据行业,并打算长期追随大数据行业的发展做下去。
    1045人阅读
  • 负责产品的研发,系统性能调优,必要的技术支持1.中联税审项目 c++,Excel2.大信合并系统 VC++,Excel,Mongdb3.数据处理平台 myeclipse,Jdk,Hadoop2.x,hive,sqoop,zookeeper4.业务报表系统 myeclipse ,jdk, tomcat,jsp,servlet........
    2699人阅读
  • 根据有关标的客户的信息数据,适用相应的模型对其进行风险识别并分级。同时根据技术的发展及相关监管部门政策的调整而研发相适应的风险识别模型,同时就新的模型与技术部沟通、推进、实现,与运营部沟通、协调并推向市场,与设计部协调、调整、重新设计网页、APP界面。
    32人阅读
  • 项目介绍我们的日志数据来源有2个,一个是IIS日志,一个是trace日志。IIS日志主要用于记录用户和搜索引擎对网站的访问行为。trace日志主要记录用户在网站上的操作行为。用户在网页上的每次点击操作都会生成一条日志记录。我的工作是利用spark对trace日志进行离线和实时分析。需求一:商品搜索分析这主要是分析用户用户搜索了哪些产品。对日志进行处理后取得相应字段后,按照vid访客ID和siteI
    56人阅读