高级大型机开发人员简历
0/5 (提交你的评分)
SUMMARY
- 10年IT工作经验，2年以上大数据采集经验,分析和可视化框架
- 有使用MapReduce的大数据Hadoop项目经验,HDFS,猪,蜂巢,Sqoop,Oozie,Unix脚本,Platfora.
- 暴露于Apache Spark和Python.
- 有使用Apache Tez作为猪执行引擎的经验 & 蜂巢.
- 有使用Avro, Nested Avro, Sequence files, Parquet的经验 & ORC文件格式.
- Cloudera认证Apache Hadoop开发人员.
- 高效地使用各种分析函数构建高级hive脚本.
- 优化蜂巢和猪脚本的专家.
- 有使用platform工具构建可视化图表的经验.
- 熟悉数据架构，包括数据摄取管道设计, Hadoop信息架构, 数据建模和数据挖掘.
- 强大的知识 & 具有数据仓库概念、ETL方法和各种数据库技术的经验.
- 对大型机项目从设计开始的整个生命周期有丰富的经验, 发展, 和集成测试，直到生产实施..
- 能够评估业务规则, 与利益相关者协作并执行源到目标的数据映射, 设计与评审.
- 有敏捷项目工作经验
技术技能
大数据生态系统: Hadoop 1.0/2.x、Spark、MapReduce、HDFS、YARN、蜂巢、猪、Sqoop、Oozie、Tez、Avro、Parquet、ORC
语言/框架: 猪 Latin,蜂巢 QL,Shell脚本，Python,SQL,COBOL,JCL
数据库: DB2, Teradata
工具: Hortonworks,Cloudera CDH 3 & CDH 4,Abinitio,Github,Hue,Putty, WinSCP,Changeman,Version one,IBM Rational Team Concert.
域: 采购产品银行和金融服务，信用卡，保险
平台: Windows (2000 / XP), Linux, Unix, z / OS
方法: 敏捷,瀑布
专业经验
保密
Sr. 大数据Hadoop开发人员
职责:
- 能够与业务团队沟通，理解需求并概念化 & 解释解析解.
- 在开发过程中与离岸协调.
- 使用各种分析函数开发高级蜂巢脚本.
- 优化hive和pig脚本.
- 编写用于文本解析/挖掘的Python脚本.
- 使用平台开发可视化图表/图形.
- 在SIT和UAT阶段与业务和上游团队协调.
- 单元测试、文档 & 培训以支持人们
环境: Hadoop, Python, HDFS, MapReduce,特斯,猪,蜂巢,Sqoop HortonworkDistribution-hdp2.x Platfora有WinScp,腻子
保密
Sr. Hadoop开发人员
职责:
- 创建ETL进程，将数据从源系统移动到Hadoop.
- 创建map reduce代码，将EBCDIC格式的源文件转换为ASCII.
- 创建数据质量框架，从数据源对数据进行基本验证.
- 创建Key和Split框架，用于添加键列和分割npi/非npi数据
- 有使用蜂巢 QL和猪 Latin进行数据转换和分析的经验.
- 有开发自定义UDF/UDAF的经验，处理hive和Apache Sentry的更新
- 具有蜂巢查询优化和性能调优经验
- 体验各种过程，例如使用基于Teradata Parallel Transporter (TPT)和Fast Load Scripts构建的卸载脚本从Teradata进行历史加载(一次性).
- 在控制进入Hadoop的元数据注册表中注册数据集
- 对Hadoop数据分类和目录结构选项有很好的理解.
- 对Hadoop架构和HDFS等组件有深入的理解和认识, 工作追踪, 任务跟踪器, 名字节点, 数据节点, MRv1和MRv2 (YARN).
- 为不同的集成和用户验收测试问题提供解决方案. 与海外团队协调并提供分析和指导.
- 确保单元和集成测试的及时完成, 通过与企业中小企业/ IT部门协调，对项目进行测试, 接口团队和利益相关者.
- 参与每日SCRUM会议，讨论sprint的开发/进度，并积极提高SCRUM会议的效率.
环境: Hadoop-Cloudera分布, UNIX, Teradata, MapReduce, HDFS, 猪, 蜂巢, Sqoop, UnixShell脚本,Abinitio,大型机.
保密
技术主管(ETL /主机)
职责:
- BIC:作为这个项目的一部分, 我们构建存储Argo事务的工具“Transend”.
- 它存储了所有不同类型的交易，并允许Capital One银行家通过EJ搜索工具搜索交易
- 商业之书:作为这个项目的一部分, 我们建立了一个存储第一资本零售银行交易的数据存储.
- 它存储存款/贷款/投资账户的余额，并允许Capital One银行家通过银行账簿查看工具搜索交易
- 开发UNIX包装器korn shell脚本.
- 推动项目从开发到SIT，从UAT到生产.
- 使用Control/m GUI监控工作，并与生产支持团队密切合作，确保工作的顺利完成.
- 在EME中维护项目的版本.
- 与其他团队(如Java)协调工作, 负载测试, 不同环境下的QA、系统集成测试(SIT)和用户验收测试(UAT).
- 不时对图形进行优化，解决图形的性能问题，并探索将其利用到最佳水平的工具.
- 维护适当的项目文档，如设计文档，并向其他团队解释这些文档
环境: UNIX, Abinitio 3.x,大型机
保密
高级大型机开发员
职责:
- 需求分析和设计准备.
- 批处理程序的开发和单元测试
- 提供系统测试/集成测试支持
- 修复系统测试/集成测试中的缺陷
- 解决生产问题，确保满足批处理过程的SLA要求.
环境: 大型机
保密
大型机开发人员
职责:
- 需求分析，设计，开发和单元测试.
- 批处理程序的开发和单元测试
- 提供系统测试/集成测试支持
- 修复系统测试/集成测试中的缺陷
- 解决生产问题，确保满足批处理过程的SLA要求.
隐私政策
