离线标签：按照给定逻辑进行sql编码，+云spark+云hbase（后替换为ots），每天或每小时进行ETL清洗，更新标签信息。

实时标签：kafka+blink++表存储（OTS），标签信息实时更新。

3、负责主键设计，MD5()加密取前四位然后拼接，防止数据热点；

4. 建立二级索引。第一阶段是通过云hbase+内置solr实现的。第二阶段改为表存储OTS+多索引功能。主要用于人群筛查。

业绩：主导并落地用户画像基础功能服务，为业务赋能用户洞察、精准营销、广告投放。

时间：20xx.4-20xx.7

项目名称：幻影大师简历项目2

项目角色：数据开发

由于公司IDC机房自建CDH面临运维成本高、稳定性差、使用复杂繁琐等问题，决定将现有数据仓库迁移到阿里云大数据一站式解决方案（ODPS）上，借助云平台的天然优势，让公司的人力资源更多地向数据服务倾斜，大大降低了自建数据仓库高昂的运维成本，解放了人力。同时，离线计算已经不能满足越来越多的时间敏感需求，还需要构建实时的Data通道，即架构的数据仓库：

工作内容：

1、负责批量创建HDFS数据迁移任务，并使用ODPS迁移工具将原hive上的全部数据迁移到odps上；

2、参与部分业务线数据仓库的重构，即重新梳理业务模型，按照业务主题领域进行建模，ods/dws/dws/ads的分层架构；

3、负责搭建实时数据通道、业务研发，将App或小程序端的用户埋点数据输入消息中间件kafka。在此基础上，基于Blink，将用户埋藏数据进行扁平化、分析并存入数据库（odps）。同时关联其他维度表做一些实时计算和统计，比如新老客户、DAU等实时指标。

成果：整个数据仓库迁移到云端，大大节省了运维成本。同时，腾出人力专注于数据应用服务。同时优化了数据仓库结构，将原来的离线计算模式转变为离线+实时的lamda架构。初步满足业务对时间敏感的数据服务的需求。

时间：20xx.6-20xx.12

项目名称：幻影大师简历项目3

项目角色：数据开发

公司风控部门成立初期，没有一套完整的数据仓库。所有数据分析师都直接从业务数据库中获取数据。他们面临着取数据效率低、周期长、跨库查询、拖累业务数据库等问题。为了解决这些问题，并提供更多的数据服务，需要构建标准的数据仓库模型。

工作内容：

1、参与搭建基于开源大数据CDH版生态组件的大数据平台（50个节点）；

2、数据库分层设计，主要设计ods、dwd、dws、ads层；

3、业务数据库数据（主要是mysql）通过sqoop导入到hive数据仓库，少量mongo数据库数据通过自带工具导入到hive数据仓库；

4、使用oozie调度工具定期进行ETL数据处理和清洗；

5、利用监控作业任务状态实时监控作业运行状态，异常报警发送至钉钉群消息；

6、构建分析工具，为数据分析师提供便捷、强大的大数据分析工具。

成果：大大缩短了数据分析师的数据检索周期，也解决了跨库检索的痛点，为数据分析师提供了多元化的报表数据服务和数据分析服务。

时间：20xx.12-20xx.2

项目名称：幻影大师简历项目4

项目角色：数据开发

设计基于随机森林的贷款违约率风险评估模型，旨在确定贷款申请客户的违约概率，为风险控制决策提供相关判断依据。该模型利用历史申请人信息以及当前数据仓库中2000多个外部和内部标签，通过特征工程（数据预处理、特征选择、降维等）提取最相关的客户标签进行训练，随机森林模型为用于实现客户违约概率数据的输出，为客户的贷款风险控制决策提供必要的依据。

时间：20xx.5-20xx.5

项目名称：幻影大师简历项目5

项目角色：数据开发

参与数据分析平台的基础设施建设、表设计、数据处理、编码，使用大数据开源组件（hdfs、spark、hive、sqoop、oozie、）提供数据融合、离线计算、实时对公司贷款业务进行监测预警功能，并为各部门提供各类数据报表，开发业务分析中间表，极大地为风控业务人员获取数据提供了便捷的途径，方便销售人员发现新的特点和新规则的风险控制。和验证。

时间：20xx.5-20xx.7

项目名称：幻影大师简历项目6

项目角色：数据开发

风控规则需要从历史数据中检测贷款申请人的申请信息是否符合当前历史贷款申请数据中的某些风险规则。因此，需要实时、快速地返回历史数据对比结果。本系统使用kafka，作为实时流的入口，使用hbase作为底层数据库，从实时应用信息中提取对应的关键信息，快速查询并插入到hbase数据库中，最后将结果返回给实现历史数据的快速验证。

时间：20xx.3-20xx.5

项目名称：幻影大师简历项目7

项目角色：数据开发

由于旧的历史巡检系统作为数据仓库，无法满足长期跟踪流程（即订单号从采集到下达的整个生命周期的状态）快速、高效查询的要求。收据）。并发查询，所以采用了+hbase的方案来解决上述问题。所有源数据均使用公司自己的 etl 工具提取到 hd。在fs中，在()中进行各种复杂的关联和映射，最终生成单数的生命周期数据，设计key值，然后放入hbase中。现在无论多久之前都可以查询单个号码。时间在毫秒级别，并发查询量也中规中矩。每秒可提供5000个订单号查询。

自我评价

1. 7年研发经验（2年Java研发+5年大数据研发经验）

2、熟悉/Hbase/Hive/Spark/Flink/kafka等主流开源分布式大数据组件；熟悉阿里云大数据开发平台（原ODPS）；熟悉数据仓库分层体系建设、学科领域模型设计、数据仓库标准化落地后参与企业级大数据平台建设，熟悉使用和性能优化，熟悉Linux系统操作，熟悉基于spark开发在斯卡拉上。

# 清徐网站建设哪个正规  # 四位  # 大冶网站建设资质  # 南部商务区网站推广  # 广州网站推广微忻hfqjwl  # 小微企业推广营销方案  # 梧州整站seo优化  # 怎样做好微博关键词排名  # 潍坊网络营销推广怎么样  # 低价网站建设成本  # 怎么做临时网站推广平台  # 本系统  # 热搜关键词排名优化  # 韶关谷歌seo厂家地址  # 网站及推广软件  # 官方网站免费推广  # 通辽定制化网站制作推广  # 网站建设广告模板大全  # 淘宝同类型网站排名优化  # 商河网站推广营销  # 黄石网站建设专业学校  # 网站优化推广搜索优化  # 导入到  # 离线与实时标签处理  # MaxCompute、云Spark、云HBase与OTS的ETL与用户画像构建  # 离线  # 分析师  # 开源  # 风险控制  # 数据处理  # 数据库中  # 自己的  # 据分析  # 离线与实时标签处理：MaxCompute、云Spark、云HBase与OTS的ETL与用户画像构建  # 多个  # 中规中矩  # 采用了  # 还需要  # 后将  # 自带  # 新老  # 并为  # 主要用于 

相关文章： 云南网站设计，地域特色与文化融合的视觉盛宴，融合云南风情的视觉之旅，地域特色与文化共融的网站设计赏析  福州做网站，一站式服务助力企业互联网转型，福州网站建设，一站式服务推动企业互联网转型新篇章  微信好友误删怎么找回？2 年前的好友也能轻松找回啦   深圳首批可售性人才住房项目公布，六个项目共4422套房源   哈尔滨网站建设费用解析，价格因素及预算规划，哈尔滨网站建设成本揭秘，价格要素与预算攻略，哈尔滨网站建设成本全解析，价格因素与预算攻略揭秘  青岛外贸网站建设，助力企业拓展国际市场的关键一步，青岛外贸网站建设，企业国际市场拓展的黄金桥梁，青岛外贸网站建设，企业国际市场拓展的黄金桥梁  7月17日市科创中心组织科学营营前培训，助力青少年科学之旅   地方门户网站系统，构建区域信息枢纽，助力地方经济发展，打造地方信息枢纽，地方门户网站系统助力区域经济发展  外贸网站源码，助力企业拓展国际市场的利器解析，外贸网站源码，开启国际市场拓展新篇章  微信聊天记录误删别慌！教你用电脑PC端轻松恢复方法   上海网站优化公司，助力企业提升 *** 竞争力，上海专业网站优化服务，助企业抢占 *** 竞争制高点  百度旗下AI搜索应用升级！梯子AI上架应用市场，带来极致搜索体验   微信下载最新版本2025官方免费，社交新宠功能超强大   沧州做网站，助力企业打造互联网新名片，沧州企业互联网新名片打造专家  石家庄做网站，专业团队助力企业打造高效 *** 平台，石家庄专业团队助力企业构建高效 *** 平台  网站设计规划，打造高效、专业的 *** 平台，构建高效专业 *** 平台，网站设计规划攻略，高效专业 *** 平台构建攻略，网站设计规划全解析  新疆棉事件两年后，最大品牌输家曝光......  长沙网站建设公司，助力企业打造高效、专业的 *** 平台，长沙专业网站建设，赋能企业 *** 发展新篇章  朋友圈屏蔽好友不想被发现？掌握这些设置技巧很重要   济南SEO网站优化，助力企业提升 *** 竞争力，济南SEO优化，助力企业抢占 *** 市场制高点  常德网站建设，打造专业 *** 平台，助力企业腾飞，常德企业腾飞新引擎，专业网站建设，构建高效 *** 平台  雷霆夺冠验证建队哲学，今夏三大核心续约如何平衡未来蓝图？   4K电视成热门，片源难寻？葫芦视频带你免费看真4K电影   如何将关键词做到百度搜索页面底部相关搜索栏？优化精灵来教你   数字时代音乐资源超丰富！20个实用音乐搜索器和下载平台汇总   湛江做网站，助力企业打造线上品牌新形象，湛江企业网站建设，塑造线上品牌新风貌  抖音短视频超好玩！搜不到用户咋回事？临时解决办法来了   渭南网站建设，助力企业数字化转型的关键一步，渭南企业数字化转型新引擎，网站建设关键作用彰显，渭南企业数字化转型，网站建设是关键引擎  微信封号如何解封？详细操作步骤及注意事项在这里   海天推出冰淇淋！网友：味道很难评……  百度下拉列表现自己名字？腾轩科技传媒分享清除方法及原因   如今做微商的越来越多，微信号倒卖现象频发，注册多个微信号有妙招？   长虹电视全国统一服务热线400-902-8922，一站式维修服务流程详解   揭秘低价网站建设背后的优势与风险，低价网站建设，揭秘其背后的利弊真相  微信成国民应用引不法分子觊觎，上线新功能严打非法放贷   数字社交时代，微信如何拉黑联系人？详细步骤来啦   百度搜索下拉词有舆情风险？处理方法及优化建议来了   中消协发布消费提示：惕免密支付风险，网购谨慎开启   微信朋友圈发内容后不能直接编辑？这些间接修改方法快收藏   微信朋友圈压力大？这两种关闭方式助你重获宁静社交环境   广西网站推广策略，助力企业线上腾飞，广西企业线上增长新引擎，网站推广策略全攻略，广西企业线上增长加速器，揭秘网站推广全攻略  人去世了朋友圈会消失吗冲上热搜，微信客服给出回应   宁波网站设计，打造个性化品牌形象，助力企业互联网发展，宁波专业网站定制，塑造独特品牌形象，驱动企业 *** 成长  微信误删好友怎么找回？七种实用恢复方法助力你   抖音极速版：看视频赚钱超靠谱，还有超多精彩等你来   微信8.0.15正式版本发布，功能优化受好评   瑞幸“半杯冰”惹众怒！蜜雪冰城捅上第一刀  2025年中国网站建设公司TOP10权威榜单发布，增长超人实力居首   天津做网站，助力企业打造高效 *** 平台，天津专业网站建设，助力企业 *** 升级与高效运营  中华通网络电话：通话效果一流，拨打方式多样还省钱  

相关栏目： 【 广告资讯90366 】 【 广告推广18483 】 【 广告优化154267 】 【 广告营销46464 】