Skip to content

褚成志 | 大数据高级运维工程师

联系方式: 13868166992 | 邮箱: livecityccz@163.com | GitHub: https://github.com/initchu | 博客: https://www.cnblogs.com/chucz求职意向: 大数据运维开发 | 期望城市: 杭州


核心优势

  • 华为大数据生态经验:6年华为云技术服务经验,负责过多个华为MRS、DWS系统运维项目,对系统架构有深入了解,具备独立处理系统问题能力
  • 实时数仓开发经验:熟练使用Flink、Spark、Hive等离线数仓和实时数仓计算框架,深入了解原理,具备调优和优化能力
  • 大数据组件运维:熟练Elasticsearch、Redis、Kafka、HBase等技术的使用和调优,负责过多个大数据平台建设项目
  • 数据仓库建设:参与过数据中台、大数据平台建设,熟悉数据仓库建模理论、ETL和SQL开发
  • 编程能力:熟练使用Python、Shell等语言,具备Java企业项目开发经验

技术能力

华为大数据生态:MRS(MapReduce Service)、DWS(Data Warehouse Service)、FusionInsight、华为云大数据平台架构与运维 实时计算框架:Flink实时计算、Spark Streaming、Kafka Streams、实时数据链路搭建与优化 离线计算框架:Hive数据仓库、Spark SQL、MapReduce、离线数据处理与调优 大数据组件:Elasticsearch(日志分析、全文检索)、Redis(缓存、消息队列)、Kafka(消息中间件)、HBase(NoSQL数据库)、ClickHouse(OLAP引擎) 数据仓库:数据仓库建模(维度建模、范式建模)、ETL开发、SQL优化、数据治理 云平台:华为云HCS、阿里云、腾讯云、OpenStack、云原生技术 容器编排:Kubernetes集群运维、Docker容器化部署、CCE容器平台 编程语言:Python(数据处理、运维脚本)、Shell、Java(Spring/SpringBoot/MyBatis)、Scala(可读) 监控告警:Prometheus+Grafana、ELK(Elasticsearch+Logstash+Kibana)、大数据平台监控体系


工作经历

华为技术有限公司 | 云计算产品技术经理 | 2019.08 - 至今 | 杭州

  • 统筹区域内华为云Stack云服务产品交付与运维,负责HCS/虚拟化/容器云/大数据平台等IaaS/PaaS云项目解决方案落地
  • 负责华为MRS、DWS系统运维,对系统架构有深入了解,具备独立处理系统问题能力
  • 参与数据中台、大数据平台建设,负责Flink、Spark、Hive、Kafka、Elasticsearch、Redis、HBase等大数据组件的部署、配置优化和故障排查
  • 使用Python、Shell编写数据处理脚本和运维自动化工具,提升运维效率
  • 搭建Prometheus+Grafana+ELK全链路监控告警体系,实现大数据平台的可观测性

大数据技术实践

  • 华为MRS运维:负责MapReduce Service集群运维,包括HDFS、YARN、Hive、Spark、Kafka、HBase等组件的部署、配置、监控、故障排查
  • 华为DWS运维:负责Data Warehouse Service数据仓库运维,包括数据导入、SQL优化、性能调优、备份恢复
  • 实时计算:使用Flink搭建实时数据处理链路,对接Kafka消息队列,实现实时数据清洗、转换、聚合
  • 离线计算:使用Hive、Spark SQL进行离线数据处理,优化SQL查询性能,提升数据处理效率
  • 大数据组件调优:Elasticsearch索引优化、Redis缓存策略优化、Kafka吞吐量调优、HBase读写性能优化

杭州中恒云能源互联网技术有限公司 | 解决方案工程师 | 2017.06 - 2019.06 | 杭州

  • 参与能源互联网平台产品设计、数据采集组网、模块选型和协议开发对接,支撑电网、发电企业安全生产提效降本
  • 设计"硬件+软件+培训"一体化方案,集成边缘计算网关、IoT平台及行业应用,服务国网、华能等电网客户
  • 构建网关设备主动式运维,实现设备故障预判与智能调度,运维响应时间缩短40%,故障处理效率提升35%

浙江新能量科技股份有限公司 | 软件工程师 | 2013.05 - 2017.06 | 杭州

  • 负责GDW376.1/IEC104等电力行业通信规约的嵌入式开发调试,优化协议解析引擎性能,数据传输成功率提升至99%
  • 设计低功耗、高可靠嵌入式网关设备,实现传感器数据采集、规约转换及边缘计算功能,支持多种工业协议

杭州新正软件技术有限公司 | 软件工程师 | 2011.01 - 2013.04 | 杭州

  • 基于主流框架开发企业级应用模块,优化权限控制和数据库查询性能,提升业务接口响应效率
  • 参与制定公司软件开发规范,提升模块代码复用率和团队开发效率

核心项目经验

衢州市警务云HCS(容器+大数据)| 产品技术经理 | 2024.05

响应"数字中国、智慧警务"战略,主导衢州警务云(容器+大数据)省市级联贯通项目建设,构建适配治安管理与民生服务的智慧警务解决方案。 技术栈:华为云(ECS、CCE、RDS、OBS)、容器技术、大数据MRS(Elasticsearch、分布式数据库等)、零信任认证、数据治理工具、业务总线

  • 主导规划交付衢州市警务云计算中心华为云底座、大数据平台及硬件基础设施
  • 基于华为ROMA平台搭建业务总线;推进容器应用迁移上云,解决Elasticsearch兼容问题,优化索引配置和查询性能
  • 对接奇安信零信任体系完成业务总线自定义鉴权,实现省市服务目录同步与鉴权信息互通

成果:构建25个云服务,实现与浙警智治2.0平台级联贯通,数据治理效率提升60%,应用上线周期缩短50%。

衢州市政务云国产化改造及上云交付项目 | 核心交付/迁移专家 | 2023.12

为衢州市政务云提供国产化改造、上云交付及运维体系建设全流程服务,涵盖云底座规划、资源扩容、应用迁移、安全集成与运维能力搭建。 技术栈:政务云IaaS/PaaS平台、统一监控体系(MO平台)、自动化运维平台、CMDB管理系统、ITSM工具、数据中台

  • 牵头完成政务云底座新建规划设计;参与数据中台建设,规划数据仓库架构,设计ETL数据处理流程
  • 梳理30+项应用改造需求,分批次完成核心政务应用上云部署
  • 搭建可观测统一监控体系,设置200+项告警阈值,覆盖95%以上故障场景;制定33项核心运维流程与50+个交付物清单

成果:资源利用效率提升40%,运维响应速度提高50%,故障处理时长缩短60%,成功支撑20+项政务应用平滑迁移。

国网浙江省电力禾城外网云 | 产品技术经理 | 2023.10

基于华为云Stack解决方案构建电力行业私有云平台,部署500PM/5000VM资源池,支撑10+部门500+核心业务,涵盖电力物联网能管系统、能源大数据平台等关键业务。 技术栈:华为云Stack(HCS8.0X)、FusionSphere OpenStack、分布式存储、SDN网络、KVM虚拟化、ManageOne云管平台、容器平台(CCE)、中间件(DCS(Redis)、DMS(Kafka))、数据库RDS、数仓DWS、大数据MRS数据中台DGC

  • 负责大数据MRS平台部署与运维,包括HDFS、YARN、Hive、Spark、Kafka、HBase等组件
  • 负责数仓DWS运维,优化SQL查询性能;负责数据中台DGC建设,实现数据集成、数据开发、数据治理
  • 负责中间件(Redis、Kafka)部署与调优,保障消息队列和缓存服务稳定运行

成果:资源利用率提升30%,MTTR显著下降,平台支撑48708核私有云算力规模,稳定运行6000+台虚拟机。

第七一五研究所华为云CodeArts & ROMA一体化开发平台建设项目 | 产品技术经理 | 2024.08

基于华为云基础设施平台,整合CodeArts DevOps工具链与ROMA集成能力,打造"研发-集成-部署-运营"全链路数字化开放平台,支撑多团队协同与跨源数据互通。 技术栈:华为云(ECS、RDS、VPC、OBS)、CCE、CodeArts(需求管理、代码托管、流水线等)、ROMA Connect(FDI(数据集成)、MQS(消息队列)、APIC(API网关)、LINK(设备接入))

  • 主导华为云底座搭建与CodeArts方案交付,构建DevOps自动化CI/CD链路
  • 负责**ROMA Connect数据集成(FDI)**配置,实现跨源数据互通(MySQL、PostgreSQL、Oracle、Kafka、Redis等)
  • 负责**ROMA Connect消息队列(MQS)**部署与调优,保障消息可靠传输

成果:研发周期缩短50%,应用部署自动化率90%,支持300+人员协同,运维成本降低40%。

某商业银行华为HCS项目 | 产品与技术工程师 | 2021.06

交付落地灾备云架构,完成杭州生产主Region、开发测试Region、灾备从Region部署,支撑4个以上业务部门、80余个系统、800余台虚拟机运行。 技术栈:华为HCS8.0.3云平台、ARM/X86混合计算架构、分布式块存储(华为OceanStor Pacific)、IPv4+IPv6双栈网络、KVM虚拟化、vFW/安全组

  • 参与平台组网设计,规划计算2.3万核vCPU、存储1.81PB块存储、网络资源分配
  • 参与安全防护体系搭建,通过vFW、安全组实现南北向/东西向访问控制
  • 完善运维组织分工与SOP,部署日志收集、巡检工具,推进节点扩容与版本升级演进

成果:支撑1000+业务虚机稳定运行,重点业务跨region高可用,灾备环境可持续运行24小时目标。

浙能智云私有云建设项目 | 产品与技术工程师 | 2019.12

浙能集团双Region华为HCS混合云平台一期建设,构建"云网联动"的IaaS+PaaS,支撑智慧电厂、加油站系统等核心业务云化迁移。 技术栈:华为云Stack、容器技术(CCE)、SDN/VXLAN、基础服务/ROMA/DAYU/**MRS(大数据)/RDS(数据库)**等云服务、OBS对象存储

  • HCS8.X平台LLD规划,主导技术中台、数据中台交付;负责大数据MRS平台部署与配置,支撑数据分析和数据挖掘业务
  • 通过VRF实例与虚拟墙实现租户网络隔离;应对两次解决方案跨版本升级变更

成果:提前完成基础底座、技术中台、数据中台交付,支撑核心业务云化迁移,为后续大数据及AI平台建设奠定基础。


教育背景

重庆大学 | 本科 | 电气工程及自动化专业

褚成志 · 简历中心