Python培训+大数据开发

主要内容

可掌握的核心能力

1. 掌握MySQL数据库的使用；
2. 掌握SQL语法；
3. 掌握Kettle数据迁移工具的使用；
4. 熟练使用BI可视化工具；
5. 对数据开发有一定认知，掌握BI工程师所具备的基本技能；
6 掌握ETL的相关概念；
7. 掌握基于Python语言完成ETL任务开发实战；
8. 基于ETL实战锻炼Python编程能力，包括（元数据管理、数据模型、项目配置、单元测试、工具方法抽取等）；
9. 掌握BI数据分析实战。

主要内容

可掌握的核心能力

1.掌握Linux常用命令，为数据开发后续学习打下的良好基础；
2.掌握大数据的核心框架Hadoop以及其生态体系，完成HDFS、MapReduce及Yarn机制基本理解与使用；能顾搭建Hadoop高可用HA集群；
3.掌握Hive的使用和调优；
4.具备Hadoop开发能力、离线数据仓库开发能力；
5.掌握零售行业离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程；
6.掌握教育行业离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程；
7.真实业务逻辑，共涉及20多个主题，100多个指标，提升学员在教育行业中的核心竞争力；
8.新增数据和更新数据的抽取和分析；
9.Hive函数的具体应用；
10.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能。

主要内容

可掌握的核心能力

1.掌握Spark的RDD、DAG、CheckPoint等设计思想；
2.掌握SparkSQL结构化数据处理，Spark On Hive；
3.掌握Structured Streaming整合多数据源完成实时数据处理；
4.具备Spark全栈开发能力，满足大数据行业多场景统一技术栈的数据开发，提供就业核心竞争力；
5.快速搭建保险行业大数据平台；
6.基于Hive+Spark SQL搭建离线数据仓库；
7.基于SparkSQL应对轻松应对复杂的迭代计算；
8.完成基于国内头部保险公司大数据项目开发；
9.掌握基于Spark分析12亿报单表和8千万客户等数据；
10.对保单汇总计算（业务发展类指标，成本费用类指标等），并向业务人员做数据展示。

主要内容

可掌握的核心能力

1.掌握Redis原理及架构、命令操作、及数据结构；
2.掌握HBase原理及架构，HBase命令操作、MapReduce编程；
3.掌握Phoneix二级索引优化查询；
4.掌握ELK开发掌握Kafka原理及架构；
5.掌握Flume原理及架构，掌握HBase原理及架构；
6.掌握HBase命令操作、MapReduce编程；
7.掌握Phoneix二级索引优化查询；
8.掌握ELK开发掌握Kafka原理及架构；
9. SparkSQL整合ES自定义数据源；
10. DS任务界面化调度；
11. 用户画像标签构建规则，用户画像规则类标签构建，用户画像统计类标签构建。

主要内容

可掌握的核心能力

1.湖仓一体化解决方案基于Flink+Hudi湖仓一体技术架构；
2.基于FlinkCDC完成MySQL等数据源的数据采集；
3.FlinkSQL流批一体架构实现实时数据计算；
4.使用Apache Doris进行海量多维分析；
5.掌握数据报表分析；
6.掌握业务数据实时大屏场景实现。