黑马&阿里云 强强联合 研发阿里云Flink课程该课程是黑马Python+大数据V4.0课程新增重要内容,它基于各类企业近期招聘需求,升级了阿里云平台全套大数据技术栈内容。并由多位Apache社区贡献者联袂授课,采用六项目制驱动技术学习,从原理、实战到源码,帮助学生迈入高级开发工程师行列,满足国家数字化转型对数字人才的大量需求。
线下面授课程线上进阶课程
SQL基础
Hadoop技术栈
千亿级离线数仓项目
千亿级离线数仓项目实战
Python基础编程
数据分析
新增BI报表开发项目实战
Spark技术栈
用户画像解决方案
PB级内存计算项目实战
新增基于AI大模型数据开发项目
面试加强
更新阿里云实时计算Flink全栈开发
更新阿里云实时计算项目
学习目标
1.线上3个月进阶大数据实时开发,多行业大数据项目助力企业数字人才精英
2.皆在成就实时开发工程师,大数据架构师等,帮助学员成为优秀的实时工程师
技术阶段
· 大数据Java语言· 数据采集· NoSQL&消息中心· 实时OLAP框架· 数据湖开发· Flink技术栈
· FlinkSQL原理到精通· 基于DataWorks全链路数据开发· 湖仓一体化解决方案· Flink源码剖析· Flink二次开发
项目阶段
· 星途车联网实时项目· 今日指数证券实时项目
主要内容
· Linux操作系统· MySQL与SQL· Kettle与BI工具· 电商运营指标分析
可解决的现实问题
熟练掌握MySQL\SQL、Kettle以及BI工具使用,能够解决传统数仓业务开发任务。
可掌握的核心能力
1.掌握MySQL数据库的使用;
2.掌握SQL语法;
3.掌握Kettle数据迁移工具的使用;
4.熟练使用BI可视化工具;
5.对数据开发有一定认知,掌握BI工程师所具备的基本技能。
主要内容
· 大数据开发Hadoop基础· Hive基础· Hive进阶
可解决的现实问题
熟悉Linux操作系统,以及各种Linux命令,能够解决企业级大数据集群搭建问题,为进阶大数据开发奠定基础。
可掌握的核心能力
1.掌握Linux常用命令,为数据开发后续学习打下的良好基础;
2.掌握大数据的核心框架Hadoop以及其生态体系,完成HDFS、MapReduce及Yarn机制基本理解与使用;能够搭建Hadoop高可用HA集群;
3.掌握Hive的使用和调优;
4.具备Hadoop开发能力、离线数据仓库开发能力;
5.能够完成基本构建企业级数仓。
主要内容
· 大数据部署运维:Cloudera Manager· 分析决策需求:数据仓库 · 数据采集:DataX
· 数据分析:Hive· 数据调度:Dolphinscheduler· OLAP系统存储:PostgreSql
· Fine Report数据报表与大屏· 数仓建模: 范式与维度建模
· 五大核心主题域开发: 销售域、供应链域、会员域等
可解决的现实问题
能够解决企业级常见数据仓库搭建,从项目的需求、技术架构、业务架构、部署平台、ETL设计、作业调度等整套pipeline,完成大数据体系下的企业级数据仓库构建。
可掌握的核心能力
1.掌握泛电商行业离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程;
2.行业内首个深度讲解数仓建模模型方案的主体项目;
3.包括海量数据场景下如何优化配置;
4.掌握项目迁移能力,能够将项目迁移至泛电商的各个领域;
5.掌握在泛电商行业中关于全量与增量数据处理模式;
6.提供泛电商行业下的数据存储分析以及服务监控方案。
主要内容
· 大数据部署运维:Cloudera Manager· 分析决策需求:数据仓库· 数据采集:sqoop
· 数据分析:Hive · 分组完成项目
可解决的现实问题
按照企业级大数据开发流程,独立完成项目开发,掌握企业级多场景大数据离线数仓开发能力,从数仓分层,数仓建模,指标统计,指标展示完成完整的大数据项目。
可掌握的核心能力
1.掌握教育行业离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程;
2.真实业务逻辑,共涉及20多个主题,100多个指标,提升学员在教育行业中的核心竞争力;
3.包括海量数据场景下如何优化配置;
4.拉链表的具体应用;
5.新增数据和更新数据的抽取和分析;
6.Hive函数的具体应用;
7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能。
主要内容
· Python基础语法· Python面向对象· Python高级语法· Python多任务编程
· Python网络编程
可解决的现实问题
熟练掌握Python语言,建立编程思维,使学员能够熟练使用Python技术完成程序编写。
熟练使用Python面向对象程序设计思想,掌握数据开发必备Python高级语法,解决常见Python开发问题。
可掌握的核心能力
1.掌握Python开发环境基本配置;
2.掌握运算符、表达式、流程控制语句、数组等的使用;
3.掌握字符串的基本操作;
4.初步建立面向对象的编程思维;
5.熟悉异常捕获的基本流程及使用方式;
6.掌握类和对象的基本使用方式;
7.知道多进程多线程的原理。
主要内容
· Pandas库的使用· 数据可视化技术· 数据分析常用思维与模型· 数据分析报告撰写
可解决的现实问题
熟练掌握Pandas,Matplotlib,Seaborn等数据处理与可视化开源库的使用, 能够应用常用数据分析思维与模型解决业务问题并输出数据分析报告。
可掌握的核心能力
1.掌握Pandas等Python数据分析库的使用
2.掌握Matplotlib,Seaborn等数据可视化库的使用
3.掌握AIPL、AARRR、RFM等常用数据分析思维与模型的使用
4.数据分析报告的撰写
5.掌握从数据处理一直到输出报告的全流程,掌握数据分析师具备的常用技能
主要内容
· BI报表开发需求分析· BI报表工具· FineReport报表入门· 泛电商行业五大主题的实现
可解决的现实问题
掌握使用量最广BI报表开发工具FineReport,能够基于FineReport完成不同行业BI报表开发及业务决策。
可掌握的核心能力
1.掌握BI报表开发需求分析
2.掌握BI报表工具
3.掌握FineReport报表
主要内容
· 大数据Spark技术栈· SparkSQL数据处理与统计分析· Spark案例实战
可解决的现实问题
掌握全球热门的Spark技术栈,通过SparkCore和SparkSQL解决数据处理与统计分析工作,进阶高级大数据开发工程师。
可掌握的核心能力
1.掌握Spark的RDD、DAG、CheckPoint等设计思想;
2.掌握SparkSQL结构化数据处理,Spark On Hive;
3.掌握Structured Streaming整合多数据源完成实时数据处理;
4.具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力。
主要内容
· SparkSQL整合ES自定义数据源· DS任务界面化调度· 用户画像标签构建规则
· 用户画像规则类标签构建· 用户画像统计类标签构建
可解决的现实问题
项目提供了全行业用户画像解决方案, 使用SparkSQL+ES+DS构建企业级用户画像,通过SparkSQL+MySQL构建通用行业用户画像标签体系。
可掌握的核心能力
1.掌握SparkSQL整合ES自定义数据源;
2.掌握用户画像构建流程;
3.掌握用户画像标签构建规则;
4.掌握用户画像规则类标签构建;
5.掌握用户画像统计类标签构建。
主要内容
· 多场景画像标签项目实战· 基于Spark全栈技术构建企业级大数据开发平台
可解决的现实问题
基于Spark全栈技术构建企业级大数据开发平台,学生分组独立完成项目实战,能够胜任常见大数据平台开发工作,助力企业实现数字化转型。
可掌握的核心能力
1.掌握保险行业数据分析流程;
2.掌握保费计算流程;
3.掌握DS调度流程。
主要内容
· ChatGPT生成代码· ChatGPT改Bug· 基于AI大模型的出行大数据平台数仓搭建
· 基于AI大模型指标开发
可解决的现实问题
掌握如何使用AI大模型帮助数据开发和数据分析编程效率提升,具备使用AI大模型解决问题的能力。
可掌握的核心能力
1.完成ChatGPT基础使用;
2.基于ChatGPT可以完成改Bug,写注释,生成代码等常见编程任务;
3.能够基于合理的Prompts提示词进行提问,助力提升编程效率。
主要内容
· 核心技能知识点以及常见面试题强化学习
可解决的现实问题
对学习的内容进行整体回顾,并分析经典面试题,指导简历,面试和沟通技巧。
可掌握的核心能力
1.强化面试就业核心面试题;
2.梳理大数据架构及解决方案;
3.剖析多行业大数据架构。
主要内容
· 阿里云Flink入门· Flink SQL· Flink作业开发· 阿里云Flink运维
可解决的现实问题
掌握当下热门的流批一体化分布式计算框架阿里云Flink及其生态,解决实时计算经典场景问题,适应市场对阿里云Flink越发增长的需求。
可掌握的核心能力
1.掌握基于阿里云Flink进行实时和离线数据处理、分析;
2.掌握基于阿里云Flink的多流并行处理技术;
3.掌握FlinkCDC多数据源采集技术。
主要内容
基于阿里云Flink + Kafka + Paimon 湖仓一体技术架构,实现在线视频行业大规模流数据处理和实时分析。本项目依托 阿里云 Flink 流处理计算引擎, 通过 FlinkCDC 实时采集 RDS MySQL 数据库数据,实现数据采集的断点续传,使用Kafka 作为实时数仓,使用 Paimon 实现数据的持久化和Flink 批处理,实现计算的流批一体,数据存储的湖仓一体,采用StarRocks对接DataV完成实时业务大屏展示。
可解决的现实问题
采集超过千万条在线视频的数据,实时高性能海量数据分析与存储业务数据实时大屏场景实现。
可掌握的核心能力
1.湖仓一体化解决方案基于Flink+Paimon湖仓一体技术架构;
2.基于FlinkCDC完成MySQL等数据源的数据采集;
3.FlinkSQL流批一体架构实现实时数据计算;
4.使用StarRocks进行海量多维分析;
5.掌握数据报表分析;
6.掌握业务数据实时大屏场景实现。
基于某B2B互联网电商平台为背景,根据订单信息、门店信息、店铺信息以及商品信息等进行分析,制作不同需求报表,以供业务人员和管理人员每天查看分析并制定相应的措施,为企业经营决策提供数据支撑,从而实现公司利益最大化。
应用场景ETL数据开发定时调度BI报表设计
项目优势完整的BI项目开发流程、全方面掌握FineReport报表开发、提供BI项目的全方位解决方案
项目以新零售业务为背景,真实还原企业业务与需求。通过从0到1的搭建和开发流程,使学生掌握离线数仓技术栈的同时,能够极大提高需求分析与开发能力。
应用场景多源数据迁移海量数据存储离线数仓设计与实现
项目优势技术架构主流、项目真实度高、教学设计合理、调优策略丰富
项目以Flink、Hudi、Hive为核心组件,打造成企业级流批一体数仓系统,具备延迟低、成本低和吞吐量大等特点,可以满足企业的所有实时和离线需求。通过项目学习,可以对流批一体的的应用有更深的理解,助力高薪就业。
应用场景流批一体数据采集流批一体数据存储流批一体数据计算
项目优势先进的流批一体架构、项目真实度高、教学设计合理
以人们息息相关的出行业务为背景,以时下火热的流批一体架构来实现的PB级数据仓库。通过学习,使同学掌握Flink和Paimon为主体的大数据技术栈,并通过数仓开发教学与实战,极大提高数仓开发能力。
应用场景流批一体数据采集流批一体数据存储流批一体数据计算
项目优势业务新颖易理解、技术先进且实用、讲练结合吸收好
随着云平台的普及,越来越多的公司使用云平台来开发大数据应用。项目采用DataWorks+MaxCompute和阿里云Flink两大主流解决方案,来实现离线数仓和实时数仓搭建,使学生充分掌握云平台的使用,并提高整体开发能力。
应用场景云平台存储云平台计算数据仓库开发
项目优势业务新颖易理解、云平台应用就业广、离线实时全覆盖
13大热门行业
千亿级大数据实战
积累真经验
18大企业级项目
1000+业务指标
多行业高效通用
紧跟技术前沿
拿来即用的解决方案
开发不必从零开始
助力企业“上云”便捷开发
引入一线大厂技术
培养企业真正需要的人才
课程设置全面
覆盖热门数据岗位
就业选择广阔
√适用于数据分析、离线数仓、实时数仓、用户画像、实时风控等应用场景
√全程使用SQL即可完成数仓开发,学习成本低,上手快
√StarRocks查询性能强悍,高可用,高可靠,运维简单
√以电商业务为背景,需求涵盖实时和离线全场景,主题、指标丰富
√基于Flink和Paimon实现流批一体、湖仓一体架构,极大降低开发和运维成本
√从0到1进行数仓规划和搭建,融入数仓建模和开发流程,快速提高实战能力
√提供DataWorks云产品和开源组件两套解决方案,解决不同公司需求
√涵盖数据质量、数据安全、数据标准、元数据管理等全域数据治理
√基于银行业务打造,真实还原企业数据治理全流程
√以打车业务为背景,真实还原企业业务场景和需求,方便理解与吸收
√实时基于阿里云Flink开发运用Flink CDC/Flink SQL进行编程,兼顾易用性和高效性
√离线基于DataWorks和MaxCompute开发,轻松完成数据集成、数据开发、项目运维等工作
黑马&阿里云 强强联合 研发阿里云Flink课程该课程是黑马Python+大数据V4.0课程新增重要内容,它基于各类企业近期招聘需求,升级了阿里云平台全套大数据技术栈内容。并由多位Apache社区贡献者联袂授课,采用六项目制驱动技术学习,从原理、实战到源码,帮助学生迈入高级开发工程师行列,满足国家数字化转型对数字人才的大量需求。
数据库分析师BI报表工程师数据运营
课程技术点PythonPandasPySparkPython数据分析项目帆软BI
数据库开发数仓开发工程师ETL工程师数据平台工程师数据治理工程师大数据运维工程师
课程技术点Hadoop技术栈Spark技术栈Flink技术栈黑马甄选项目黑马出行离线项目实时数仓项目
机器学习工程师数据挖掘工程师用户画像工程师推荐算法工程师
课程技术点数据治理用户画像推荐系统实时风控大数据系统统一数仓系统
行业贡献: 受邀参加云栖大会、Apache Flink Aisa Metting、Apache CosCon Aisa Meeting等行业大会,并发表主旨演讲
Apache Flink社区源码贡献者 2名Apache Pulsar社区贡献者 1名Apache Hudi社区贡献者 1名Apache Doris社区贡献者 1名
全日制教学管理每天10小时专属学习计划
测试、出勤排名公示
早课+课堂+辅导+测试+心理疏导
实战项目贯穿教学一线大厂实战项目
实用技术全面覆盖
课程直击企业需求
AI教辅保障学习效果水平测评,目标导向学习
随堂诊断纠错,阶段测评
在线题库,BI报表数据呈现
个性化就业指导就业指导课,精讲面试题
模拟面试,给出就业建议
试用期辅导,帮助平稳过渡
持续助力职场发展免费享,更新项目和学习资料
主题讲座,获取行业前沿资讯
人脉经验,线下老学员分享会
9970元/月平均薪资
15900元/月最高薪资
100%就业率
58人月薪过万
*学员就业信息统计数据为数据库中实时调取的真实相关数据,非广告宣传