● 参考阿里的数据中台构建理论,设计数据资产化、创新敏捷化,平台智能化、服务产品化等核心因素。
● 涵盖大数据计算服务、大数据开发套件、数据主题域仓库、元数据管理、数据地图、系统分析、影响域分析、主数据、数据治理、数据服务引擎及数据可视化等内容。
● 手把手教会学员如何搭建数据中台,学习通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。
传智教育与百度云平台、帆软、北京大数据研究院共同研发实战型大数据课程,并持续为课程输入高端大数据技术。
咨询了解更多信息● 搭建150台AWS云服务器,单台8核32G
● 技术架构支撑1200亿单表单日数据处理
● 参考阿里的数据中台构建理论,设计数据资产化、创新敏捷化,平台智能化、服务产品化等核心因素。
● 涵盖大数据计算服务、大数据开发套件、数据主题域仓库、元数据管理、数据地图、系统分析、影响域分析、主数据、数据治理、数据服务引擎及数据可视化等内容。
● 手把手教会学员如何搭建数据中台,学习通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。
如何从大数据中发现和提取有价值的数据,使用数据挖掘SparkMI&MLlib等技术,达到数据价值化目标,助力于关键业务问题解决。
通过ALink(Flink机器学习)达到数据价值化目标,同时利用TensorflowOnFlink解决深度学习能力,为学员在大数据+AI领域助力。
从大数据数据采集、数据ETL、数据分析及机器学习建模构建全流程Pipeline,助力学员成为大数据高端人才。
掌握大数据数据挖掘技术,提高多业务场景解决数据
挖掘问题能力,培养数据分析与挖掘核心竞争力,
实现全栈大数据开发。
大数据基础
体验课
Java语言编程
Hadoop技术栈
后端数据微
服务接口开发
NoSQL存储
Flink技术栈
Spark技术栈
• Linux操作系统• Apache Superset
• MySQL数据库 可视化开发
• Kettle数据预处理• 电商运营指标分析
1、掌握企业级ETL平台的kettle;
2、掌握BI的可视化平台Superset;
3、掌握kettle流式数据ETL处理设计思想;
4、掌握大数据企业开发中最常见的的linux的操作;
5、掌握一款主流数据库管理工具DataGrip;
6、掌握企业MySQL的调优方案;
7、掌握大数据分析中数据全量及增量同步解决方案;
8、掌握生产环境中数据分析程序的部署解决方案。
• 编程基础• 面向对象
• 常用类• 集合操作
• IO操作• Java基础增强
• 爬虫案例
1、掌握Java程序基础数据类型;
2、掌握开发中常用类如集合、IO流、常用类等操作;
3、掌握Java异常处理机制;
4、掌握反射、网络编程、多线程开发;
5、掌握Jsoup的网络爬虫开发;
6、掌握JDBC数据库连接操作;
7、掌握ETL数据处理和BI报表开发 。
具备JavaSE开发能力
• Linux操作
系统高级• 大数据基础和
硬件介绍
• Zookeeper• HDFS
• MapReduce• Yarn
• Hive
1、掌握Shell命令;
2、掌握zookeeper原理并应用;
3、掌握HDFS的使用和MapReduce编程;
4、理解MapReduce原理和调优;
5、掌握Yarn的原理和调优;
6、掌握Hive的使用和调优。
具备Hadoop开发能力、离线数据仓库开发能力。
• Spring• Spring Boot
• Spring Cloud
• Spring Cloud搜索案例
1、掌握SpringBoot整合SpringMVC开发;
2、掌握SpringBoot整合MyBatis开发;
3、掌握Eureka搭建;
4、掌握Feign的使用。
具备后端数据微服务接口开发,可胜任通过Spring技术架构完成微服务搭建。
可完成企业级数据微服务接口开发。
• Redis存储• HBase存储
• ELK
1、掌握Redis原理及架构;
2、掌握Redis命令操作、数据结构;
3、掌握Hbase原理及架构;
4、掌握HBase命令操作、MapReduce编程;
5、掌握Phoneix二级索引优化查询;
6、掌握ELK开发。
具备使用Hbase和Redis开发调优能力、ELK海量数据处理能力。
• Kafka• Flink流式计算
• Flink批处理• Flink Core
• Flink SQL• Flink综合案例
1、掌握Kafka原理及架构;
2、掌握KafkaStreams开发;
3、掌握基于Flink进行实时和离线数据处理、分析;
4、掌握基于Flink的多流并行处理技术;
5、掌握千万级高速实时采集技术。
具备Kafka消息队列开发和调优能力、Flink流式和批量数据开发能力。
• Scala语言• Spark core
• Spark sql• SparkStreaming
• Structured streaming
1、掌握Scala语言基础、数据结构;
2、掌握Scala语言高阶语法特性;
3、掌握Spark的RDD、DAG、CheckPoint等设计思想;
4、掌握SparkSQL结构化数据处理,Spark On Hive整合;
5、掌握SparkStreaming整合Kafka完成实时数据处理;
6、掌握SparkStreaming偏移量管理及Checkpoint;
7、掌握Structured Streaming整合多数据源完成实时数据处理。
具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力。
●实时监控证券市场的市场每日的业务交易,实现对证券市场交易数据的统计分析
●搭建监察预警体系,包括:预警规则管理,实时预警,历史预警,监察历史数据分析等
●股市行情交易数据实时采集、实时数据分析、多维分析,即席查询,实时大屏监控展示
●涵盖完整车联网业务场景,包含驾驶行程、电子围栏、远程诊断等真实业务
●通过QBOX车辆终端数据收集,并解析为QSP数据、QCS数据、充电数据、HU数据
●提供实时计算服务与离线计算服务,并通过API接口以报表和大屏展示分析结果数据
●基于一家大型物流公司研发的智慧物流大数据平台,日订单上千万
●围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等
●提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,并针对数据分析结果,提出具有中观指导意义的解决方案
●建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理
●项目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序
●挖掘分析海量用户行为数据,定制多维数据集合,形成数据集市,供各个场景主题使用。
●分析来自全品类B2B2C电商系统,以电商核心流程为主线进行数据分析,支撑运营
●建立基于用户的全面分析体系,从多个维度建立基于用户的运营体系
●实时分析用户访问流量、订单、店铺等运营指标
●基于垂直电商平台构建的用户全方位画像,完整抽取出一个用户的信息全貌
●业务围绕商品、订单、用户基础信息及行为信息等数据
●实现用户和商品基础标签、组合标签、微观画像、标签查询等业务场景,提供了企业级多方位业务决策分析
●限制伪装技术越来越强的爬虫访问和恶意占座行为,开发的大数据实时防爬工具
●旅游行业和出行行业通用的防爬规则,提升行业竞争优势
●完整高效通用的实时处理流程:数据采集、数据预处理、实时识别预警、离线分析
●包含状态监控、反爬指标配置、运营指标监控展示等功能
●采用企业中真实的手机应用访问数据,找到广告系统中适应的人群,促进精准广告投放
●建立用户画像系统,通过系统中的画像特征,筛选出符合广告主投放要求的用户
●建立完整商圈库,通过商圈库确保广告在在各个城市商圈的有效投放
●基于手机测速软件采集数据对手机网速、上行下行流量、信号强度等信息进行宏观分析
●计算用户附近移动、联通、电信信号强弱、不同方位信号强弱
●对比各家运营商提供有力的参考数据,如同一地标三家运营商信号强度
缺乏工作经验和技能,对未来没有明确的规划,期望通过学习大数据跻身IT行业的人员
目前工作待遇不理想,上升空间有限或已进入职业瓶颈期,想要突破转行的人员
具有一定的大数据技术理论基础,需要了解大数据技术在实际业务中如何使用的人员
有较强的思维逻辑能力,应对复杂业务场景处理,对大数据技术感兴趣的人员
大数据写入政府工作报告,被列入国家发展战略,助力中国经济从高速增长转向高质量发展。
不管是传统领域,还是新兴领域,都需要大数据人才进行大数据的采集、分析、开发、应用等。
各大主流招聘网站信息年增长189%,大数据人才缺口巨大,十大高薪职业之一,供求比超过1:14。