2017年最新版电商大数据课程大纲

目前课程版本:1.0

电商大数据课程设计理念

  •  

    更新潮紧随技术发展浪潮

    大数据时代已然到来,企业技术更新迫在眉睫。通过分布式电商项目帮助学员夯实技术基础,通过大数据项目帮助学员紧随技术发展趋势。实际的授课中会加深重点内容的讲解力度,结合实际开发的用法,增加项目和自我动手比重,提高学员的认知能力和解决问题的能力。

  •  

    更真实深度还原企业应用场景

    仿京东在已有分布式电商系统的基础上,升级商品管理模块、商品搜索、第三方支付模块;系统由B2B改成B2B2C,增加商家平台管理系统;打通完整的用户购物流程、完整的商家入驻流程以及企业级的商品发布流程,让电商项目真实可用。
    基于电商项目的数据,构建完整大数据生态,还原企业在数据采集、数据中转、数据计算、数据展示等多个方面的应用场景,让学员从零开始构建完全可投入生产使用的离线计算平台、实时计算平台。
    基于KVM虚拟化技术对传智机房所有刀片服务器进行虚拟化,让学员经历完整的项目生命周期(需求调研、需求分析、功能分析、功能开发、内测、上线)过程,并最终通过虚拟化技术部署多达50余个服务。

  •  

    更全面典型技术点线面横向扩展

    打破传统教学模式,做到点线面横向扩展,扩宽学员技术视野,围绕行业热门技术,有针对性的进行项目实战。在课程内容方面,我们的项目从企业级应用类项目,到时尚热点应用类项目,再到高性能、分布式服务器类项目。从Java基础班、JavaWeb基础、电商基础架构架构、分布式电商项目到电商大数据分析平台,横跨两个庞大的技术体系,让学员对整个电商大数据知识形成体系,毕业后可以有广博的知识面,并且学以致用。

  •  

    更广泛就业横跨电商和大数据

    电商是JavaEE技术的典型应用场景,也是目前就业的薪水的高地,我们的课程包含了分布式电商项目开发全过程,学员可以从零开始开发商品管理、搜索系统、推荐系统等核心模块。仅电商方面的能力就能充分胜任JavaEE高级程序员的各类工种,并具备JavaEE初级架构师的能力。
    大数据是目前最火的技术之一,《人类简史》的作者尤瓦尔·赫拉利最新著作《未来简史》直言不讳说表达了未来是数据的天下,喊出了信数据得永生的口号。数据方面的人才是企业急需招聘和储备的高级人才之一。我们的课程让学员从零开始构建企业数据分析平台,针对不同应用场景和业务特征依次构建离线分析平台与实时分析平台,覆盖了企业80%以上的业务模式。

电商大数据基础班课程大纲

学习对象

0基础0经验的小白人员;想通过最低的成本来试一下自己是否适合做Java编程相关工作的转型人员。

上课方式

全日制脱产,每周5天上课, 上两天课休息一天的上课方式(实际培训时间可能因法定节假日等因素发生变化),早9:00-晚 20:30

培训时间

16天(部分校区可能会根据实际情况有所调整,详情可询咨询老师)


基础班课程大纲
所处阶段主讲内容技术要点学习目标
第1阶段:
Java语言入门
1.计算机基础知识1.计算机基础;2.DOS常用命令;3.Java概述;4.JDK环境安装配置;5.环境变量配置;6.Java程序入门可掌握的核心能力:
(1)能够掌握DOS系统常用基本命令;
(2)熟练使用eclipse编写java代码;
(3)熟练使用java语言的常用对象;
(4)使用java编写单机应用程序;
(5)掌握面向对象编程思想,为以后深入学习JavaEE就业课程打下坚实的基础。
       
可解决的现实问题:
学生具备Java基础,为JavaEE就业班的学习打下基础。
市场价值:
 具备Java语言编程基础,但是还不能达到企业的用人标准。
2.编程基础1.常量与变量;2.数据类型;3.运算符;4.流程控制语句;5.方法;6.数组
3.面向对象1.面向对象思想;2.类与对象;3.成员变量和局部变量;4.封装;5.this关键字;6.构造方法
4.常用类1.Object类;2.Scanner类;3.Random类;4.String;5.StringBuilder类
5.集合1.集合概述;2.集合特点;3.ArrayList集合
6.IO1.字符输入流;2.字符输出流;3.字符缓冲输入流;4.字符缓冲输出流;5.复制文件;6.集合与文件中数据相互读写

电商大数据就业班课程大纲

学习对象

本课程适合于计算机专业,有一定Java基础、通过入学考核的未就业人士。

提示:测试题主要考察您是否具备Java基础,以便我们统一入学基础,更好地开展教学工作。如果您感觉测试题很难,我们建议您参加我们的Java基础班学习。

上课方式

全日制脱产,每周5天上课, 上两天课休息一天的上课方式(实际培训时间可能因法定节假日等因素发生变化),早9:00-晚 20:30

培训时间

【面授】4个半月(部分校区可能会根据实际情况有所调整,详情可询咨询老师)



阶段划分主要内容技术点
第一阶段:
电商基础架构
数据库Mysql安装配置、SQL语法入门、数据导入导出
数据建模、SQL高级查询
JDBC入门、SQL注入、事务管理、批处理
连接池(Druid)、DBUtils框架
静态网站开发与部署HTML
CSS
JavaScript
BootStrap
Linux常用操作
Nginx服务器 网页配置
动态网站开发与部署Tomcat服务器、Servlet、Request、Response
HTTP协议、Request、Response
JSP入门、JSTL(forEach)、EL、MVC模式
JQuery基础、选择器、对象、闭包调用
JQuery DOM 操作、JQuery 事件、Ajax
JQuery Ajax、JSONP
分页综合案例(列表)、三层模式、DAO
Cookie、jQuery读取cookie、Session(登陆)
JavaMail注册、Redis入门、激活码
log4j、JUL、JCL、Slf4j、Tomcat日志分析
Filter过滤器
网站开发三大框架Maven
MyBatis
Spring
Spring MVC
第二阶段:
爬虫搜索系统
京东爬虫开发网络爬虫
Redis、Redis Cluster
Redis Cluster、动态代理
分布式搜索系统Lucene、Solr
Solr、Solr Cloud
第三阶段:
分布式电商系统
电商网站主体架构搭建电商基础知识、背景分析、项目需求分析
Dubbo、AngularJS、商家管理平台、网站管理平台
Dubbo、AngularJS、AngularJS 分页实现
Dubbo、AngularJS、商家入驻审核、按条件查询商家
电商网站商品管理电商核心业务实现、图片上传、图片压缩、分布式图片服务器
电商核心业务实现、规格管理、类型管理
电商核心业务实现、商品分类管理(树形结构)
电商核心业务实现、商品录入、商品审核、商品上架
电商核心业务实现、商品展示、freemarker静态化
页面静态化及搜索电商核心业务实现、freemarker静态化、首页轮播图管理、首页楼层管理
电商核心业务实现、Solr、商品及店铺搜索
电商核心业务实现、Solr、商品及店铺搜索+ 选择区
单点登录及购物流程实现电商核心业务实现、登录、单点登录(SSO)、我的品优购首页
电商核心业务实现、购物车的实现
电商核心业务实现、ActiveMQ消息队列、收货地址管理 、订单生成
电商核心业务实现、支付宝系统对接  ActiveMQ消息队列
电商核心业务实现、订单查询、我的收藏
百万级网站部署及优化Nginx、Hudson、Solr Cloud
Nginx、Keepalived、负载均衡、反向代理、高并发
Redis Cluster、FreeMarker页面静态化、高并发
Mycat 数据库分库分表方案、高并发
Docker容器部署、热部署、高并发
第四阶段:
构建离线数据分析平台
大数据分析基础课数据分析、数据分析基本步骤、数据分析师的职业发展、常用的数据分析方法论、大数据时代的思维变革、商业变革、管理变革
海量数据分布式存储框架点击流日志系统解决方案、点击流日志系统部署及电商项目集成、Hadoop集群搭建
Hadoop HDFS数据存储原理、Flume点击流日志数据采集
数据仓库管理与数据分析数据仓库基本概念、数据仓库工具HIVE快速入门、创建点击流数据数据仓库、点击流数据分析(HiveSql)
点击流数据分析结果导出(Sqoop)、报表平台开发及数据展示、点击流数据分析需求开发
调度系统使用及说明、Sqoop采集Mysql数据、跨部门数据采集管理之FTP规范、数据质量检测与元数据管理
Hive高级开发与分布式计算框架Hadoop HIve UDF函数编写、Hadoop MapReduce计算模型、Hadoop MapReduce 案例开发、Hadoop MapReduce 案例开发、HadoopMapReduce原理剖析、Hadoop NameNode元数据备份、Hadoop NameNode HA、企业海量数据分析平台规划;
分布式内存计算框架升级Hive执行引擎为Spark、使用Spark Sql完成点击流日志业务需求、打通Spark数据收集、存储、计算、展示流程
使用Spark处理业务数据、Spark 核心概念(RDD、DAG)、探讨分布内存文件系统Alluxio的使用
第五阶段:
构建实时数据分析平台
实时计算基础课实时计算平台解决方案、Kafka基础与常用API、使用Flume收集数据到Kafka
使用Storm对数据进行分析、Flume+Kafka+Storm+Redis+Mysql整合
实时分析系统案例实时日志分析需求、实时日志分析结构说明、实时日志分析代码开发
实时日志系统报表开发、实时业务数据分析 实时业务数据报表开发
Hbase列式数据库、实时用户行为轨迹、电商网站集成
推荐系统推荐系统介绍、推荐系统开发流程、使用Mahout的离线计算数据
MapReduce离线数据清洗、Storm实时数据清洗、推荐引擎集成
大数据搜索系统开源分布式搜索引擎(Elasticsearch、Logstash和Kibana )
第六阶段:
推荐系统算法与源码分析
Python与机器学习Python入门、机器学习概论、机器学习决策树与Python案例
机器学习KNN与Python案例、机器学习SVM与Python案例、机器学习神经网络与Python案例
Scala基础
Spark Core
分布式框架原理Spark源码编译、Master和Worker启动流程源码分析、SparkContext创建过程源码分析
Master资源调度源码分析、DAGScheduler执行过程、DAG划分Stage过程、TaskScheduler提交Task过程等等
Storm源码编译、任务提交机制分析、任务分配机制分析、任务执行、任务运行机制等等
毕业新的征程、新的挑战、新的机遇

基础差? 可免费学基础班

申请试读名额

基础过关? 可直接就读就业班

基础测试

电商大数据学科项目介绍

  • 爬虫搜索项目

    项目简介:

    通过爬虫技术爬取不同电商网站的商品数据,然后将不同网站的数据输入到搜索系统引擎中,达到通过一键搜索不同网站上的商品信息。

    项目特色:

    项目包含HttpClient、Jsoup、代理IP配置、多线程、Java并发包、Redis、Redis Cluster、Lucene、Solr、Solr Cloud,以及互联网爬虫技术案例等。基于以上课程,在企业中可以实现浏览器比价插件、企业竞品分析等业务,可以用来解决企业内部业务数据的搜索问题,或者是做个类似百度这样的搜索引擎。

  • 分布式电商项目

    项目简介:

    围绕B2B2C电商核心业务,完整实现商家和用户两条业务线,商家业务线包括:商家入驻、商家审核、商家发布商品、商品审核、商品展示;用户业务线包括:用户跨系统登录、用户购物车系统、用户订单结算与支付(支付宝)、用户个人中心;

    项目特色:

    项目包含单点登录系统、Dubbo服务治理、AngularJS、页面静态化、数据库分库分表、分布式图片服务器、分布式消息队列、分布式缓存解决方案、分布式搜索解决方案等。基于以上课程,在企业中可以实现完整的电商购物系统,做一个类似于京东、百度这样的高并发的网站,并解决类似于秒杀、双十一这样的业务场景。

  • 构建电商数据平台(离线)

    项目简介:

    通过多种方式收集不同渠道和系统的数据,然后对数据进行统一的存储和管理,构建离线数据分析平台,最后将分析的结果展示到报表系统中。包含数据质量管理、数据仓库构建、数据仓库分析工具、定时器、数据报表展示等模块。

    项目特色:

    项目包含FTP管理规范、Flume、Sqoop、数据库同步技术、数据质量管理、数据仓库基础、Hive、Hadoop HDFS应用及原理、Hadoop MapReduce应用及原理。基于以上课程,在企业中可以实现离线数据基础分析平台,适用于几乎任何大数据相关公司。

  • 构建电商数据平台(实时)

    项目简介:

    通过多种方式实时收集不同渠道和系统的数据,然后进行实时的计算,最后将分析的结果实时的反馈到业务系统中。包含数据的实时收集、实时清洗、实时计算等模块。课程中会涉及到多个实时的分析案例,这些分析案例来自于企业的典型案例。

    项目特色:

    项目包含消息队列、Flume、Kafka、Storm/JStorm应用及原理、Redis、HBase应用及原理。基于以上课程,在企业中可以实时数据基础分析平台,适用于几乎任何大数据相关公司。

  • 推荐系统应用开发

    项目简介:

    通过利用离线数据分析技术、实时分析技术,以及Mahout数据挖掘技术开发基于用户行为数据的推荐系统(猜你喜欢),并整合进分布式电商系统中。

    项目特色:

    项目是对分布式电商、构建电商数据平台(离线/实时)三个课程中所学技术的综合运用。推荐系统是当前电商系统必不可少的部分,基于以上课程能够从零开始构建一个推荐系统,并根据业务的复杂性进行扩展。

  • 升级企业数据分析平台

    项目简介:

    使用Spark内存计算技术升级升级基于Hadoop和Storm的数据分析平台是数据分析的发展趋势,课程引入Spark技术分别对离线计算平台和实时计算平台进行升级和补充,更好的贴近企业实战。课程中使用Spark和Hbase技术围绕金融行业构建了用户画像系统,可以使用用户画像技术对用户进行风险预测。

    项目特色:

    项目包含Spark、Spark RDD、Spark常用算子、Spark Sql、Spark Streaming、HBase等课程。基于以上课程,可以使用Spark提到Hive的执行引擎,提高计算性能和速度,是企业的主流做法。

教学服务

  • 每日测评

    每晚对学员当天知识的吸收程度、老师授课内容难易程度进行评分,老师会根据学员反馈进行分析,对学员吸收情况调整授课内容、课程节奏,最终让每位学员都可以跟上班级学习的整体节奏。

  • 技术辅导

    为每个就业班都安排了一名优秀的技术指导老师,不管是白天还是晚自习时间,随时解答学员问题,进一步巩固和加强课上知识。

  • 学习系统

    为了能辅助学员掌握所学知识,黑马程序员自主研发了6大学习系统,包括教学反馈系统、学习难易和吸收分析系统、学习测试系统、在线作业系统、学习任务手册、学员综合能力评定分析等。

  • 末位辅导

    为了能辅助学员掌握所学知识,黑马程序员自主研发了6大学习系统,包括教学反馈系统、学习难易和吸收分析系统、学习测试系统、在线作业系统、学习任务手册、学员综合能力评定分析等。

  • 生活关怀

    从学员学习中的心态调整,到生活中的困难协助,从课上班级氛围塑造到课下多彩的班级活动,班主任360度暖心鼓励相伴。

  • 就业辅导

    小到五险一金的解释、面试礼仪的培训;大到500强企业面试实训及如何针对性地制定复习计划,帮助学员拿到高薪Offer。