随着大数据时代的快速到来，以及大数据在生产生活中迅速应用，大数据领域如雨后春笋般的出现大量的新技术，如Hadoop、Spark等技术已经成为大数据技术中最为重要的一部分，被越来越多的企业所使用。涵盖了大数据领域的数据处理、统计分析、数据挖掘、机器学习、人工智能、大数据应用开发等各种不同类型的计算操作，应用范围广泛、前景非常广阔。本课程是尹老师多年工作经验的总结和归纳，从实际业务案例为入口，使学员从理论层到实操层面系统的学习数据处理技术，使学员深入理解数据分析。通过本课程的学习，学员即可以正确的分析企业的数据，为管理者、决策层提供数据支撑。

本课程重点讲解的数据分析和数据挖掘方法论、算法、思路、流程、工具，并通过对SPSS与SAS数据处理软件实现，为企业的战略发展提供参考。

 

1、 介绍数据分析、数据挖掘方法论、算法、常用工具，在工作中如何应用数据分析；

2、 介绍数据分析思路，学习提炼数据、分析数据和建立数据模型的方法和技巧；

3、 让学员掌握基础统计分析知识，包括概率统计的概念、术语和基本统计的算法等；

4、 使学员具备分析企业业务数据的能力，提高分析数据、发现问题的能力，提高工作效率；

5、 使用SPSS实现数据挖掘与数据分析与建模；

6、 使学员具备数据分析与建模为企业管理者制定战略决策提供数据依据；

7、 使学员深入理解数据分析与数据模型的概念、技术、思维模式；

8、 使学员具备数据收集、数据挖掘、信息提取的能力；

9、 使学员具备利用图形辅助思考的能力；

10、 使学员具备大数据技术梳理技能，如历史数据+预测方法+标准工序。

 

1、 即将投身于大数据、数据分析、数据挖掘领域的企业或者个人；

2、 本课程适合于想通过数据化决策制定企业战略的决策者；

3、 适合于经常需要汇报工作的管理者；

4、 对数据可视化分析、数据可视化展现等感兴趣的人士；

5、 对数据分析、数据挖掘算法等感兴趣的人士；

6、 大型集团公司、大型网站、电商网站等数据挖掘、数据分析人员；

7、 云计算、大数据从业者；

8、 系统架构师、系统分析师、高级程序员、资深开发人员；

9、 牵涉到大数据的数据中心运维、规划、设计负责人；

10、 政府机关，金融保险、移动互联网、能源行业等大数据相关人员；

11、 高校、科研院所统计分析研究员，涉及到数据处理的人员；

 

1、 数据分析与建模的概念 

2、 数据分析与建模过程 

3、 数据分析模型开发过程 

4、 数据建模概述 

5、 机器学习概念 

6、 机器学习算法剖析 

7、 算法库分类 

8、 算法库 

9、 深度学习 

10、 神经网络 

11、 人工智能 

12、 商业智能  

 

1、 数据挖掘的基本任务 

2、 数据挖掘建模过程 

a) 定义挖掘目标 

b) 数据取样 

c) 数据探索 

d) 数据预处理 

e) 挖掘建模

f) 建立模型 

g) 业务理解 

h) 模型拟合 

i) 训练集 

j) 测试集

k) 模型评价 

3、 常用的数学预测模型 

a) 线性回归 

b) 回归（预测）与分类 

c) 决策树与随机森林 

d) 聚类分析（kmeans） 

e) 关联规则 

f) 时序模式 

g) 离群点检测 

h) 深度学习 

i) 人工智能 

j) 神经网络 

4、 案例：如何从数据中挖掘出有价值的信息  

 

1、 数据分析挖掘的过程 

2、 建立数据库的方法 

3、 企业对数据分析挖掘的错误认识 

4、 有效运用数据为客户提供针对性、主动化服务（精准营销） 

5、 数据源 

6、 数据采集 

7、 随机抽样 

8、 数据去重 

9、 数据缺失值处理 

10、 检验数据逻辑错误 

11、 离群点检测 

12、 数据转换 

13、 数据分组 

14、 课堂实操：数据预处理案例讲解  

 

1、 统计学基本概念 

2、 统计数据的计量尺度 

3、 常用基本统计量 

4、 集中趋势的描述指标 

5、 离散趋势的描述指标 

6、 中心极限定理 

7、 大数定律 

8、 数据的分布 

9、 正态分布的特征 

10、 偏度和峰度 

11、 检测数据集的分布 

12、 数据的分布拟合检验与正态性检验 

13、 抽样标准 

14、 假设检验 

15、 T检验 

16、 置信区间   

 

1、 散点图 

2、 直方图 

3、 经验分布函数 

4、 QQ图 

5、 茎叶图 

6、 离群点检测 

7、 箱型图检验离群值 

8、 盖帽法 

9、 课堂实操：SPSS描述性统计分析实现航空业客户描述和行为分析模型  

 

1、 主成分分析 

2、 总体主成分 

3、 样本主成分 

4、 主成分分析模型 

5、 案例：SPSS主成分分析模型实现 

6、 课堂实操：SPSS主成分分析模型实现  

 

1、 单因素方差分析 

2、 单因素方差分析模型 

3、 因素效应的显著性检验

4、 因素各水平均值的估计与比较 

5、 两因素等重复试验下的方差分析 

6、 统计模型 

7、 交互效应及因素效应的显著性检验 

8、 无交互效应时各因素均值的估计与比较 

9、 有交互效应时因素各水平组合上的均值估计与比较 

10、 两因素非重复试验下的方差分析 

11、 金融案例：SPSS方差分析实现 

12、 课堂实操：SPSS方差分析实现   

 

1、 Baves统计模型 

2、 Bayes统计分析的基本思想 

3、 Bayes统计模型 

4、 Bayes统计推断原则 

5、 先验分布的Bayes假设与不变先验分布 

6、 共轭先验分布 

7、 先验分布中超参数的确定 

8、 Baves统计推断 

9、 参数的Bayes点估计 

10、 Bayes区间估计 

11、 Bayes假设检验 

12、 案例：SPSS实现Bayes统计分析建模 

13、 课堂实操：SPSS实现Bayes统计分析建模

 

1、 数学建模 

2、 数学预测模型 

3、 模型评估 

4、 模型参数优化  

 

1、 回归与分类 

2、 回归分析概念 

3、 线性回归模型及其参数估计 

4、 一元线性回归 

5、 一元线性回归模型 

6、 一元线性回归模型求解参数 

7、 损失函数 

8、 求偏导 

9、 回归方程的显著性检验 

10、 残差分析 

11、 误差项的正态性检验 

12、 残差图分析 

13、 统计推断与预测 

14、 回归模型的选取 

15、 穷举法 

16、 逐步回归法 

17、 岭回归分析 

18、 SPSS一元线性回归 

19、 金融案例：SPSS一元线性回归模型检验 

20、 多元线性回归概述 

21、 多元线性回归模型 

22、 金融案例：SPSS多元线性回归实现航空业信用打分和评级模型   

 

1、 Logistic回归介绍 

2、 Logistic函数 

3、 Logistic回归模型 

4、 案例：SPSS Logistic回归实现 

5、 课堂实操：SPSS Logistic回归实现航空业欺诈预测模型 

6、 课堂实操：SPSS Logistic回归实现航空业风险分析模型  

 

1、 非线性回归 

2、 双曲线函数 

3、 幂函数

4、 指数函数 

5、 对数函数 

6、 S型曲线 

7、 案例：SPSS非线性回归实现 

8、 课堂实操：SPSS非线性回归实现航空业经营分析和绩效分析模型  

 

1、 数据挖掘常用距离 

2、 欧氏距离 

3、 曼哈顿距离 

4、 切比雪夫距离 

5、 闵可夫斯基距离 

6、 标准化欧氏距离 

7、 马氏距离 

8、 夹角余弦 

9、 汉明距离 

10、 杰卡德距离 & 杰卡德相似系数 

11、 相关系数 & 相关距离 

12、 信息熵

 

1、 聚类分析 

2、 聚类算法 

3、 样品间相近性的度量 

4、 快速聚类法 

5、 快速聚类法的步骤 

6、 用Lm距离进行快速聚类 

7、 谱系聚类法 

8、 类间距离及其递推公式 

9、 谱系聚类法的步骤 

10、 变量聚类 

11、 案例：SPSS聚类实现及绘图 

12、 案例：Kmeans应用案例剖析 

13、 课堂实操：编写程序实现Kmeans应用案例剖析  

 

1、 决策树分析 

2、 决策树 

3、 决策树构成要素 

4、 决策树算法原理 

5、 决策树法的决策过程 

6、 决策树算法 

7、 案例：SPSS实现决策树分析 

8、 课堂实操：SPSS实现航空业客户细分模型 

9、 随机森林  

 

1、 关联规则 

2、 支持度与置信度 

3、 关联规则挖掘的过程

4、 Apriori算法 

5、 关联规则案例 

6、 支持度与置信度计算 

7、 案例：SPSS实现关联规则 

8、 课堂实操：SPSS实现航空业数据关联规则分析  

 

1、 时序模式

2、 时间序列分析 

3、 时间序列分析 

4、 时间序列 

5、 序列分析的三个阶段 

6、 课堂实操：SPSS实现航空业客户流失模型  

 

1、 案例：风险分析模型 

2、 案例：信用打分和评级模型 

3、 案例：客户细分模型 

4、 案例：客户描述和行为分析模型 

5、 案例：欺诈预测模型

6、 案例：客户流失模型 

7、 案例：经营分析和绩效分析模型 

8、 案例：交叉销售和增量销售模型 

9、 案例：SPSS实现航空业客户流失模型建模 

10、 课堂实操：SPSS实现金融行业客户流失模型建模  

 

1、 个性化推荐的理论依据 

2、 个性化推荐的价值 

3、 个性化推荐能达到的目的 

4、 个性化推荐的原则 

5、 个性化推荐技术发展史 

6、 个性化推荐的相关技术 

7、 基于用户的常用推荐算法 

8、 基于用户的协同过滤推荐 

9、 课堂实操：SPSS实现航空业交叉销售和增量销售模型