具体描述
本书解释了数据科学中至关重要的统计学概念,介绍如何将各种统计方法应用于数据科学。作者以易于理解、浏览和参考的方式,引出统计学中与数据科学相关的关键概念;解释各统计学概念在数据科学中的重要性及有用程度,并给出原因。
作者简介
彼得·布鲁斯(Peter Bruce),知名统计学家,Statistics.com统计学教育学院的创立者兼院长,重采样统计软件的开发者。曾在美国马里兰大学和各种短训班教授重采样统计课程。
安德鲁·布鲁斯(Andrew Bruce),华盛顿大学统计学博士,拥有30多年的统计学和数据科学经验,在多家知名学术期刊上发表过多篇论文。
目录信息
第 1 章 探索性数据分析 1
1.1 结构化数据的组成 2
1.2 矩形数据 4
1.2.1 数据框和索引 5
1.2.2 非矩形数据结构 5
1.2.3 拓展阅读 6
1.3 位置估计 6
1.3.1 均值 7
1.3.2 中位数和稳健估计量 8
1.3.3 位置估计的例子:人口和谋杀率 9
1.3.4 拓展阅读 10
1.4 变异性估计 10
1.4.1 标准偏差及相关估计值 11
1.4.2 基于百分位数的估计量 13
1.4.3 例子:美国各州人口的变异性估计量 14
1.4.4 拓展阅读 14
1.5 探索数据分布 14
1.5.1 百分位数和箱线图 15
1.5.2 频数表和直方图 16
1.5.3 密度估计 18
1.5.4 拓展阅读 20
1.6 探索二元数据和分类数据 20
1.6.1 众数 21
1.6.2 期望值 22
1.6.3 拓展阅读 22
1.7 相关性 22
1.7.1 散点图 25
1.7.2 拓展阅读 26
1.8 探索两个及以上变量 26
1.8.1 六边形图和等势线(适用于两个数值型变量) 26
1.8.2 两个分类变量 28
1.8.3 分类数据和数值型数据 29
1.8.4 多个变量的可视化 31
1.8.5 拓展阅读 33
1.9 小结 33
第 2 章 数据和抽样分布 34
2.1 随机抽样和样本偏差 35
2.1.1 偏差 36
2.1.2 随机选择 37
2.1.3 数据规模与数据质量:何时规模更重要 38
2.1.4 样本均值与总体均值 38
2.1.5 拓展阅读 39
2.2 选择偏差 39
2.2.1 趋均值回归 40
2.2.2 拓展阅读 41
2.3 统计量的抽样分布 42
2.3.1 中心极限定理 44
2.3.2 标准误差 44
2.3.3 拓展阅读 45
2.4 自助法 45
2.4.1 重抽样与自助法 47
2.4.2 拓展阅读 48
2.5 置信区间 48
2.6 正态分布 50
2.7 长尾分布 53
2.8 学生t 分布 55
2.9 二项分布 57
2.10 泊松分布及其相关分布 58
2.10.1 泊松分布 59
2.10.2 指数分布 59
2.10.3 故障率估计 60
2.10.4 韦伯分布 60
2.10.5 拓展阅读 61
2.11 小结 61
第3 章 统计实验与显著性检验 62
3.1 A/B 测试 62
3.1.1 为什么要有对照组 64
3.1.2 为什么只有处理A 和B,没有C、D…… 65
3.1.3 拓展阅读 66
3.2 假设检验 66
3.2.1 零假设 67
3.2.2 备择假设 67
3.2.3 单向假设检验和双向假设检验 68
3.2.4 拓展阅读 68
3.3 重抽样 68
3.3.1 置换检验 69
3.3.2 例子:Web 黏性 69
3.3.3 穷尽置换检验和自助置换检验 72
3.3.4 置换检验:数据科学的底线 72
3.3.5 拓展阅读 72
3.4 统计显著性和p 值 72
3.4.1 p 值 74
3.4.2 α 值 75
3.4.3 第 一类错误和第二类错误 76
3.4.4 数据科学与p 值 76
3.4.5 拓展阅读 77
3.5 t 检验 77
3.6 多重检验 78
3.7 自由度 81
3.8 方差分析 82
3.8.1 F 统计量 84
3.8.2 双向方差分析 85
3.8.3 拓展阅读 86
3.9 卡方检验 86
3.9.1 卡方检验:一种重抽样方法 86
3.9.2 卡方检验:统计理论 88
3.9.3 费舍尔精确检验 88
3.9.4 与数据科学的关联 90
3.9.5 拓展阅读 91
3.10 多臂老虎机算法 91
3.11 检验效能和样本规模 93
3.11.1 样本规模 95
3.11.2 拓展阅读 96
3.12 小结 96
第4 章 回归与预测 97
4.1 简单线性回归 97
4.1.1 回归方程 98
4.1.2 拟合值与残差 100
4.1.3 最小二乘法 101
4.1.4 预测与解释(剖析) 102
4.1.5 拓展阅读 103
4.2 多元线性回归 103
4.2.1 美国金县房屋数据案例 103
4.2.2 评估模型 104
4.2.3 交叉验证 106
4.2.4 模型选择和逐步回归法 107
4.2.5 加权回归 108
4.3 使用回归做预测 109
4.3.1 外推法的风险 109
4.3.2 置信区间和预测区间 110
4.4 回归中的因子变量 111
4.4.1 虚拟变量的表示 112
4.4.2 多层因子变量 113
4.4.3 有序因子变量 114
4.5 解释回归方程 115
4.5.1 相关的预测变量 116
4.5.2 多重共线性 117
4.5.3 混淆变量 117
4.5.4 交互作用和主效应 118
4.6 检验假设:回归诊断 119
4.6.1 离群值 120
4.6.2 强影响值 121
4.6.3 异方差性、非正态分布和相关误差 123
4.6.4 偏残差图和非线性 126
4.7 多项式回归和样条回归 127
4.7.1 多项式回归 128
4.7.2 样条回归 129
4.7.3 广义加性模型 131
4.7.4 拓展阅读 132
4.8 小结 133
第5 章 分类 134
5.1 朴素贝叶斯算法 135
5.1.1 准确的贝叶斯分类是不切实际的 136
5.1.2 朴素解决方案 136
5.1.3 数值型预测变量 138
5.1.4 拓展阅读 138
5.2 判别分析 138
5.2.1 协方差矩阵 139
5.2.2 费希尔线性判别分析 139
5.2.3 一个简单的例子 140
5.2.4 拓展阅读 142
5.3 逻辑回归 142
5.3.1 逻辑响应函数和Logit 函数 143
5.3.2 逻辑回归和广义线性模型 144
5.3.3 广义线性模型 145
5.3.4 逻辑回归的预测值 145
5.3.5 解释系数和优势比 146
5.3.6 线性回归与逻辑回归:相似之处和不同之处 147
5.3.7 模型评估 148
5.3.8 拓展阅读 150
5.4 评估分类模型 150
5.4.1 混淆矩阵 151
5.4.2 稀有类问题 152
5.4.3 准确率、召回率和特异性 153
5.4.4 ROC 曲线 153
5.4.5 AUC 155
5.4.6 提升 156
5.4.7 拓展阅读 157
5.5 不平衡数据的处理策略 157
5.5.1 欠采样 158
5.5.2 过采样以及上权重和下权重 158
5.5.3 数据生成 159
5.5.4 基于代价的分类 160
5.5.5 探索预测值 160
5.5.6 拓展阅读 161
5.6 小结 161
第6 章 统计机器学习 162
6.1 K 最近邻算法 163
6.1.1 预测贷款拖欠的示例 164
6.1.2 距离度量 165
6.1.3 独热编码 166
6.1.4 标准化 166
6.1.5 K 值的选取 168
6.1.6 KNN 作为特征引擎 169
6.2 树模型 170
6.2.1 一个简单的例子 171
6.2.2 递归分区算法 172
6.2.3 测量同质性或不纯度 174
6.2.4 阻止树模型继续生长 175
6.2.5 预测连续值 176
6.2.6 如何使用树模型 176
6.2.7 拓展阅读 177
6.3 Bagging 和随机森林 177
6.3.1 Bagging 方法 178
6.3.2 随机森林 178
6.3.3 变量的重要性 181
6.3.4 超参数 183
6.4 Boosting 184
6.4.1 Boosting 算法 184
6.4.2 XGBoost 软件 185
6.4.3 正则化:避免过拟合 186
6.4.4 超参数和交叉验证 189
6.5 小结 191
第7 章 无监督学习 192
7.1 主成分分析 193
7.1.1 一个简单的例子 194
7.1.2 计算主成分 195
7.1.3 解释主成分 196
7.1.4 拓展阅读 198
7.2 K-Means 聚类 198
7.2.1 一个简单的例子 199
7.2.2 K-Means 算法 201
7.2.3 解释类 201
7.2.4 选择类的个数 203
7.3 层次聚类 204
7.3.1 一个简单的例子 205
7.3.2 树状图 205
7.3.3 凝聚算法 206
7.3.4 测量相异性 207
7.4 基于模型的聚类 208
7.4.1 多元正态分布 209
7.4.2 混合正态分布 210
7.4.3 类数的选取 212
7.4.4 拓展阅读 213
7.5 变量的缩放和分类变量 213
7.5.1 变量的缩放 214
7.5.2 控制变量 215
7.5.3 分类数据和高氏距离 216
7.5.4 混合数据的聚类问题 218
7.6 小结 219
作者简介 220
封面说明 220
· · · · · · (收起)
读后感
这本书的作者是统计学领域大咖, Statistics.com统计学教育学院的创立者兼院长,重采样统计软件的开发者。 统计学的书市面上有不少了,但能从应用角度把统计学一些关键概念讲明白的不多。虽然书名说是”面向数据科学家“的,但适合所有人用来学习和巩固统计学基础。 最好了解一...
这本书的作者是统计学领域大咖, Statistics.com统计学教育学院的创立者兼院长,重采样统计软件的开发者。 统计学的书市面上有不少了,但能从应用角度把统计学一些关键概念讲明白的不多。虽然书名说是”面向数据科学家“的,但适合所有人用来学习和巩固统计学基础。 最好了解一...
这本书的作者是统计学领域大咖, Statistics.com统计学教育学院的创立者兼院长,重采样统计软件的开发者。 统计学的书市面上有不少了,但能从应用角度把统计学一些关键概念讲明白的不多。虽然书名说是”面向数据科学家“的,但适合所有人用来学习和巩固统计学基础。 最好了解一...
这本书的作者是统计学领域大咖, Statistics.com统计学教育学院的创立者兼院长,重采样统计软件的开发者。 统计学的书市面上有不少了,但能从应用角度把统计学一些关键概念讲明白的不多。虽然书名说是”面向数据科学家“的,但适合所有人用来学习和巩固统计学基础。 最好了解一...
这本书的作者是统计学领域大咖, Statistics.com统计学教育学院的创立者兼院长,重采样统计软件的开发者。 统计学的书市面上有不少了,但能从应用角度把统计学一些关键概念讲明白的不多。虽然书名说是”面向数据科学家“的,但适合所有人用来学习和巩固统计学基础。 最好了解一...
用户评价
坦白说,市面上关于统计学的书籍汗牛充栋,但大多数要么是面向纯数学系的,要么是只停留在Excel操作层面。这本书的独特之处在于它完美地搭建了理论与工程之间的桥梁。它没有回避必要的数学推导,但推导的目的是为了让你理解背后的逻辑,而不是单纯考察你的微积分能力。我特别留意了它在模型解释性和模型预测性上的平衡。在讲解逻辑回归和生存分析时,它花了大量篇幅讨论如何处理交互项和共线性问题,这在实际的数据建模中是不可避免的“脏活累活”。更让我印象深刻的是,书中穿插了大量的Python或R代码片段(虽然我更偏爱Python),这些代码直接对应了书中的理论,读者可以即时复制粘贴并修改运行,这极大地加速了知识的吸收和内化过程。对于我们这些动手能力要求很高的岗位来说,这种“即时反馈”的学习体验是无价的。
我最赞赏的是这本书在处理“不确定性”时的坦诚态度。在数据科学的世界里,我们经常被迫在不完美的信息下做出决策。这本书并没有试图描绘一个“完美数据”的乌托邦,而是正视了现实世界数据的混乱和噪音。比如,在探讨高维数据和特征选择时,作者引入了正则化(Lasso, Ridge)的概念,并清晰地解释了它们如何通过牺牲部分解释力来换取更好的泛化能力。这种务实的态度,远比那些鼓吹“万能模型”的书籍来得真实可信。此外,书中对统计结果的可视化和沟通技巧的强调也十分到位,它提醒我们,再完美的统计分析,如果不能被业务方理解,那价值也是零。这本书成功地将复杂的统计思想,转化成了数据科学家在日常工作中可以信赖的“思维框架”,而不是一堆束之高阁的数学定理。
我之前一直以为统计学就是一堆复杂的数学公式堆砌起来的,直到我翻开了这本《面向数据科学家的实用统计学》。它的叙述方式非常流畅自然,完全没有那种教科书的刻板感。我特别欣赏作者在介绍不同统计方法时的那种“取舍”哲学。比如,在讲解贝叶斯方法和频率学派方法时,作者并没有偏袒任何一方,而是非常客观地分析了每种方法的适用场景和优缺点。这对于我们做决策时非常关键,因为真实世界的问题往往没有标准的“最优解”。读到关于时间序列分析那部分时,我简直茅塞顿开。过去我处理时间序列数据总是很盲目,这本书清晰地梳理了平稳性、自相关性、季节性这些概念,并配上了清晰的图表来展示,让我一下子明白了为什么有些模型在特定数据上表现好,而在另一些数据上就崩盘了。它真正做到了“授人以渔”,教会我如何根据数据的特性去选择合适的工具,而不是死记硬背公式。
这本书真是把我从数据分析的泥潭里拉了出来,之前看那些纯理论的统计教材,感觉跟听天书一样,公式推来推去,就是不知道怎么应用到实际问题里。这本书完全不一样,它就像一个经验丰富的老司机,手把手教你开车。它的章节设置非常实用,从最基础的描述性统计开始,逐步过渡到假设检验,再到更复杂的回归分析。每一个概念的引入,都会立刻跟着一个贴近实际工作场景的例子。比如,讲到P值的时候,它不是空泛地解释“拒绝原假设”这种术语,而是会模拟一个市场营销活动的A/B测试场景,告诉你什么样的结果才算有统计学意义,需要投入更多资源。这种“学了就能用”的感觉,对于我们这些需要快速产出报告的DS来说,简直是福音。而且,作者在讲解模型假设和诊断时特别细致,不像有些书只是敷衍了事,这本书会告诉你,如果你的数据不满足线性假设,应该怎么办,是该用非参数方法,还是该做数据转换。这种对“实战”的关注,让这本书的价值大大提升。
这本书的结构安排有一种精妙的节奏感,它始终保持着对数据科学家群体痛点的深刻洞察。例如,在处理缺失数据这一普遍难题时,它没有简单地推荐均值/中位数填充这种粗暴方法,而是详细介绍了多重插补(Multiple Imputation)的原理和实施步骤,并严肃指出了每种方法可能带来的偏差。这种对细节的执着和对严谨性的要求,让我对作者的专业性深信不疑。当我读到关于实验设计的部分时,我意识到我过去在设计内部测试时犯了多少错误,比如没有充分考虑混杂因素和样本量不足的问题。这本书用一种非常平易近人的方式,将这些原本深奥的实验统计学知识转化为我可以立刻应用到产品迭代中的指导原则。它不仅仅是一本工具书,更像是一位资深研究员的“方法论备忘录”。
适合对统计学和R都有了解且有实际需求的读者。因为这本书实际上像是一本说明书,指导要实现某种统计用途该使用那些R语言工具。但是对原理的讲解不多,对于工具也只是寥寥数语。好在对于实践中可能会出现的问题都cover到了。
补一下基础知识
了解名词概念科普挺好的,覆盖了目前能用的机器学习部分,但是不深,适合按图索骥
适合对统计学和R都有了解且有实际需求的读者。因为这本书实际上像是一本说明书,指导要实现某种统计用途该使用那些R语言工具。但是对原理的讲解不多,对于工具也只是寥寥数语。好在对于实践中可能会出现的问题都cover到了。
补一下基础知识