具体描述
数据分析是一个快速发展的领域，而Python已经演变成数据科学的主要语言，广泛应用于数据分析、可视化和机器学习等领域。本书从数据分析的基础内容入手，比如matplotlib、NumPy和Pandas库，介绍如何通过选择色彩图和调色板来创建可视化，之后深入统计数据分析，将帮助你掌握Spark和HDFS，为网络挖掘创建可迁移脚本。本书还详细阐述如何评价股票，检测市场有效性，使用指标和聚类等，并且还将使用多线程实现并行性，并加速你的代码。在本书结束时，读者将能够运用各种Python中的数据分析技术，并针对问题场景设计解决方案。
作者简介
目录信息
译者序
前言
第1章为可重复的数据分析奠定基础1
1.1简介1
1.2安装Anaconda2
1.3安装数据科学工具包3
1.4用virtualenv和virtualenvwrapper创建Python虚拟环境5
1.5使用Docker镜像沙盒化Python应用6
1.6在IPythonNotebook中记录软件包的版本和历史8
1.7配置IPython11
1.8学习为鲁棒性错误校验记录日志13
1.9为你的代码写单元测试16
1.10配置pandas18
1.11配置matplotlib20
1.12为随机数生成器和NumPy打印选项设置种子23
1.13使报告、代码风格和数据访问标准化24
第2章创建美观的数据可视化28
2.1简介28
2.2图形化安斯库姆四重奏28
2.3选择Seaborn的调色板31
2.4选择matplotlib的颜色表33
2.5与IPythonNotebook部件交互35
2.6查看散点图矩阵38
2.7通过mpld3使用d3.js进行可视化40
2.8创建热图41
2.9把箱线图、核密度图和小提琴图组合44
2.10使用蜂巢图可视化网络图45
2.11显示地图47
2.12使用类ggplot2图49
2.13使用影响图高亮数据51
第3章统计数据分析和概率53
3.1简介53
3.2将数据拟合到指数分布53
3.3将聚合数据拟合到伽马分布55
3.4将聚合计数拟合到泊松分布57
3.5确定偏差59
3.6估计核密度61
3.7确定均值、方差和标准偏差的置信区间64
3.8使用概率权重采样66
3.9探索极值68
3.10使用皮尔逊相关系数测量变量之间的相关性71
3.11使用斯皮尔曼等级相关系数测量变量之间的相关性74
3.12使用点二列相关系数测量二值变量和连续变量的相关性77
3.13评估变量与方差分析之间的关系78
第4章处理数据和数值问题81
4.1简介81
4.2剪辑和过滤异常值81
4.3对数据进行缩尾处理84
4.4测量噪声数据的集中趋势85
4.5使用Box-Cox变换进行归一化88
4.6使用幂阶梯转换数据90
4.7使用对数转换数据91
4.8重组数据93
4.9应用logit()来变换比例95
4.10拟合鲁棒线性模型97
4.11使用加权最小二乘法考虑方差99
4.12使用任意精度进行优化101
4.13使用任意精度的线性代数103
第5章网络挖掘、数据库和大数据107
5.1简介107
5.2模拟网页浏览108
5.3网络数据挖掘110
5.4处理非ASCII文本和HTML实体112
5.5实现关联表114
5.6创建数据库迁移脚本117
5.7在已经存在的表中增加一列117
5.8在表创建之后添加索引118
5.9搭建一个测试Web服务器120
5.10实现具有事实表和维度表的星形模式121
5.11使用Hadoop分布式文件系统126
5.12安装配置Spark127
5.13使用Spark聚类数据128
第6章信号处理和时间序列132
6.1简介132
6.2使用周期图做频谱分析132
6.3使用Welch算法估计功率谱密度134
6.4分析峰值136
6.5测量相位同步138
6.6指数平滑法140
6.7评估平滑法142
6.8使用Lomb-Scargle周期图145
6.9分析音频的频谱146
6.10使用离散余弦变换分析信号149
6.11对时序数据进行块自举151
6.12对时序数据进行动态块自举153
6.13应用离散小波变换155
第7章利用金融数据分析选择股票159
7.1简介159
7.2计算简单收益率和对数收益率159
7.3使用夏普比率和流动性对股票进行排名161
7.4使用卡玛和索提诺比率对股票进行排名162
7.5分析收益统计164
7.6将个股与更广泛的市场相关联166
7.7探索风险与收益169
7.8使用非参数运行测试检验市场170
7.9测试随机游走173
7.10使用自回归模型确定市场效率175
7.11为股票价格数据库建表177
7.12填充股票价格数据库178
7.13优化等权重双资产组合183
第8章文本挖掘和社交网络分析186
8.1简介186
8.2创建分类的语料库186
8.3以句子和单词标记化新闻文章189
8.4词干提取、词形还原、过滤和TF-IDF得分189
8.5识别命名实体193
8.6提取带有非负矩阵分解的主题194
8.7实现一个基本的术语数据库196
8.8计算社交网络密度200
8.9计算社交网络接近中心性201
8.10确定中介中心性202
8.11评估平均聚类系数203
8.12计算图的分类系数204
8.13获得一个图的团数205
8.14使用余弦相似性创建文档图206
第9章集成学习和降维209
9.1简介209
9.2递归特征消除210
9.3应用主成分分析来降维211
9.4应用线性判别分析来降维213
9.5多模型堆叠和多数投票214
9.6学习随机森林217
9.7使用RANSAC算法拟合噪声数据220
9.8使用Bagging来改善结果222
9.9用于更好学习的Boosting算法224
9.10嵌套交叉验证227
9.11使用joblib重用模型229
9.12层次聚类数据231
9.13Theano之旅232
第10章评估分类器、回归器和聚类235
10.1简介235
10.2直接使用混淆矩阵分类235
10.3计算精度、召回率和F1分数23
· · · · · · (收起)
读后感
用户评价
作为一个已经接触数据分析领域一段时间的人，我通常对市面上的新书抱持着一种审慎的态度，毕竟很多都是旧内容的重新包装。然而，这本让我耳目一新。它对现代数据分析范式，尤其是关于可重复性研究的强调，做得非常出色。书中不仅仅展示了“如何做”，更深入探讨了“为什么这么做”。比如，在处理大型数据集时，作者很早就引入了分块处理和迭代器的概念，这对于优化内存使用效率至关重要，这绝对是初级教程里很少会涉及的深度内容。而且，书中对不同分析方法的适用场景进行了细致的对比，比如在使用PCA降维和t-SNE可视化时，作者清晰地指出了它们背后的数学假设和最终效果的差异，这使得我在选择技术方案时，能够更加游刃有余，而不是盲目跟风。这种对底层逻辑的深挖和权衡，让这本书的知识密度非常高，读起来需要反复咀嚼。
天呐，最近终于读完了这本关于数据分析的书，简直是打开了我新世界的大门！这本书的内容编排得非常巧妙，它不是那种枯燥乏味的理论堆砌，而是通过大量的实战案例来引导读者深入理解每一个概念。我记得最清楚的是关于数据清洗的那一章，作者用了好几个不同来源、格式各异的数据集，手把手地教我们如何识别缺失值、异常值，以及如何用Pandas进行高效的转换和重塑。我以前总觉得数据清洗是最头疼的部分，但看完这一块，我茅塞顿开，感觉自己好像掌握了一套行之有效的“数据急救术”。更让我惊喜的是，书中对数据可视化的讲解也极其到位。它没有停留在基础的柱状图和折线图，而是深入到了如何利用Seaborn和Matplotlib创建具有叙事性的图形，比如如何通过热力图揭示变量间的复杂关系，或者如何用散点图矩阵来快速概览多变量分布。每一次看到作者精心设计的图表，我都能感受到数据本身的故事性被完美地呈现了出来，这对于我后续的报告撰写帮助太大了，绝对是提升专业度的利器。
这本书的价值远超出了我对一本技术书籍的预期。我原以为它会聚焦于某个特定库的API罗列，但出乎意料的是，它提供了一个非常宏大且连贯的分析流程框架。从最开始的数据获取，到中间复杂的特征工程，再到最后的模型评估和部署思路的探讨，每一个环节的过渡都显得那么自然流畅，仿佛作者早已料到读者在哪个节点会产生疑问，并提前埋下了伏笔。特别是关于时间序列分析的那部分，我过去在处理实际项目中的日期数据时总是焦头烂额，但书中对日期时间对象的精细化处理技巧，比如跨时区的转换、频率重采样等，简直是教科书级别的示范。我赶紧把书里的代码示例敲了一遍，果然，之前困扰我很久的日期对齐问题迎刃而解。这种“授人以渔”的教学方式，真正让我体会到了什么叫做“实战”二字的分量，它不仅仅是教会你工具的使用，更是培养你的分析思维路径。
这本书的结构设计简直是艺术品！我尤其欣赏它在项目收尾部分的处理。很多数据分析的书籍在数据建模或得出结论后就戛然而止了，留下读者在“如何将成果落地”这个关键环节感到茫然。但这本书不同，它花了相当大的篇幅来讨论结果的解释性、报告撰写的技巧，甚至涉及到了如何用Markdown或Jupyter Notebook来构建一个清晰、易于团队协作的分析文档。我记得书中有一个关于A/B测试结果解释的案例，它不仅展示了如何计算p值和置信区间，更重要的是，它指导我们如何用非技术语言向业务部门清晰地传达决策建议，避免了常见的统计学误读。这种注重“沟通桥梁”的写作视角，让这本书从一个纯粹的技术手册，升华成了一本实用的商业智能工具书。我感觉自己不仅在学编程和统计，更在学习如何成为一个真正能驱动业务增长的数据专家。
我必须承认，我是一个对代码要求比较苛刻的读者，我更倾向于简洁、高效且符合社区规范的代码风格。这本书在这方面简直无可挑剔。作者在每一个代码块的编写上都展现了极高的专业素养，变量命名清晰规范，逻辑结构层次分明，并且大量使用了Python的惯用表达方式（Pythonic ways）。阅读这些代码，对我个人编程习惯的优化起到了潜移默化的积极作用。例如，书中介绍的某些链式操作技巧，让原本需要好几行代码才能完成的数据转换，现在只需要一行优雅的语句就能搞定，极大地提升了代码的可读性和执行效率。此外，书中还穿插了一些环境配置和版本管理的小贴士，这些看似不起眼的内容，在实际工作中却是保证项目稳定性的基石。这本书真正做到了在基础到进阶之间架起了一座坚实的桥梁，每一个层级的读者都能从中找到属于自己的“啊哈！”时刻。
数据分析体现在很多方面，比如说以做出决策或提出新的假设和问题为目的进行数据分析。数据科学以及大数据的热潮、高待遇以及经济回报让我想起了当数据存储和商业智能还是时髦词的年代。商业智能和数据存储的终极目标是构建应用于管理的可视化图表。这涉及很多政治和组织方面的利益，但是从技术的角度来看，这主要还是和数据库相关。数据科学则不是以数据库为中心，而是很大程度上依赖于机器学习。由于数据的量在不断地变多，机器学习变得越来越不可或缺。数据大量增长的背后是人口的快速增长以及新技术的层出不穷，比如说社交媒体和移动设备的出现。事实上，数据增长可能是我们唯一可以肯定的将一直持续的趋势。构建可视化图表和应用机器学习的区别就类似于搜索引擎的演进。
数据分析体现在很多方面，比如说以做出决策或提出新的假设和问题为目的进行数据分析。数据科学以及大数据的热潮、高待遇以及经济回报让我想起了当数据存储和商业智能还是时髦词的年代。商业智能和数据存储的终极目标是构建应用于管理的可视化图表。这涉及很多政治和组织方面的利益，但是从技术的角度来看，这主要还是和数据库相关。数据科学则不是以数据库为中心，而是很大程度上依赖于机器学习。由于数据的量在不断地变多，机器学习变得越来越不可或缺。数据大量增长的背后是人口的快速增长以及新技术的层出不穷，比如说社交媒体和移动设备的出现。事实上，数据增长可能是我们唯一可以肯定的将一直持续的趋势。构建可视化图表和应用机器学习的区别就类似于搜索引擎的演进。
数据分析体现在很多方面，比如说以做出决策或提出新的假设和问题为目的进行数据分析。数据科学以及大数据的热潮、高待遇以及经济回报让我想起了当数据存储和商业智能还是时髦词的年代。商业智能和数据存储的终极目标是构建应用于管理的可视化图表。这涉及很多政治和组织方面的利益，但是从技术的角度来看，这主要还是和数据库相关。数据科学则不是以数据库为中心，而是很大程度上依赖于机器学习。由于数据的量在不断地变多，机器学习变得越来越不可或缺。数据大量增长的背后是人口的快速增长以及新技术的层出不穷，比如说社交媒体和移动设备的出现。事实上，数据增长可能是我们唯一可以肯定的将一直持续的趋势。构建可视化图表和应用机器学习的区别就类似于搜索引擎的演进。
数据分析体现在很多方面，比如说以做出决策或提出新的假设和问题为目的进行数据分析。数据科学以及大数据的热潮、高待遇以及经济回报让我想起了当数据存储和商业智能还是时髦词的年代。商业智能和数据存储的终极目标是构建应用于管理的可视化图表。这涉及很多政治和组织方面的利益，但是从技术的角度来看，这主要还是和数据库相关。数据科学则不是以数据库为中心，而是很大程度上依赖于机器学习。由于数据的量在不断地变多，机器学习变得越来越不可或缺。数据大量增长的背后是人口的快速增长以及新技术的层出不穷，比如说社交媒体和移动设备的出现。事实上，数据增长可能是我们唯一可以肯定的将一直持续的趋势。构建可视化图表和应用机器学习的区别就类似于搜索引擎的演进。
数据分析体现在很多方面，比如说以做出决策或提出新的假设和问题为目的进行数据分析。数据科学以及大数据的热潮、高待遇以及经济回报让我想起了当数据存储和商业智能还是时髦词的年代。商业智能和数据存储的终极目标是构建应用于管理的可视化图表。这涉及很多政治和组织方面的利益，但是从技术的角度来看，这主要还是和数据库相关。数据科学则不是以数据库为中心，而是很大程度上依赖于机器学习。由于数据的量在不断地变多，机器学习变得越来越不可或缺。数据大量增长的背后是人口的快速增长以及新技术的层出不穷，比如说社交媒体和移动设备的出现。事实上，数据增长可能是我们唯一可以肯定的将一直持续的趋势。构建可视化图表和应用机器学习的区别就类似于搜索引擎的演进。
