具体描述
数据收集相对比较简单，而要把原始信息转化为有用的数据则需要你知道如何精确地抽取你想要的内容。通过这《基于开源工具的数据分析(影印版)》的深入讲解，那些对数据分析感兴趣的中等或者富有经验的程序员将可以学习到在商业环境中与数据打交道的技术。你将了解到如何观察数据来找出它所包含的信息，如何在概念模型里捕捉到这些想法，然后把你的理解通过商业计划、度量标准的精确报告和其他方式反馈给你所在的机构。
你将会通过每章结束部分的动手实践来慢慢体验各种概念。最重要的是，你将了解到如何思考你所希望获取的数据——而不是依赖于工具来替你思考。
. 使用图形来描述带有一个、两个或者十多个变量的数据
. 使用粗略计算以及维度和概率参数来开发概念模型
. 使用诸如模拟和聚类的集约计算方法来挖掘数据
. 通过报告、信息板和其他度量程序来让你的结论更容易理解
. 理解财务计算，包括货币时间价值
. 利用降维技术或者预测分析来克服数据分析过程中面临的挑战
. 熟悉数据分析的不同开源编程环境
作者简介
PhilippcK.cJanert目前提供数据分析和数学模型的咨询服务,1他曾经是物理学家和软件工程师.a他是《GnuplotcincAction:UnderstandingcDatacwithcGraphs》c(Manning出版)的作者,c他为O’ReillycNetwork,cIBMcdeveloperWorks和IEEEcSoftware写过文章.a他拥有Washington大学理论物理学的博士学位
目录信息
1 introduction 1
data analysis 1
what’s in this book 2
what’s with theworkshops? 3
what’s with the math? 4
what you’ll need 5
what’smissing 6
part i graphics: looking at data
2 a single variable: shape and distribution 11
dot and jitter plots 12
histograms and kernel density estimates 14
the cumulative distribution function 23
rank-order plots and lift charts 30
only when appropriate: summary statistics and box plots 33
workshop: numpy 38
further reading 45
3 two variables: establishing relationships 47
scatter plots 47
conquering noise: smoothing 48
.logarithmic plots 57
banking 61
linear regression and all that 62
showing what’s important 66
graphical analysis and presentation graphics 68
workshop: matplotlib 69
further reading 78
4 time as a variable: time-series analysis 79
examples 79
the task 83
smoothing 84
don’t overlook the obvious! 90
the correlation function 91
optional: filters and convolutions 95
workshop: scipy.signal 96
further reading 98
5 more than two variables: graphical multivariate analysis 99
false-color plots 100
a lot at a glance: multiplots 105
composition problems 110
novel plot types 116
interactive explorations 120
workshop: tools for multivariate graphics 123
further reading 125
6 intermezzo: a data analysis session 127
a data analysis session 127
workshop: gnuplot 136
further reading 138
part ii analytics: modeling data
7 guesstimation and the back of the envelope 141
principles of guesstimation 142
how good are those numbers? 151
optional: a closer look at perturbation theory and
error propagation 155
workshop: the gnu scientific library (gsl) 158
further reading 161
8 models from scaling arguments 163
models 163
arguments from scale 165
mean-field approximations 175
common time-evolution scenarios 178
case study: how many servers are best? 182
why modeling? 184
workshop: sage 184
further reading 188
9 arguments from probability models 191
the binomial distribution and bernoulli trials 191
the gaussian distribution and the central limit theorem 195
power-law distributions and non-normal statistics 201
other distributions 206
optional: case study—unique visitors over time 211
workshop: power-law distributions 215
further reading 218
10 what you really need to know about classical statistics 221
genesis 221
statistics defined 223
statistics explained 226
controlled experiments versus observational studies 230
optional: bayesian statistics—the other point of view 235
workshop: r 243
further reading 249
11 intermezzo: mythbusting—bigfoot, least squares,
and all that 253
how to average averages 253
the standard deviation 256
least squares 260
further reading 264
part iii computation: mining data
12 simulations 267
awarm-up question 267
monte carlo simulations 270
resampling methods 276
workshop: discrete event simulations with simpy 280
further reading 291
13 finding clusters 293
what constitutes a cluster? 293
distance and similarity measures 298
clustering methods 304
pre- and postprocessing 311
other thoughts 314
a special case:market basket analysis 316
aword ofwarning 319
workshop: pycluster and the c clustering library 320
further reading 324
14 seeing the forest for the trees: finding
important attributes 327
principal component analysis 328
visual techniques 337
kohonen maps 339
workshop: pca with r 342
further reading 348
15 intermezzo: when more is different 351
a horror story 353
some suggestions 354
what about map/reduce? 356
workshop: generating permutations 357
further reading 358
part iv applications: using data
16 reporting, business intelligence, and dashboards 361
business intelligence 362
corporate metrics and dashboards 369
data quality issues 373
workshop: berkeley db and sqlite 376
further reading 381
17 financial calculations and modeling 383
the time value of money 384
uncertainty in planning and opportunity costs 391
cost concepts and depreciation 394
should you care? 398
is this all that matters? 399
workshop: the newsvendor problem 400
further reading 403
18 predictive analytics 405
introduction 405
some classification terminology 407
algorithms for classification 408
the process 419
the secret sauce 423
the nature of statistical learning 424
workshop: two do-it-yourself classifiers 426
further reading 431
19 epilogue: facts are not reality 433
a programming environments for scientific computation
and data analysis 435
software tools 435
a catalog of scientific software 437
writing your own 443
further reading 444
b results from calculus 447
common functions 448
calculus 460
useful tricks 468
notation and basic math 472
where to go from here 479
further reading 481
c working with data 485
sources for data 485
cleaning and conditioning 487
sampling 489
data file formats 490
the care and feeding of your data zoo 492
skills 493
terminology 495
further reading 497
index 499
· · · · · · (收起)
读后感
对于有一些数据分析经验的人来说，这本书读起来饶有风趣。 作者主要通过实例展示通过分析数据我们可以了解什么信息，如何解释分析结果，以及在这过程之中会有什么陷阱，重点关注的是分析数据时的思想方法，但是对于实际操作的具体方法以及其深层的理论基础则只是简单带...
不得不说本书的翻译不敢让人恭维。拿到书后粗略翻了翻，翻译的水平勉强达到“信达雅”中的“信”吧，我想这本书应该是导师交给学生翻译的。不过买之前我已经做好心理准备：一来这个是技术书，不求文字的华丽；二来我已经有pdf的电子版，买这本中文版的目的是加快阅读。 所以，...
不得不说本书的翻译不敢让人恭维。拿到书后粗略翻了翻，翻译的水平勉强达到“信达雅”中的“信”吧，我想这本书应该是导师交给学生翻译的。不过买之前我已经做好心理准备：一来这个是技术书，不求文字的华丽；二来我已经有pdf的电子版，买这本中文版的目的是加快阅读。 所以，...
我统计学没学扎实的还有点搞不懂里面的说的那些理论，上网搜索英文的的更是很难搞懂了，加上里面的里面例子有没有提供数据来源，没有告诉图形是怎么做出来的，所以书的内容和标题有点南辕北辙啊。 但是作者提供了一种系统的思路的做数据分析，这可以提供一些思路去学习更细节的...
用户评价
这本书的视角非常独特，它并没有仅仅停留在工具的使用层面，而是更深入地探讨了数据分析的整个生命周期，并巧妙地将开源工具融入其中。作者在介绍 R 语言进行统计分析的部分，尤其让我印象深刻。我一直觉得 R 语言的学习门槛较高，但这本书通过实际案例，例如假设检验、回归分析、时间序列分析等，展示了 R 语言在统计建模方面的强大能力。 令我惊喜的是，书中还涉及了一些更高级的主题，比如机器学习的入门概念，并通过 Scikit-learn 这个强大的 Python 库进行了实践演示。虽然篇幅可能不算特别深入，但对于我这样一个初学者来说，已经足够打开了机器学习的大门。它让我明白了如何利用开源工具进行模型的训练、评估和预测，这对于我未来在工作中处理更复杂的数据问题非常有帮助。这本书就像一位经验丰富的朋友，在我迷茫时指引方向，在我困惑时提供思路，让我对数据分析的理解更加立体和全面。
这本书真是让我大开眼界！一直以来，我都在寻找一种既能深入掌握数据分析核心概念，又不至于被昂贵的商业软件绑架的学习路径。当我翻开《基于开源工具的数据分析》这本书时，仿佛找到了失散多年的宝藏。它没有一开始就抛出晦涩难懂的算法理论，而是从最基础、最实用的角度切入，引导我一步步认识那些强大的开源数据分析工具。 特别是关于Python在数据分析中的应用，这本书的讲解简直是循序渐进，清晰明了。从NumPy的数组操作到Pandas的数据清洗和预处理，再到Matplotlib和Seaborn的数据可视化，每一个环节都配有详实的代码示例和代码解释。我以前总觉得数据清洗是个费时费力的过程，但在书中作者通过 Pandas 的强大功能，例如缺失值处理、异常值检测、数据合并等，让我看到了效率的飞跃。更不用说那些精美的图表，通过简单的几行代码就能将复杂的数据关系一目了然地呈现出来，这对于我理解数据、发现趋势至关重要。这本书让我明白，开源工具并非“免费”就意味着“廉价”，它们在功能上完全可以媲美甚至超越许多商业软件，而且更具灵活性和可定制性。
这是一本真正能提升实践能力的书籍，其最大的亮点在于它对“数据分析”这一概念的深刻理解，并且能够将这种理解转化为一系列可操作的工具和方法。作者在讲解 SQL 语言在数据提取和管理方面的应用时，展现了非常清晰的逻辑。从基础的 SELECT、FROM、WHERE 到更复杂的 JOIN、GROUP BY，再到窗口函数和子查询，每一个概念的提出都伴随着具体的业务场景，这让我能够立刻理解这些 SQL 语句在实际工作中的价值。 我特别喜欢书中关于“数据仓库”和“数据湖”的章节，虽然篇幅不长，但却点出了现代数据架构的关键要素。通过介绍一些开源的数据存储和处理框架，例如 PostgreSQL 的应用，让我对接下来的学习有了更清晰的规划。这本书让我意识到，数据分析不仅仅是“分析”数据，更重要的是“如何有效地获取、存储和管理数据”。它提供了一个宏观的视角，让我看到了数据分析在整个数据生态系统中的位置。
我必须承认，最初我对这本书抱有一丝怀疑，担心它会过于理论化，或者充斥着我不熟悉的“高科技”术语。但事实证明，我的担忧是多余的。这本书以一种非常接地气的方式，将复杂的数据分析概念融入到实际应用中。作者在介绍 Web Scraping（网络爬虫）部分，通过 Python 的 BeautifulSoup 和 Scrapy 库，展示了如何从互联网上抓取数据，这对我来说是一个全新的领域。 我以前总觉得网络数据遥不可及，但这本书让我看到了实现的可能。书中关于数据清洗和转换的技巧，结合抓取到的原始数据，让我能够快速构建出可用于分析的数据集。而且，它还提到了将这些数据存储到数据库中的方法，例如 SQLite，这让我能够更系统地管理我的数据。这本书让我真正体会到了“数据就在那里，等你发掘”的兴奋感，并且教会了我如何去发掘。
这本书不仅仅是一本关于工具的书，它更像是一本关于“思维方式”的书。作者在讲解数据可视化时，不仅仅是罗列图表类型，而是深入探讨了如何根据不同的分析目的选择最合适的图表，以及如何通过图表来讲述数据背后的故事。这让我从一个“制作图表的人”变成了一个“用图表说话的人”。 我特别欣赏书中关于“探索性数据分析 (EDA)”的阐述，它强调了在正式建模之前，通过各种可视化和统计手段来理解数据特性的重要性。作者通过 Pandas 和 Matplotlib 的结合，演示了如何进行数据分布的探索、变量之间的相关性分析、以及异常值的识别。这使得我在面对新数据时，不再感到手足无措，而是能够有条不紊地展开分析。这本书让我明白，数据分析的乐趣在于发现，而工具只是实现这种乐趣的手段。
又在读一本看不完的书
又在读一本看不完的书
又在读一本看不完的书
又在读一本看不完的书
又在读一本看不完的书
