Python數(shù)據(jù)分析

19年最新Python數(shù)據(jù)分析視頻教程：點(diǎn)此查看

本教程的核心內(nèi)容是利用Python語言操作、處理、清洗、可視化數(shù)據(jù)，對數(shù)據(jù)進(jìn)行基本的分析。雖然以分析為名，但專注于Python的編程、主要類庫、工具，而不是分析的方法論。更進(jìn)一步的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)，將在下一步的教程里體現(xiàn)。

在數(shù)據(jù)分析和處理領(lǐng)域，毫無疑問，Python是主流語言，其原因在于：

• Python語法簡單，代碼量少

• Numpy、Scipy、Pandas和Matplotlib的科學(xué)計算生態(tài)圈過于強(qiáng)大

• Ipython和Jupyter notebook的交互式環(huán)境

• 容易整合C/C++/FORTRAN代碼，使用過往的存量代碼

• 從代碼走向工程很快捷

下面是Python數(shù)據(jù)分析和處理任務(wù)中重要的庫與工具：

1. Numpy

官網(wǎng)：http://www./

Numpy庫是Python數(shù)值計算的基石。它提供了多種數(shù)據(jù)結(jié)構(gòu)、算法以及大部分涉及Python數(shù)值計算所需的接口。主要包括以下內(nèi)容：

• 快速、高效的多維數(shù)組對象ndarray

• 基于元素的數(shù)組計算或者數(shù)組間的數(shù)學(xué)操作函數(shù)

• 用于讀寫硬盤中基于數(shù)組的數(shù)據(jù)集的工具

• 線性代數(shù)操作、傅里葉變換以及隨機(jī)數(shù)生成

• 成熟的C語言API，拓展代碼

2. Scipy

官網(wǎng)：https://www./

這個庫是Python科學(xué)計算領(lǐng)域內(nèi)針對不同標(biāo)準(zhǔn)問題域的包集合，主要包括以下內(nèi)容：

• integrate:數(shù)值積分例程和微分方程求解器

• linalg：線性代數(shù)例程和基于numpy.linalg的矩陣分解

• optimize：函數(shù)優(yōu)化器和求根算法

• signal:信號處理工具

• sparse:稀疏矩陣與稀疏線性系統(tǒng)求解器

• special：SPECFUN的包裝其

• stats：標(biāo)準(zhǔn)的連續(xù)和離散概率分布

Scipy與Numpy一起為很多傳統(tǒng)科學(xué)計算應(yīng)用提供了一個合理、完整、成熟的科學(xué)計算基礎(chǔ)。

3. Pandas

官網(wǎng)： http://pandas./

Pandas提供了高級數(shù)據(jù)結(jié)構(gòu)和函數(shù)，使得利用結(jié)構(gòu)化、表格化數(shù)據(jù)的工作快速、簡單、有表現(xiàn)力。Pandas將表格和關(guān)系型數(shù)據(jù)庫的靈活數(shù)據(jù)操作能力與Numpy的高性能數(shù)組計算的理解相結(jié)合。提供復(fù)雜的索引函數(shù)，使得數(shù)據(jù)的重組、切塊、切片、聚合、子集選擇更為簡單。Pandas是數(shù)據(jù)分析和處理工作中，實際使用占比最多的工具，使用頻率最高，也是本教程的主要介紹內(nèi)容。

4. matplotlib

官網(wǎng)：https:///

matplotlib是最流行的用于制圖以及其它數(shù)據(jù)可視化的Python庫。在基于Python的數(shù)據(jù)可視化工作中，這個庫是行業(yè)默認(rèn)選擇，雖然也有其它可視化庫，但matplotlib依然是使用最為廣泛，并且與生態(tài)系統(tǒng)的其它庫良好整合。

此工具是本教材主要介紹內(nèi)容之一，實際上，學(xué)會了這個工具，其它可視化庫，甚至Matlab繪圖，基本套路都是類似的，可以一通百通。

5. Jupyter notebook

官網(wǎng)：https:///

基于Python的交互式編程環(huán)境有IPython、IPython notebook以及Jupyter notebook。但如果對于數(shù)據(jù)分析、處理、機(jī)器學(xué)習(xí)等相關(guān)工作，我強(qiáng)烈推薦基于web的Jupyter notebook。

這個代碼測試、開發(fā)、編輯、文字工具，真的是誰用誰知道，并且也是本教程的主要內(nèi)容之一，吐血推薦！

6. scikit-learn

官網(wǎng)：https:///stable/

如果說基于Python的機(jī)器學(xué)習(xí)，那么首推必須是scikit-learn庫，屬于必學(xué)工具！它主要包括以下子模塊：

• 分類：SVM、最近鄰、隨機(jī)森林、邏輯回歸等

• 回歸：Lasso、嶺回歸等

• 聚類：k-means、譜聚類等

• 降維：PCA、特征選擇、矩陣分解等

• 模型選擇：網(wǎng)格搜索、交叉驗證、指標(biāo)矩陣等

• 預(yù)處理：特征提取、正態(tài)化

• 其它有用的工具和數(shù)據(jù)集

機(jī)器學(xué)習(xí)是非常龐大和復(fù)雜的一門學(xué)科，本教程不準(zhǔn)備講述，而是放在下一步。