數(shù)據(jù)分析員用python做數(shù)據(jù)分析是怎么回事，需要用到python中的那些內(nèi)容，具體是怎么操作的?

最近，Analysis with Programming加入了Planet Python。我這里來分享一下如何通過Python來開始數(shù)據(jù)分析。具體內(nèi)容如下：

10年積累的成都網(wǎng)站制作、網(wǎng)站建設(shè)經(jīng)驗，可以快速應對客戶對網(wǎng)站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務。我雖然不認識你，你也不認識我。但先建設(shè)網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有應城免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

數(shù)據(jù)導入

導入本地的或者web端的CSV文件；

數(shù)據(jù)變換；

數(shù)據(jù)統(tǒng)計描述；

假設(shè)檢驗

單樣本t檢驗；

可視化；

創(chuàng)建自定義函數(shù)。

數(shù)據(jù)導入

1

這是很關(guān)鍵的一步，為了后續(xù)的分析我們首先需要導入數(shù)據(jù)。通常來說，數(shù)據(jù)是CSV格式，就算不是，至少也可以轉(zhuǎn)換成CSV格式。在Python中，我們的操作如下：

import pandas as pd

# Reading data locally

df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

# Reading data from web

data_url = ""

df = pd.read_csv(data_url)

為了讀取本地CSV文件，我們需要pandas這個數(shù)據(jù)分析庫中的相應模塊。其中的read_csv函數(shù)能夠讀取本地和web數(shù)據(jù)。

END

數(shù)據(jù)變換

1

既然在工作空間有了數(shù)據(jù)，接下來就是數(shù)據(jù)變換。統(tǒng)計學家和科學家們通常會在這一步移除分析中的非必要數(shù)據(jù)。我們先看看數(shù)據(jù)（下圖）

對R語言程序員來說，上述操作等價于通過print(head(df))來打印數(shù)據(jù)的前6行，以及通過print(tail(df))來打印數(shù)據(jù)的后6行。當然Python中，默認打印是5行，而R則是6行。因此R的代碼head(df, n = 10)，在Python中就是df.head(n = 10)，打印數(shù)據(jù)尾部也是同樣道理

請點擊輸入圖片描述

2

在R語言中，數(shù)據(jù)列和行的名字通過colnames和rownames來分別進行提取。在Python中，我們則使用columns和index屬性來提取，如下：

# Extracting column names

print df.columns

# OUTPUT

Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')

# Extracting row names or the index

print df.index

# OUTPUT

Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')

3

數(shù)據(jù)轉(zhuǎn)置使用T方法，

# Transpose data

print df.T

# OUTPUT

0 ? ? ?1 ? ? 2 ? ? ?3 ? ? 4 ? ? ?5 ? ? 6 ? ? ?7 ? ? 8 ? ? ?9

Abra ? ? ?1243 ? 4158 ?1787 ?17152 ?1266 ? 5576 ? 927 ?21540 ?1039 ? 5424

Apayao ? ?2934 ? 9235 ?1922 ?14501 ?2385 ? 7452 ?1099 ?17038 ?1382 ?10588

Benguet ? ?148 ? 4287 ?1955 ? 3536 ?2530 ? ?771 ?2796 ? 2463 ?2592 ? 1064

Ifugao ? ?3300 ? 8063 ?1074 ?19607 ?3315 ?13134 ?5134 ?14226 ?6842 ?13828

Kalinga ?10553 ?35257 ?4544 ?31687 ?8520 ?28252 ?3106 ?36238 ?4973 ?40140

... ? ? ? 69 ? ? 70 ? ? 71 ? ? 72 ? ? 73 ? ? 74 ? ? 75 ? ? 76 ? ? 77

Abra ? ? ... ? ?12763 ? 2470 ?59094 ? 6209 ?13316 ? 2505 ?60303 ? 6311 ?13345

Apayao ? ... ? ?37625 ?19532 ?35126 ? 6335 ?38613 ?20878 ?40065 ? 6756 ?38902

Benguet ?... ? ? 2354 ? 4045 ? 5987 ? 3530 ? 2585 ? 3519 ? 7062 ? 3561 ? 2583

Ifugao ? ... ? ? 9838 ?17125 ?18940 ?15560 ? 7746 ?19737 ?19422 ?15910 ?11096

Kalinga ?... ? ?65782 ?15279 ?52437 ?24385 ?66148 ?16513 ?61808 ?23349 ?68663

78

Abra ? ? ?2623

Apayao ? 18264

Benguet ? 3745

Ifugao ? 16787

Kalinga ?16900

Other transformations such as sort can be done using codesort/code attribute. Now let's extract a specific column. In Python, we do it using either codeiloc/code or codeix/code attributes, but codeix/code is more robust and thus I prefer it. Assuming we want the head of the first column of the data, we have

4

其他變換，例如排序就是用sort屬性。現(xiàn)在我們提取特定的某列數(shù)據(jù)。Python中，可以使用iloc或者ix屬性。但是我更喜歡用ix，因為它更穩(wěn)定一些。假設(shè)我們需數(shù)據(jù)第一列的前5行，我們有：

print df.ix[:, 0].head()

# OUTPUT 0 ? ? 1243 1 ? ? 4158 2 ? ? 1787 3 ? ?17152 4 ? ? 1266 Name: Abra, dtype: int64

5

順便提一下，Python的索引是從0開始而非1。為了取出從11到20行的前3列數(shù)據(jù)，我們有

print df.ix[10:20, 0:3]

# OUTPUT

Abra ?Apayao ?Benguet

10 ? ?981 ? ?1311 ? ? 2560

11 ?27366 ? 15093 ? ? 3039

12 ? 1100 ? ?1701 ? ? 2382

13 ? 7212 ? 11001 ? ? 1088

14 ? 1048 ? ?1427 ? ? 2847

15 ?25679 ? 15661 ? ? 2942

16 ? 1055 ? ?2191 ? ? 2119

17 ? 5437 ? ?6461 ? ? ?734

18 ? 1029 ? ?1183 ? ? 2302

19 ?23710 ? 12222 ? ? 2598

20 ? 1091 ? ?2343 ? ? 2654

上述命令相當于df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。

6

為了舍棄數(shù)據(jù)中的列，這里是列1(Apayao)和列2(Benguet)，我們使用drop屬性，如下：

print df.drop(df.columns[[1, 2]], axis = 1).head()

# OUTPUT

Abra ?Ifugao ?Kalinga

0 ? 1243 ? ?3300 ? ?10553

1 ? 4158 ? ?8063 ? ?35257

2 ? 1787 ? ?1074 ? ? 4544

3 ?17152 ? 19607 ? ?31687

4 ? 1266 ? ?3315 ? ? 8520

axis?參數(shù)告訴函數(shù)到底舍棄列還是行。如果axis等于0，那么就舍棄行。

END

統(tǒng)計描述

1

下一步就是通過describe屬性，對數(shù)據(jù)的統(tǒng)計特性進行描述：

print df.describe()

# OUTPUT

Abra ? ? ? ?Apayao ? ? ?Benguet ? ? ? ?Ifugao ? ? ? Kalinga

count ? ? 79.000000 ? ? 79.000000 ? ?79.000000 ? ? 79.000000 ? ? 79.000000

mean ? 12874.379747 ?16860.645570 ?3237.392405 ?12414.620253 ?30446.417722

std ? ?16746.466945 ?15448.153794 ?1588.536429 ? 5034.282019 ?22245.707692

min ? ? ?927.000000 ? ?401.000000 ? 148.000000 ? 1074.000000 ? 2346.000000

25% ? ? 1524.000000 ? 3435.500000 ?2328.000000 ? 8205.000000 ? 8601.500000

50% ? ? 5790.000000 ?10588.000000 ?3202.000000 ?13044.000000 ?24494.000000

75% ? ?13330.500000 ?33289.000000 ?3918.500000 ?16099.500000 ?52510.500000

max ? ?60303.000000 ?54625.000000 ?8813.000000 ?21031.000000 ?68663.000000

END

假設(shè)檢驗

1

Python有一個很好的統(tǒng)計推斷包。那就是scipy里面的stats。ttest_1samp實現(xiàn)了單樣本t檢驗。因此，如果我們想檢驗數(shù)據(jù)Abra列的稻谷產(chǎn)量均值，通過零假設(shè)，這里我們假定總體稻谷產(chǎn)量均值為15000，我們有：

from scipy import stats as ss

# Perform one sample t-test using 1500 as the true mean

print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)

# OUTPUT

(-1.1281738488299586, 0.26270472069109496)

返回下述值組成的元祖：

t : 浮點或數(shù)組類型t統(tǒng)計量

prob : 浮點或數(shù)組類型two-tailed p-value 雙側(cè)概率值

2

通過上面的輸出，看到p值是0.267遠大于α等于0.05，因此沒有充分的證據(jù)說平均稻谷產(chǎn)量不是150000。將這個檢驗應用到所有的變量，同樣假設(shè)均值為15000，我們有：

print ss.ttest_1samp(a = df, popmean = 15000)

# OUTPUT

(array([ -1.12817385, ? 1.07053437, -65.81425599, ?-4.564575 ?, ? 6.17156198]),

array([ ?2.62704721e-01, ? 2.87680340e-01, ? 4.15643528e-70,

1.83764399e-05, ? 2.82461897e-08]))

第一個數(shù)組是t統(tǒng)計量，第二個數(shù)組則是相應的p值

END

可視化

1

Python中有許多可視化模塊，最流行的當屬matpalotlib庫。稍加提及，我們也可選擇bokeh和seaborn模塊。之前的博文中，我已經(jīng)說明了matplotlib庫中的盒須圖模塊功能。

請點擊輸入圖片描述

2

# Import the module for plotting

import matplotlib.pyplot as plt

plt.show(df.plot(kind = 'box'))

現(xiàn)在，我們可以用pandas模塊中集成R的ggplot主題來美化圖表。要使用ggplot，我們只需要在上述代碼中多加一行，

import matplotlib.pyplot as plt

pd.options.display.mpl_style = 'default' # Sets the plotting display theme to ggplot2

df.plot(kind = 'box')

3

這樣我們就得到如下圖表：

請點擊輸入圖片描述

4

比matplotlib.pyplot主題簡潔太多。但是在本文中，我更愿意引入seaborn模塊，該模塊是一個統(tǒng)計數(shù)據(jù)可視化庫。因此我們有：

# Import the seaborn library

import seaborn as sns

# Do the boxplot

plt.show(sns.boxplot(df, widths = 0.5, color = "pastel"))

請點擊輸入圖片描述

5

多性感的盒式圖，繼續(xù)往下看。

請點擊輸入圖片描述

6

plt.show(sns.violinplot(df, widths = 0.5, color = "pastel"))

請點擊輸入圖片描述

7

plt.show(sns.distplot(df.ix[:,2], rug = True, bins = 15))

請點擊輸入圖片描述

8

with sns.axes_style("white"):

plt.show(sns.jointplot(df.ix[:,1], df.ix[:,2], kind = "kde"))

請點擊輸入圖片描述

9

plt.show(sns.lmplot("Benguet", "Ifugao", df))

END

創(chuàng)建自定義函數(shù)

在Python中，我們使用def函數(shù)來實現(xiàn)一個自定義函數(shù)。例如，如果我們要定義一個兩數(shù)相加的函數(shù)，如下即可：

def add_2int(x, y):

return x + y

print add_2int(2, 2)

# OUTPUT

4

順便說一下，Python中的縮進是很重要的。通過縮進來定義函數(shù)作用域，就像在R語言中使用大括號{…}一樣。這有一個我們之前博文的例子：

產(chǎn)生10個正態(tài)分布樣本，其中和

基于95%的置信度，計算和?;

重復100次; 然后

計算出置信區(qū)間包含真實均值的百分比

Python中，程序如下：

import numpy as np

import scipy.stats as ss

def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

m = np.zeros((rep, 4))

for i in range(rep):

norm = np.random.normal(loc = mu, scale = sigma, size = n)

xbar = np.mean(norm)

low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

if (mu low) (mu up):

rem = 1

else:

rem = 0

m[i, :] = [xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

上述代碼讀起來很簡單，但是循環(huán)的時候就很慢了。下面針對上述代碼進行了改進，這多虧了?Python專家

import numpy as np

import scipy.stats as ss

def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))

xbar = norm.mean(1)

low = xbar - scaled_crit

up = xbar + scaled_crit

rem = (mu low) (mu up)

m = np.c_[xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

python有多少內(nèi)置函數(shù)

Python內(nèi)置函數(shù)有很多，為大家推薦5個神仙級的內(nèi)置函數(shù)：

(1)Lambda函數(shù)

用于創(chuàng)建匿名函數(shù)，即沒有名稱的函數(shù)。它只是一個表達式，函數(shù)體比def簡單很多。當我們需要創(chuàng)建一個函數(shù)來執(zhí)行單個操作并且可以在一行中編寫時，就可以用到匿名函數(shù)了。

Lamdba的主體是一個表達式，而不是一個代碼塊。僅僅能在lambda表達式中封裝有限的邏輯進去。

利用Lamdba函數(shù)，往往可以將代碼簡化許多。

(2)Map函數(shù)

會將一個函數(shù)映射到一個輸入列表的所有元素上，比如我們先創(chuàng)建了一個函數(shù)來返回一個大寫的輸入單詞，然后將此函數(shù)應有到列表colors中的所有元素。

我們還可以使用匿名函數(shù)lamdba來配合map函數(shù)，這樣可以更加精簡。

(3)Reduce函數(shù)

當需要對一個列表進行一些計算并返回結(jié)果時，reduce()是個非常有用的函數(shù)。舉個例子，當需要計算一個整數(shù)列表所有元素的乘積時，即可使用reduce函數(shù)實現(xiàn)。

它與函數(shù)的最大的區(qū)別就是，reduce()里的映射函數(shù)(function)接收兩個參數(shù)，而map接收一個參數(shù)。

(4)enumerate函數(shù)

用于將一個可遍歷的數(shù)據(jù)對象(如列表、元組或字符串)組合為一個索引序列，同時列出數(shù)據(jù)和數(shù)據(jù)下標，一般用在for循環(huán)當中。

它的兩個參數(shù)，一個是序列、迭代器或其他支持迭代對象;另一個是下標起始位置，默認情況從0開始，也可以自定義計數(shù)器的起始編號。

(5)Zip函數(shù)

用于將可迭代的對象作為參數(shù)，將對象中對應的元素打包成一個個元組，然后返回由這些元組組成的列表

當我們使用zip()函數(shù)時，如果各個迭代器的元素個數(shù)不一致，則返回列表長度與最短的對象相同。

python 導入數(shù)據(jù)包的幾種方法

1.直接導入整個數(shù)據(jù)包：improt 數(shù)據(jù)包

2.導入數(shù)據(jù)包中的某一個函數(shù)： from 數(shù)據(jù)包 improt 函數(shù)(當函數(shù)這一項為 * 時為導入整個數(shù)據(jù)包)

3. 導入之定義的數(shù)據(jù)包()

7在python中快速瀏覽數(shù)據(jù)集應該調(diào)用哪個函數(shù)?

pairplot函數(shù)。7在python中快速瀏覽數(shù)據(jù)集調(diào)用pairplot函數(shù)，此函數(shù)使用散點圖和直方圖，還可以在非對角線上繪制回歸圖，在對角線上繪制核密度估計圖。

python怎么從excel中讀取數(shù)據(jù)？

#導入包

import xlrd

#設(shè)置路徑

path='C:\\Users\\jyjh\\Desktop\\datap.xlsx'

#打開文件

data=xlrd.open_workbook(path)

#查詢工作表

sheets=data.sheets()

sheets

可以通過函數(shù)、索引、名稱獲得工作表。

sheet_1_by_function=data.sheets()[0]

sheet_1_by_index=data.sheet_by_index(0)

sheet_1_by_name=data.sheet_by_name(u'Sheet1')

可以通過方法獲得某一列或者某一行的數(shù)值。

sheet_1_by_name.row_values(1)

sheet_1_by_name.col_values(1)

通過工作表的屬性獲得行數(shù)和列數(shù)。

n_of_rows=sheet_1_by_name.nrows

n_of_cols=sheet_1_by_name.ncols

也可以用一個循環(huán)來遍歷一次文件。

for i in range(n_of_rows):

print sheet_1_by_name.row_values(i)

可以通過以下的任意一種方式訪問單元格的數(shù)值。

cell_A1=sheet_1_by_name.cell(0,0).value

cell_A1=sheet_1_by_name.row(0)[0].value

cell_A1=sheet_1_by_name.col(0)[0].value

最后通過以下的方法對單元格的數(shù)值進行修改。

row=0

col=0

#ctype 0:empty,1:string,2:number,3:date,4:boolean,5:error

cell_type=1

value='Hello,Excel'

cell_A1=sheet_1_by_name.cell(0,0).value

format=0

sheet_1_by_name.put_cell(row,col,cell_type,value,format)

cell_A1=sheet_1_by_name.cell(0,0).value

Python[1]? （英國發(fā)音：/?pa?θ?n/ 美國發(fā)音：/?pa?θɑ?n/）, 是一種面向?qū)ο蟮慕忉屝陀嬎銠C程序設(shè)計語言，由荷蘭人Guido van Rossum于1989年發(fā)明，第一個公開發(fā)行版發(fā)行于1991年。

Python是純粹的自由軟件， 源代碼和解釋器CPython遵循 GPL(GNU General Public License)協(xié)議。Python語法簡潔清晰，特色之一是強制用空白符(white space)作為語句縮進。

Python具有豐富和強大的庫。它常被昵稱為膠水語言，能夠把用其他語言制作的各種模塊（尤其是C/C++）很輕松地聯(lián)結(jié)在一起。常見的一種應用情形是，使用Python快速生成程序的原型（有時甚至是程序的最終界面），然后對其中有特別要求的部分，用更合適的語言改寫，比如3D游戲中的圖形渲染模塊，性能要求特別高，就可以用C/C++重寫，而后封裝為Python可以調(diào)用的擴展類庫。需要注意的是在您使用擴展類庫時可能需要考慮平臺問題，某些可能不提供跨平臺的實現(xiàn)。

7月20日，IEEE發(fā)布2017年編程語言排行榜：Python高居首位。

文章標題：python加載數(shù)據(jù)函數(shù),python怎么加載模塊
文章起源：http://jinyejixie.com/article6/hsehig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、定制開發(fā)、定制網(wǎng)站、網(wǎng)站維護、靜態(tài)網(wǎng)站、網(wǎng)站設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)