使用Python構造經驗累積分布函數(shù)（ECDF）

對于一個樣本序列 ，經驗累積分布函數(shù) (Empirical Cumulative Distribution Function)可被定義為

創(chuàng)新互聯(lián)建站主要從事成都網站設計、網站制作、外貿營銷網站建設、網頁設計、企業(yè)做網站、公司建網站等業(yè)務。立足成都服務曲松,10多年網站建設經驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:028-86922220

其中 是一個指示函數(shù)，如果 ，指示函數(shù)取值為1，否則取值為0，因此 能反映在樣本中小于 的元素數(shù)量占比。

根據(jù)格利文科定理（Glivenko–Cantelli Theorem），如果一個樣本滿足獨立同分布(IID)，那么其經驗累積分布函數(shù) 會趨近于真實的累積分布函數(shù) 。

首先定義一個類，命名為ECDF：

我們采用均勻分布（Uniform）進行驗證，導入 uniform 包，然后進行兩輪抽樣，第一輪抽取10次，第二輪抽取1000次，比較輸出的結果。

輸出結果為：

而我們知道，在真實的0到1均勻分布中， 時， ，從模擬結果可以看出，樣本量越大，最終的經驗累積分布函數(shù)值也越接近于真實的累積分布函數(shù)值，因此格利文科定理得以證明。

python:5種正態(tài)性檢驗方法

1.直方圖

由于正態(tài)分布具有非常典型的中間高，兩邊低的圖形特征，如果樣本數(shù)據(jù)并不服從正態(tài)分布，我們可以通過直方圖很快地分辨出來。更進一步地，Python可以輔助生成基于樣本數(shù)據(jù)估計的正態(tài)曲線，這樣就容易輔助我們進行判斷。

圖形觀察雖然直觀，但是部分研究者認為單純觀察圖形過于主觀，因此我們也可以選擇使用統(tǒng)計檢驗的方法去研究數(shù)據(jù)是否服從正態(tài)分布。

操作步驟：

導入相關的包及數(shù)據(jù)

2 P-P圖及Q-Q圖

直方圖是最長用于觀察數(shù)據(jù)分布的常用圖形選項，尤其是帶正態(tài)曲線的直方圖，可以非常直觀地看到實際數(shù)據(jù)分布和正態(tài)曲線的對比，而P-P圖及Q-Q圖則是另一種選擇，它可以直觀給出實際數(shù)據(jù)分布和理論的差距。

值得注意的是，雖然P-P圖及Q-Q圖常用用于判斷數(shù)據(jù)樣本是否服從正態(tài)分布，但實際上它們也能判斷數(shù)據(jù)樣本是否服從其他的分布

P-P圖:反映的是數(shù)據(jù)的實際累積概率與假定所服從分布的理論累積概率的符合程度。在此處，我們所假定的分布就是正態(tài)分布，如果數(shù)據(jù)樣本是服從正態(tài)分布的話，那么實際的累積概率與理論的累積概率應該是相對一致的，放映在圖形中就是數(shù)據(jù)點應該沿著圖形的對角線分布。

Q-Q圖的原理與P-P圖幾乎一致。P-P圖考察的是實際分布與理論分布的累積概率分布差異，而Q-Q圖考察的是實際百分位數(shù)與理論百分位數(shù)的差異。同理在此處，我們所假定的分布就是正態(tài)分布，如果數(shù)據(jù)樣本是服從正態(tài)分布的話，那么實際的分布應該是相對一致的，反映在圖形中就是數(shù)據(jù)點應該沿著圖形的對角線分布。

在Python中，statsmodels包中目前主要提供的是Q-Q圖的繪制

柯爾莫戈洛夫-斯米諾夫檢驗（Kolmogorov-Smirnov test），一般又稱K-S檢驗，是一種基于累計分布函數(shù)的非參數(shù)檢驗，用以檢驗兩個經驗分布是否不同或一個經驗分布與另一個理想分布是否不同。

K-S檢驗的原假設是“樣本數(shù)據(jù)來自的分布與正態(tài)分布無顯著差異”，因此一般來說，KS檢驗最終返回兩個結果，分別是檢驗統(tǒng)計量及P值,檢驗結果P0.05才是我們的目標。

實際上，GraphPad不推薦使用單純的Kolmogorov-Smirnov test方法

夏皮洛-威爾克檢驗（Shapiro—Wilk test），一般又稱W檢驗。W檢驗是一種類似于利用秩進行相關性檢驗的方法。同樣需要注意的是，W檢驗與K-S檢驗一樣，原假設是“樣本數(shù)據(jù)來自的分布與正態(tài)分布無顯著差異”，因此一般來說，W檢驗最終返回兩個結果，分別是檢驗統(tǒng)計量及P值。,檢驗結果P0.05才是我們的目標。

當數(shù)據(jù)集中的數(shù)據(jù)無重復值時，該方法的檢驗效果比較好，但是當數(shù)據(jù)集中有些數(shù)據(jù)不是獨一無二的，即有些數(shù)據(jù)的數(shù)值是相同的，那么該方法的檢驗效果就不是很好

GraphPad官方推薦使用該方法。

首先計算 偏度和峰度以便在不對稱和形狀方面量化分布離高斯分布的距離。然后，其計算這些值中的每一個與高斯分布的預期值之間的差異，并基于這些差異的總和，計算各P值。這是一種通用和強大的正態(tài)性檢驗，推薦使用。請注意，D'Agostino開發(fā)了幾種正態(tài)性檢驗。Prism使用的其中一個是“綜合K2”檢驗。

安德森-達令檢驗樣本數(shù)據(jù)是否來自特定分布，包括分布：'norm', 'expon', 'gumbel', 'extreme1' or 'logistic'.

原假設 H0：樣本服從特定分布； 備擇假設 H1：樣本不服從特定分布

實際上，從已有的文獻表明，對于數(shù)據(jù)分布的正態(tài)性研究，首選方法是圖形觀察，即利用直方圖、P-P圖或Q-Q圖進行觀察，如果分布嚴重偏態(tài)和尖峰分布則建議進行進一步的假設檢驗。如果圖形分布結果不好判斷，則再進行正態(tài)性檢驗。

實際上，從已有的文獻表明，對于數(shù)據(jù)分布的正態(tài)性研究，首選方法是圖形觀察，即利用直方圖、P-P圖或Q-Q圖進行觀察，如果分布嚴重偏態(tài)和尖峰分布則建議進行進一步的假設檢驗。如果圖形分布結果不好判斷，則再進行正態(tài)性檢驗。

其次，對于檢驗方法來說，對于K-S檢驗及W檢驗結果來說，有文獻采用蒙特卡羅模擬方法進行多次驗證，結果表明W檢驗結果相比于大部分方法都有較大的檢驗功效，而K-S方法的檢驗結果相對不佳。并且部分學者認為，K-S檢驗的實用性遠不如圖形工具，因為在樣本量少時，該檢驗不太敏感，但是在樣本量大時，該檢驗卻過于敏感。因此正常情況下，我們更常采用W檢驗的結果。

值得注意的是，雖然說K-S檢驗結果相對不佳，但是不同檢驗方法對于樣本量的敏感度是不一樣的。在樣本量較小的情況下（小于50個樣本的情況下），請優(yōu)先選擇W檢驗；在樣本量50-5000的情況下，可以酌情使用W檢驗及K—S檢驗；在樣本量大于5000的情況下，請使用K-S檢驗結果，尤其是在SPSS中，當樣本量大于5000的情況下，將只顯示K-S檢驗結果，而不顯示W檢驗結果。

統(tǒng)計學入門級：常見概率分布+python繪制分布圖

如果隨機變量X的所有取值都可以逐個列舉出來，則稱X為離散型隨機變量。相應的概率分布有二項分布，泊松分布。

如果隨機變量X的所有取值無法逐個列舉出來，而是取數(shù)軸上某一區(qū)間內的任一點，則稱X為連續(xù)型隨機變量。相應的概率分布有正態(tài)分布，均勻分布，指數(shù)分布，伽馬分布，偏態(tài)分布，卡方分布，beta分布等。(真多分布，好恐怖~~)

在離散型隨機變量X的一切可能值中，各可能值與其對應概率的乘積之和稱為該隨機變量X的期望值，記作E(X) 。比如有隨機變量，取值依次為：2，2，2，4，5。求其平均值：(2+2+2+4+5)/5 = 3。

期望值也就是該隨機變量總體的均值。 推導過程如下：

= (2+2+2+4+5)/5

= 1/5 2 3 + 4/5 + 5/5

= 3/5 2 + 1/5 4 + 1/5 5

= 0.6 2 + 0.2 4 + 0.2 5

= 60% 2 + 20% 4 + 20%*5

= 1.2 + 0.8 + 1

= 3

倒數(shù)第三步可以解釋為值為2的數(shù)字出現(xiàn)的概率為60%，4的概率為20%，5的概率為20%。 所以E(X) = 60% 2 + 20% 4 + 20%*5 = μ = 3。

0-1分布（兩點分布），它的隨機變量的取值為1或0。即離散型隨機變量X的概率分布為：P{X=0} = 1-p, P{X=1} = p，即：

則稱隨機變量X服從參數(shù)為p的0-1分布，記作X~B（1，p)。

在生活中有很多例子服從兩點分布，比如投資是否中標，新生嬰兒是男孩還是女孩，檢查產品是否合格等等。

大家非常熟悉的拋硬幣試驗對應的分布就是二項分布。拋硬幣試驗要么出現(xiàn)正面，要么就是反面，只包含這兩個結果。出現(xiàn)正面的次數(shù)是一個隨機變量，這種隨機變量所服從的概率分布通常稱為 二項分布 。

像拋硬幣這類試驗所具有的共同性質總結如下：（以拋硬幣為例）

通常稱具有上述特征的n次重復獨立試驗為n重伯努利試驗。簡稱伯努利試驗或伯努利試驗概型。特別地，當試驗次數(shù)為1時，二項分布服從0-1分布(兩點分布)。

舉個栗子：拋3次均勻的硬幣，求結果出現(xiàn)有2個正面的概率 。

已知p = 0.5 (出現(xiàn)正面的概率) ，n = 3 ，k = 2

所以拋3次均勻的硬幣，求結果出現(xiàn)有2個正面的概率為3/8。

二項分布的期望值和方差 分別為：

泊松分布是用來描述在一 指定時間范圍內或在指定的面積或體積之內某一事件出現(xiàn)的次數(shù)的分布 。生活中服從泊松分布的例子比如有每天房產中介接待的客戶數(shù)，某微博每月出現(xiàn)服務器癱瘓的次數(shù)等等。 泊松分布的公式為 ：

其中 λ 為給定的時間間隔內事件的平均數(shù)，λ = np。e為一個數(shù)學常數(shù)，一個無限不循環(huán)小數(shù)，其值約為2.71828。

泊松分布的期望值和方差 分別為：

使用Python繪制泊松分布的概率分布圖：

因為連續(xù)型隨機變量可以取某一區(qū)間或整個實數(shù)軸上的任意一個值，所以通常用一個函數(shù)f(x)來表示連續(xù)型隨機變量，而f(x)就稱為 概率密度函數(shù) 。

概率密度函數(shù)f(x)具有如下性質 ：

需要注意的是，f(x)不是一個概率，即f(x) ≠ P(X = x) 。在連續(xù)分布的情況下，隨機變量X在a與b之間的概率可以寫成：

正態(tài)分布（或高斯分布）是連續(xù)型隨機變量的最重要也是最常見的分布，比如學生的考試成績就呈現(xiàn)出正態(tài)分布的特征，大部分成績集中在某個范圍（比如60-80分），很小一部分往兩端傾斜（比如50分以下和90多分以上）。還有人的身高等等。

正態(tài)分布的定義 ：

如果隨機變量X的概率密度為( -∞x+∞)：

則稱X服從正態(tài)分布，記作X~N(μ,σ2)。其中-∞μ+∞，σ0， μ為隨機變量X的均值，σ為隨機變量X的標準差。 正態(tài)分布的分布函數(shù)

正態(tài)分布的圖形特點 ：

使用Python繪制正態(tài)分布的概率分布圖：

正態(tài)分布有一個3σ準則，即數(shù)值分布在(μ-σ,μ+σ)中的概率為0.6827，分布在（μ-2σ,μ+2σ)中的概率為0.9545，分布在(μ-3σ,μ+3σ)中的概率為0.9973，也就是說大部分數(shù)值是分布在(μ-3σ,μ+3σ)區(qū)間內，超出這個范圍的可能性很小很小，僅占不到0.3%，屬于極個別的小概率事件，所以3σ準則可以用來檢測異常值。

當μ=0，σ=1時，有

此時的正態(tài)分布N(0,1) 稱為標準正態(tài)分布。因為μ，σ都是確定的取值，所以其對應的概率密度曲線是一條 形態(tài)固定 的曲線。

對標準正態(tài)分布，通常用φ(x)表示概率密度函數(shù)，用Φ(x)表示分布函數(shù)：

假設有一次物理考試特別難，滿分100分，全班只有大概20個人及格。與此同時語文考試很簡單，全班絕大部分都考了90分以上。小明的物理和語文分別考了60分和80分，他回家后告訴家長，這時家長能僅僅從兩科科目的分值直接判斷出這次小明的語文成績要比物理好很多嗎？如果不能，應該如何判斷呢？此時Z-score就派上用場了。 Z-Score的計算定義 ：

即 將隨機變量X先減去總體樣本均值，再除以總體樣本標準差就得到標準分數(shù)啦。如果X低于平均值，則Z為負數(shù)，反之為正數(shù) 。通過計算標準分數(shù)，可以將任何一個一般的正態(tài)分布轉化為標準正態(tài)分布。

小明家長從老師那得知物理的全班平均成績?yōu)?0分，標準差為10，而語文的平均成績?yōu)?2分，標準差為4。分別計算兩科成績的標準分數(shù)：

物理：標準分數(shù) = (60-40)/10 = 2

語文：標準分數(shù) = (85-95)/4 = -2.5

從計算結果來看，說明這次考試小明的物理成績在全部同學中算是考得很不錯的，而語文考得很差。

指數(shù)分布可能容易和前面的泊松分布混淆，泊松分布強調的是某段時間內隨機事件發(fā)生的次數(shù)的概率分布，而指數(shù)分布說的是 隨機事件發(fā)生的時間間隔 的概率分布。比如一班地鐵進站的間隔時間。如果隨機變量X的概率密度為：

則稱X服從指數(shù)分布，其中的參數(shù)λ0。 對應的分布函數(shù) 為：

均勻分布的期望值和方差 分別為：

使用Python繪制指數(shù)分布的概率分布圖：

均勻分布有兩種，分為 離散型均勻分布和連續(xù)型均勻分布 。其中離散型均勻分布最常見的例子就是拋擲骰子啦。拋擲骰子出現(xiàn)的點數(shù)就是一個離散型隨機變量，點數(shù)可能有1，2，3，4，5，6。每個數(shù)出現(xiàn)的概率都是1/6。

設連續(xù)型隨機變量X具有概率密度函數(shù)：

則稱X服從區(qū)間(a,b)上的均勻分布。X在等長度的子區(qū)間內取值的概率相同。對應的分布函數(shù)為：

f(x)和F(x)的圖形分別如下圖所示：

均勻分布的期望值和方差 分別為：

怎么用python表示出二維高斯分布函數(shù)，mu表示均值，sigma表示協(xié)方差矩陣，x表示數(shù)據(jù)點

clear?

close?all

%%%%%%%%%%%%%%%%%%%%%%%%%生成實驗數(shù)據(jù)集

rand('state',0)

sigma_matrix1=eye(2);

sigma_matrix2=50*eye(2);

u1=[0,0];

u2=[30,30];

m1=100;

m2=300;%樣本數(shù)

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%sm1數(shù)據(jù)集

Y1=multivrandn(u1,m1,sigma_matrix1);

Y2=multivrandn(u2,m2,sigma_matrix2);

scatter(Y1(:,1),Y1(:,2),'bo')

hold?on

scatter(Y2(:,1),Y2(:,2),'r*')

title('SM1數(shù)據(jù)集')

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%sm2數(shù)據(jù)集

u11=[0,0];

u22=[5,5];

u33=[10,10];

u44=[15,15];

m=600;

sigma_matrix3=2*eye(2);

Y11=multivrandn(u11,m,sigma_matrix3);

Y22=multivrandn(u22,m,sigma_matrix3);

Y33=multivrandn(u33,m,sigma_matrix3);

Y44=multivrandn(u44,m,sigma_matrix3);

figure(2)

scatter(Y11(:,1),Y11(:,2),'bo')

hold?on

scatter(Y22(:,1),Y22(:,2),'r*')

scatter(Y33(:,1),Y33(:,2),'go')

scatter(Y44(:,1),Y44(:,2),'c*')

title('SM2數(shù)據(jù)集')

end

function?Y?=?multivrandn(u,m,sigma_matrix)

%%生成指定均值和協(xié)方差矩陣的高斯數(shù)據(jù)

n=length(u);

c?=?chol(sigma_matrix);

X=randn(m,n);

Y=X*c+ones(m,1)*u;

end

當前題目：經驗分布函數(shù)python 經驗分布函數(shù)圖像
鏈接分享：http://jinyejixie.com/article8/hpsoip.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供網站收錄、微信小程序、面包屑導航、響應式網站、商城網站、電子商務

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)