這篇文章主要介紹了Pyspark讀取parquet數(shù)據(jù)過程的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)公司專注于常山企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站建設(shè),商城建設(shè)。常山網(wǎng)站建設(shè)公司,為常山等地區(qū)提供建站服務(wù)。全流程定制網(wǎng)站設(shè)計，專業(yè)設(shè)計，全程項目跟蹤，成都創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)

parquet數(shù)據(jù)：列式存儲結(jié)構(gòu)，由Twitter和Cloudera合作開發(fā)，相比于行式存儲，其特點(diǎn)是：

可以跳過不符合條件的數(shù)據(jù)，只讀取需要的數(shù)據(jù)，降低IO數(shù)據(jù)量；壓縮編碼可以降低磁盤存儲空間，使用更高效的壓縮編碼節(jié)約存儲空間；只讀取需要的列，支持向量運(yùn)算，能夠獲取更好的掃描性能。

那么我們怎么在pyspark中讀取和使用parquet數(shù)據(jù)呢？我以local模式，linux下的pycharm執(zhí)行作說明。

首先，導(dǎo)入庫文件和配置環(huán)境：

import os
from pyspark import SparkContext, SparkConf
from pyspark.sql.session import SparkSession

os.environ["PYSPARK_PYTHON"]="/usr/bin/python3" #多個python版本時需要指定

conf = SparkConf().setAppName('test_parquet')
sc = SparkContext('local', 'test', conf=conf)
spark = SparkSession(sc)

然后，使用spark進(jìn)行讀取，得到DataFrame格式的數(shù)據(jù)：host:port 屬于主機(jī)和端口號

parquetFile = r"hdfs://host:port/Felix_test/test_data.parquet"
df = spark.read.parquet(parquetFile)

而，DataFrame格式數(shù)據(jù)有一些方法可以使用，例如：

1.df.first() ：顯示第一條數(shù)據(jù)，Row格式

print(df.first())

2.df.columns：列名

3.df.count()：數(shù)據(jù)量，數(shù)據(jù)條數(shù)

4.df.toPandas()：從spark的DataFrame格式數(shù)據(jù)轉(zhuǎn)到Pandas數(shù)據(jù)結(jié)構(gòu)

5.df.show()：直接顯示表數(shù)據(jù)；其中df.show(n) 表示只顯示前n行信息

6.type(df)：顯數(shù)據(jù)示格式

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Pyspark讀取parquet數(shù)據(jù)過程的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!

網(wǎng)站題目：Pyspark讀取parquet數(shù)據(jù)過程的示例分析-創(chuàng)新互聯(lián)
網(wǎng)址分享：http://jinyejixie.com/article42/jeehc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、網(wǎng)站排名、云服務(wù)器、建站公司、網(wǎng)站改版、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)