年前走查腳本代碼時,發(fā)現(xiàn)大家對selenium功能都在重復(fù)造輪子,而且容易出現(xiàn)一些常見低級bug。于是在閑暇之余,封裝一些常用的selenium功能。
成都創(chuàng)新互聯(lián)公司的客戶來自各行各業(yè),為了共同目標(biāo),我們在工作上密切配合,從創(chuàng)業(yè)型小企業(yè)到企事業(yè)單位,感謝他們對我們的要求,感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn),讓我們激情的團(tuán)隊有機(jī)會用頭腦與智慧不斷的給客戶帶來驚喜。專業(yè)領(lǐng)域包括成都做網(wǎng)站、成都網(wǎng)站設(shè)計、電商網(wǎng)站開發(fā)、微信營銷、系統(tǒng)平臺開發(fā)。
在某些網(wǎng)頁中,存在多個frame嵌套。而selenium提供的find_element函數(shù)只能在當(dāng)前frame中查找,不能切換到其他frame中,需要從最上級frame中逐步切換(當(dāng)然也可以指定xpath的絕對路徑,但是一般沒人這么做)。在我們寫代碼過程中,需要明確知道當(dāng)前frame位置和需要尋找元素的frame位置。在frame切換過程中,容易因為疏忽導(dǎo)致frame切換錯誤導(dǎo)致元素?zé)o法找到的bug。
頁面中分布的frame,可以理解為樹狀結(jié)構(gòu)。因此我們可以采用遞歸的方式, 沿著某條搜索路線frame節(jié)點,依次對樹中每個節(jié)點均做一次訪問。
我們以163網(wǎng)址上的登錄框為例:點擊登錄按鈕,彈出登錄iframe頁面。輸入框位置在iframe中,因此我們不能使用xpath獲取元素位置,需要進(jìn)入iframe中,然后獲取元素。
手動切換ifame可能會產(chǎn)生bug,因此需要一套自動切換和檢索frame的機(jī)制。具體代碼如下:
需要注意的是:如果頁面中多個frame中,存在相同的xpath元素。還是需要指定frame的路徑,否則會返回搜索到的第一個元素。
強(qiáng)制等待
直接調(diào)用系統(tǒng)time.sleep函數(shù),不管頁面加載情況一定會等待指定的時間, 即使元素已被加載 。
1.如果設(shè)置的時間較長,會浪費時間
2.如果設(shè)置的時間較短,元素可能沒有加載。
頁面中某元素如果未能立即加載,隱式等待告訴WebDriver需等待一定的時間,然后去查找元素。默認(rèn)不等待,隱式等待作用于整個WebDriver周期,只需設(shè)置一次即可。
1.在上文的find_element函數(shù)中,采用遞歸方式在所有frame尋找元素。若采用隱式等待,則在每個frame中都需要等待設(shè)定的時間,耗時非常長。
2.某些頁面我們想要的元素已經(jīng)加載完畢,但是部分其他資源未加載。隱式等待必須等待所有元素加載完畢,增加額外等待時間。
顯示等待一般作用于某一個元素,在設(shè)定的時間范圍內(nèi),默認(rèn)每間隔0.5秒查找元素。返回被加載的元素,若超過設(shè)定的時間范圍未能查找則報錯。顯示等待作為selenium常用的等待機(jī)制,我們來看下他的源碼和機(jī)制。
driver 注釋中解釋為WebDriver實例,但是代碼中并未有相關(guān)檢測,因此可以傳入任何對象
但是__repr__函數(shù)中使用到session_id屬性,如果需要顯示屬性或者轉(zhuǎn)為str對象,最好在driver對象中添加session_id屬性
在until函數(shù)中,我們可以看到driver對象傳入method函數(shù)。在計時結(jié)束前,在不斷循環(huán)執(zhí)行method函數(shù),如果method函數(shù)有正常返回值則退出循環(huán),否則報TimeoutException錯誤。
可以采用裝飾器對隱式等待進(jìn)行封裝,這樣代碼更加精簡
同樣的,采用裝飾器對其他常用的函數(shù)進(jìn)行封裝,例如強(qiáng)制等待、點擊、輸入文本等。
裝飾器雖然很方便,但也會產(chǎn)生一些麻煩。例如在find_element函數(shù)遞歸調(diào)用過程中,理應(yīng)只要執(zhí)行一次裝飾器函數(shù)。但因為裝飾器已經(jīng)裝飾完畢,導(dǎo)致每次遞歸都會執(zhí)行。例如強(qiáng)制等待的sleep函數(shù),如果遞歸次數(shù)越多等待時間越長。
解除裝飾器一般有兩種做法:一是約定參數(shù),當(dāng)遞歸第二次調(diào)用時則不生效。例如
這種方式實現(xiàn)簡單,容易理解。但是增加了參數(shù)限制,在fun函數(shù)中就不能使用first_sleep參數(shù)。
二是采用裝飾器采用wrapped實現(xiàn),通過訪問wrapped屬性獲得原始函數(shù)。例如
但是某一個函數(shù)被多個裝飾器裝飾時,需要遞歸解除裝飾器。例如
最后整體代碼如下
這次的封裝其實還存在很多問題
1.find_element函數(shù)不僅僅只是提供查找元素功能,還提供一些其他功能,因此叫element_operation更為合適。
2.find_element函數(shù)的參數(shù)過多,并且很多參數(shù)的使用并不在函數(shù)本身中,對代碼閱讀很不友好。
3.得小心避免參數(shù)重復(fù)問題,假設(shè)裝飾器sleep和裝飾器wait_time都使用time這個參數(shù),將無法區(qū)分具體是哪個函數(shù)使用。
4.不利于擴(kuò)展和維護(hù),當(dāng)功能過多時find_element的參數(shù)過于龐大。
如果只是簡單地封裝和使用,上面這種方式也能達(dá)到較好的效果。如果想進(jìn)一步封裝,建議采用鏈?zhǔn)秸{(diào)用方式,裝飾器輔助封裝。例如
這樣函數(shù)的擴(kuò)展性和可閱讀性有較大的提升
python常見的內(nèi)置函數(shù)有:
1. abs()函數(shù)返回數(shù)字的絕對值。
2. all() 函數(shù)用于判斷給定的參數(shù)中的所有元素是否都為 TRUE,如果是返回 True,否則返回 False。元素除了是 0、空、None、False 外都算 True;空元組、空列表返回值為True。
3. any() 函數(shù)用于判斷給定的參數(shù)是否全部為False,是則返回False,如果有一個為True,則返回True。 元素除了是 0、空、False外都算 TRUE。
4. bin()函數(shù)返回一個整數(shù)int或者長整數(shù)long int的二進(jìn)制表示。
5. bool() 函數(shù)用于將給定參數(shù)轉(zhuǎn)換為布爾類型,如果參數(shù)不為空或不為0,返回True;參數(shù)為0或沒有參數(shù),返回False。
6. bytearray()方法返回一個新字節(jié)數(shù)組。這個數(shù)組里的元素是可變的,并且每個元素的值范圍: 0 = x 256(即0-255)。即bytearray()是可修改的二進(jìn)制字節(jié)格式。
7. callable()函數(shù)用于檢查一個對象是否可調(diào)用的。對于函數(shù)、方法、lambda函式、類以及實現(xiàn)了 __call__ 方法的類實例, 它都返回 True。(可以加括號的都可以調(diào)用)
8. chr()函數(shù)用一個范圍在range(256)內(nèi)(即0~255)的整數(shù)作參數(shù),返回一個對應(yīng)的ASCII數(shù)值。
9. dict()函數(shù)用來將元組/列表轉(zhuǎn)換為字典格式。
10. dir()函數(shù)不帶參數(shù)時,返回當(dāng)前范圍內(nèi)的變量、方法和定義的類型列表;帶參數(shù)時,返回參數(shù)的屬性、方法列表。
擴(kuò)展資料:
如何查看python3.6的內(nèi)置函數(shù)?
1、首先先打開python自帶的集成開發(fā)環(huán)境IDLE;
2、然后我們直接輸入"dir(__builtins__)",需要注意的是builtins左右的下劃線都是兩個;
3、回車之后我們就可以看到python所有的內(nèi)置函數(shù);
4、接下來我們學(xué)習(xí)第二種查看python內(nèi)置函數(shù)的方法,我們直接在IDLE中輸入"import builtins",然后輸入"dir(builtins)";
5、然后回車,同樣的這個方法也可以得到所有的python內(nèi)置的函數(shù);
6、這里我們可以使用python內(nèi)置函數(shù)len()來查看python內(nèi)置函數(shù)的個數(shù),這里我們直接輸入"len(dir(builtins))";
7、回車之后我們可以看到系統(tǒng)返回值153,說明我們現(xiàn)在這個版本中有153個內(nèi)置函數(shù);
8、最后我們介紹一個比較有用的內(nèi)置函數(shù)"help",python內(nèi)置函數(shù)有一百多個,我們當(dāng)然不能記住所有的函數(shù),這里python提供了一個"help"函數(shù),我們來看一個例子一起來體會一下help函數(shù)的用法,這里我們直接輸入"help(len)",然后回車,會看到系統(tǒng)給我們對于內(nèi)置函數(shù)"len"的解釋,當(dāng)然對于其他函數(shù)可能會有更加詳細(xì)的解釋以及用法提示。
答: 如下所示。
可利用opencv-Python接口,使用imread()函數(shù),那么導(dǎo)入名為example的圖片的例子如下所示。
import cv2
image = cv2.imread('./example.png')
也可以使用matplotlib.pyplot中的pyplot模塊,具體例子如下所示。
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import numpy as np
image = mpimg.imread('./example.png')
print image.shape
plt.imshow(image) #調(diào)用imshow函數(shù)
在這里只是說了兩種方法,希望能夠幫助到你。
def load_data()括號里應(yīng)該寫形參的名字,比如def load_data(filePath);
load_data函數(shù)內(nèi)的open的參數(shù)也應(yīng)該是open(filePath,encoding="UTF-8")
dataset=load_data()括號中寫需要解析的文件路徑
dir()
不加任何參數(shù),便可查看命名空間內(nèi)所有的變量名、函數(shù)名以及導(dǎo)入的模塊的名稱
返回的是一個列表
網(wǎng)頁名稱:python加載函數(shù) python數(shù)據(jù)加載
地址分享:http://jinyejixie.com/article4/doohjoe.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供搜索引擎優(yōu)化、自適應(yīng)網(wǎng)站、品牌網(wǎng)站建設(shè)、企業(yè)建站、服務(wù)器托管、做網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)