成人午夜视频全免费观看高清-秋霞福利视频一区二区三区-国产精品久久久久电影小说-亚洲不卡区三一区三区一区

java使用url如何實現(xiàn)爬取網(wǎng)頁中的內(nèi)容

這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)java使用url如何實現(xiàn)爬取網(wǎng)頁中的內(nèi)容,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。

成都創(chuàng)新互聯(lián)公司科技有限公司專業(yè)互聯(lián)網(wǎng)基礎(chǔ)服務(wù)商,為您提供德陽電信服務(wù)器托管高防服務(wù)器租用,成都IDC機房托管,成都主機托管等互聯(lián)網(wǎng)服務(wù)。

運行效果:

java使用url如何實現(xiàn)爬取網(wǎng)頁中的內(nèi)容

首先打開百度百科,搜索詞條,比如“演員”,再按F12查看源碼

java使用url如何實現(xiàn)爬取網(wǎng)頁中的內(nèi)容

然后抓取你想要的標(biāo)簽,注入LinkedHashMap里面就ok了,很簡單是吧!看看代碼羅

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.*;
/**
 * Created by chunmiao on 17-3-10.
 */
public class ReadBaiduSearch {
 //儲存返回結(jié)果
 private LinkedHashMap<String,String> mapOfBaike;
 //獲取搜索信息
 public LinkedHashMap<String,String> getInfomationOfBaike(String infomationWords) throws IOException {
  mapOfBaike = getResult(infomationWords);
  return mapOfBaike;
 }
 //通過網(wǎng)絡(luò)鏈接獲取信息
 private static LinkedHashMap<String, String> getResult(String keywords) throws IOException {
  //搜索的url
  String keyUrl = "http://baike.baidu.com/search&#63;word=" + keywords;
  //搜索詞條的節(jié)點
  String startNode = "<dl class=\"search-list\">";
  //詞條的鏈接關(guān)鍵字
  String keyOfHref = "href=\"";
  //詞條的標(biāo)題關(guān)鍵字
  String keyOfTitle = "target=\"_blank\">";
  String endNode = "</dl>";
  boolean isNode = false;
  String title;
  String href;
  String rLine;
  LinkedHashMap<String,String> keyMap = new LinkedHashMap<String,String>();
  //開始網(wǎng)絡(luò)請求
  URL url = new URL(keyUrl);
  HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();
  InputStreamReader inputStreamReader = new InputStreamReader(urlConnection.getInputStream(),"utf-8");
  BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
  //讀取網(wǎng)頁內(nèi)容
  while ((rLine = bufferedReader.readLine()) != null){
   //判斷目標(biāo)節(jié)點是否出現(xiàn)
   if(rLine.contains(startNode)){
    isNode = true;
   }
   //若目標(biāo)節(jié)點出現(xiàn),則開始抓取數(shù)據(jù)
   if (isNode){
    //若目標(biāo)結(jié)束節(jié)點出現(xiàn),則結(jié)束讀取,節(jié)省讀取時間
    if (rLine.contains(endNode)) {
     //關(guān)閉讀取流
     bufferedReader.close();
     inputStreamReader.close();
     break;
    }
    //若值為空則不讀取
    if (((title = getName(rLine,keyOfTitle)) != "") && ((href = getHref(rLine,keyOfHref)) != "")){
     keyMap.put(title,href);
    }
   }
  }
  return keyMap;
 }
 //獲取詞條對應(yīng)的url
 private static String getHref(String rLine,String keyOfHref){
  String baikeUrl = "http://baike.baidu.com";
  String result = "";
  if(rLine.contains(keyOfHref)){
   //獲取url
   for (int j = rLine.indexOf(keyOfHref) + keyOfHref.length();j < rLine.length()&&(rLine.charAt(j) != '\"');j ++){
    result += rLine.charAt(j);
   }
   //獲取的url中可能不含baikeUrl,如果沒有則在頭部添加一個
   if(!result.contains(baikeUrl)){
    result = baikeUrl + result;
   }
  }
  return result;
 }
 //獲取詞條對應(yīng)的名稱
 private static String getName(String rLine,String keyOfTitle){
  String result = "";
  //獲取標(biāo)題內(nèi)容
  if(rLine.contains(keyOfTitle)){
   result = rLine.substring(rLine.indexOf(keyOfTitle) + keyOfTitle.length(),rLine.length());
   //將標(biāo)題中的內(nèi)容含有的標(biāo)簽去掉
   result = result.replaceAll("<em>|</em>|</a>|<a>","");
  }
  return result;
 }
}

上述就是小編為大家分享的java使用url如何實現(xiàn)爬取網(wǎng)頁中的內(nèi)容了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關(guān)知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前標(biāo)題:java使用url如何實現(xiàn)爬取網(wǎng)頁中的內(nèi)容
文章網(wǎng)址:http://jinyejixie.com/article18/gcecdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站排名、網(wǎng)頁設(shè)計公司、域名注冊虛擬主機、外貿(mào)網(wǎng)站建設(shè)靜態(tài)網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站制作
泊头市| 马尔康县| 南阳市| 仪陇县| 米脂县| 百色市| 且末县| 海晏县| 诸暨市| 新干县| 星座| 额尔古纳市| 永胜县| 沧州市| 佳木斯市| 永登县| 双柏县| 云梦县| 当阳市| 肥城市| 通化市| 平乡县| 那曲县| 马鞍山市| 湛江市| 凉城县| 凉城县| 财经| 威远县| 嘉善县| 巩留县| 开平市| 肥乡县| 滨州市| 东乡族自治县| 周宁县| 油尖旺区| 新龙县| 若羌县| 集贤县| 分宜县|