Jsoup解析HTML實例及文檔方法詳解

06-16

解析和遍歷一個HTML文檔

如何解析一個HTML文檔：

複製代碼代碼如下:String html = "<html><head><title>First parse</title></head>" + "<body>Parsed HTML into a doc.</body></html>";Document doc = Jsoup.parse(html);

其解析器能夠盡最大可能從你提供的HTML文檔來創見一個乾淨的解析結果，無論HTML的格式是否完整。比如它可以處理：

1、沒有關閉的標籤 (比如： Lorem Ipsum parses to Lorem Ipsum)2、隱式標籤 (比如. 它可以自動將 <td>Table data</td>包裝成<table><tr><td>?)3、創建可靠的文檔結構（html標籤包含head 和 body，在head只出現恰當的元素）

一個文檔的對象模型

1、文檔由多個Elements和TextNodes組成 (以及其它輔助nodes).2、其繼承結構如下：Document繼承Element繼承Node. TextNode繼承 Node.3、一個Element包含一個子節點集合，並擁有一個父Element。他們還提供了一個唯一的子元素過濾列表。

從一個URL載入一個Document

存在問題你需要從一個網站獲取和解析一個HTML文檔，並查找其中的相關數據。你可以使用下面解決方法：

解決方法使用 Jsoup.connect(String url)方法:

複製代碼代碼如下:Document doc = Jsoup.connect("http://www.jb51.net/").get();String title = doc.title();

說明connect(String url) 方法創建一個新的 Connection, 和 get() 取得和解析一個HTML文件。如果從該URL獲取HTML時發生錯誤，便會拋出 IOException，應適當處理。

Connection 介面還提供一個方法鏈來解決特殊請求，具體如下：

複製代碼代碼如下:Document doc = Jsoup.connect("http://www.jb51.net") .data("query", "Java") .userAgent("Mozilla") .cookie("auth", "token") .timeout(3000) .post();

這個方法只支持Web URLs (http和https 協議); 假如你需要從一個文件載入，可以使用parse(File in, String charsetName) 代替。

從一個文件載入一個文檔

問題在本機硬碟上有一個HTML文件，需要對它進行解析從中抽取數據或進行修改。

辦法可以使用靜態 Jsoup.parse(File in, String charsetName, String baseUri) 方法：

複製代碼代碼如下:File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "UTF-8", "http://www.jb51.net/");

說明parse(File in, String charsetName, String baseUri) 這個方法用來載入和解析一個HTML文件。如在載入文件的時候發生錯誤，將拋出IOException，應作適當處理。baseUri 參數用於解決文件中URLs是相對路徑的問題。如果不需要可以傳入一個空的字元串。另外還有一個方法parse(File in, String charsetName) ，它使用文件的路徑做為 baseUri。這個方法適用於如果被解析文件位於網站的本地文件系統，且相關鏈接也指向該文件系統。

使用DOM方法來遍歷一個文檔

問題你有一個HTML文檔要從中提取數據，並了解這個HTML文檔的結構。

方法將HTML解析成一個Document之後，就可以使用類似於DOM的方法進行操作。示例代碼：

複製代碼代碼如下:File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "UTF-8", "http://www.jb51.net/");

Element content = doc.getElementById("content");Elements links = content.getElementsByTag("a");for (Element link : links) { String linkHref = link.attr("href"); String linkText = link.text();}

說明Elements這個對象提供了一系列類似於DOM的方法來查找元素，抽取並處理其中的數據。具體如下：查找元素getElementById(String id)getElementsByTag(String tag)getElementsByClass(String className)getElementsByAttribute(String key) (and related methods)Element siblings: siblingElements(), firstElementSibling(), lastElementSibling();nextElementSibling(), previousElementSibling()Graph: parent(), children(), child(int index)

元素數據attr(String key)獲取屬性attr(String key, String value)設置屬性attributes()獲取所有屬性id(), className() and classNames()text()獲取文本內容text(String value) 設置文本內容html()獲取元素內HTMLhtml(String value)設置元素內的HTML內容outerHtml()獲取元素外HTML內容data()獲取數據內容（例如：script和style標籤)tag() and tagName()

操作HTML和文本append(String html), prepend(String html)appendText(String text), prependText(String text)appendElement(String tagName), prependElement(String tagName)html(String value)

使用選擇器語法來查找元素問題你想使用類似於CSS或jQuery的語法來查找和操作元素。

方法可以使用Element.select(String selector) 和 Elements.select(String selector) 方法實現：

複製代碼代碼如下:File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "UTF-8", "http://www.jb51.net./");

Elements links = doc.select("a[href]"); //帶有href屬性的a元素Elements pngs = doc.select("img[src$=.png]"); //擴展名為.png的圖片

Element masthead = doc.select("div.masthead").first(); //class等於masthead的div標籤

Elements resultLinks = doc.select("h3.r > a"); //在h3元素之後的a元素

說明jsoup elements對象支持類似於CSS (或jquery)的選擇器語法，來實現非常強大和靈活的查找功能。.這個select 方法在Document, Element,或Elements對象中都可以使用。且是上下文相關的，因此可實現指定元素的過濾，或者鏈式選擇訪問。Select方法將返回一個Elements集合，並提供一組方法來抽取和處理結果。

Selector選擇器概述tagname: 通過標籤查找元素，比如：ans|tag: 通過標籤在命名空間查找元素，比如：可以用 fb|name 語法來查找 <fb:name> 元素#id: 通過ID查找元素，比如：#logo.class: 通過class名稱查找元素，比如：.masthead[attribute]: 利用屬性查找元素，比如：[href][^attr]: 利用屬性名前綴來查找元素，比如：可以用[^data-] 來查找帶有HTML5 Dataset屬性的元素[attr=value]: 利用屬性值來查找元素，比如：[width_=500][attr^=value], [attr$=value], [attr*=value]: 利用匹配屬性值開頭、結尾或包含屬性值來查找元素，比如：[href*=/path/][attr~=regex]: 利用屬性值匹配正則表達式來查找元素，比如： img[src~=(?i).(png|jpe?g)]*: 這個符號將匹配所有元素

Selector選擇器組合使用el#id: 元素+ID，比如： div#logoel.class: 元素+class，比如： div.mastheadel[attr]: 元素+class，比如： a[href]任意組合，比如：a[href].highlightancestor child: 查找某個元素下子元素，比如：可以用.body p 查找在"body"元素下的所有p元素parent > child: 查找某個父元素下的直接子元素，比如：可以用div.content > p 查找 p 元素，也可以用body > * 查找body標籤下所有直接子元素siblingA + siblingB: 查找在A元素之前第一個同級元素B，比如：div.head + divsiblingA ~ siblingX: 查找A元素之前的同級X元素，比如：h1 ~ pel, el, el:多個選擇器組合，查找匹配任一選擇器的唯一元素，例如：div.masthead, div.logo

偽選擇器selectors:lt(n): 查找哪些元素的同級索引值（它的位置在DOM樹中是相對於它的父節點）小於n，比如：td:lt(3) 表示小於三列的元素:gt(n):查找哪些元素的同級索引值大於n，比如： div p:gt(2)表示哪些div中有包含2個以上的p元素:eq(n): 查找哪些元素的同級索引值與n相等，比如：form input:eq(1)表示包含一個input標籤的Form元素:has(seletor): 查找匹配選擇器包含元素的元素，比如：div:has(p)表示哪些div包含了p元素:not(selector): 查找與選擇器不匹配的元素，比如： div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表:contains(text): 查找包含給定文本的元素，搜索不區分大不寫，比如： p:contains(jsoup):containsOwn(text): 查找直接包含給定文本的元素:matches(regex): 查找哪些元素的文本匹配指定的正則表達式，比如：div:matches((?i)login):matchesOwn(regex): 查找自身包含文本匹配指定正則表達式的元素注意：上述偽選擇器索引是從0開始的，也就是說第一個元素索引值為0，第二個元素index為1等可以查看Selector API參考來了解更詳細的內容

從元素抽取屬性，文本和HTML

問題在解析獲得一個Document實例對象，並查找到一些元素之後，你希望取得在這些元素中的數據。

方法要取得一個屬性的值，可以使用Node.attr(String key) 方法對於一個元素中的文本，可以使用Element.text()方法對於要取得元素或屬性中的HTML內容，可以使用Element.html(), 或 Node.outerHtml()方法示例：

複製代碼代碼如下:String html = "An <a href="http://www.jb51.net/">www.jb51.net</a> link.";Document doc = Jsoup.parse(html);//解析HTML字元串返回一個Document實現Element link = doc.select("a").first();//查找第一個a元素

String text = doc.body().text(); // "An www.jb51.net link"//取得字元串中的文本String linkHref = link.attr("href"); // "http://www.jb51.net/"//取得鏈接地址String linkText = link.text(); // "www.jb51.net""//取得鏈接地址中的文本

String linkOuterH = link.outerHtml(); // "<a href="http://www.jb51.net">www.jb51.net</a>"String linkInnerH = link.html(); // "www.jb51.net"//取得鏈接內的html內容

說明上述方法是元素數據訪問的核心辦法。此外還其它一些方法可以使用：

Element.id()Element.tagName()Element.className() and Element.hasClass(String className)這些訪問器方法都有相應的setter方法來更改數據.

示常式序: 獲取所有鏈接這個示常式序將展示如何從一個URL獲得一個頁面。然後提取頁面中的所有鏈接、圖片和其它輔助內容。並檢查URLs和文本信息。運行下面程序需要指定一個URLs作為參數

複製代碼代碼如下:package org.jsoup.www.jb51.nets;

import org.jsoup.Jsoup;import org.jsoup.helper.Validate;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;

import java.io.IOException;

/*** www.jb51.net program to list links from a URL.*/public class ListLinks { public static void main(String[] args) throws IOException { Validate.isTrue(args.length == 1, "usage: supply url to fetch"); String url = args[0]; print("Fetching %s...", url);

Document doc = Jsoup.connect(url).get(); Elements links = doc.select("a[href]"); Elements media = doc.select("[src]"); Elements imports = doc.select("link[href]");

print("
Media: (%d)", media.size()); for (Element src : media) { if (src.tagName().equals("img")) print(" * %s: <%s> %sx%s (%s)", src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"), trim(src.attr("alt"), 20)); else print(" * %s: <%s>", src.tagName(), src.attr("abs:src")); }

print("
Imports: (%d)", imports.size()); for (Element link : imports) { print(" * %s <%s> (%s)", link.tagName(),link.attr("abs:href"), link.attr("rel")); }

print("
Links: (%d)", links.size()); for (Element link : links) { print(" * a: <%s> (%s)", link.attr("abs:href"), trim(link.text(), 35)); } }

private static void print(String msg, Object... args) { System.out.println(String.format(msg, args)); }

private static String trim(String s, int width) { if (s.length() > width) return s.substring(0, width-1) + "."; else return s; }}org/jsoup/www.jb51.nets/ListLinks.java