关于java：使用jsoup从html中获取url

Fetch urls from html with jsoup

我正在尝试使用 jsoup 获取一个 url，以便从该 url 下载一个图像，但由于某种原因它不起作用。

我首先尝试找到”div class=”rg_di””第一次出现在 html 文件中的位置，
而不是获取紧随其后的网址：

a href=“http://www.google.co.il/imgres?imgurl=http://michellepicker.files.wordpress.com/2011/03/grilled-chicken-mexican-style.jpg&imgrefurl=http://michellepicker.wordpress.com/2011/04/25/grilled-chicken-mexican-style-black-beans-guacamole/&h=522&w=700&tbnid=4hXCtCfljxmJXM:&zoom=1&docid=ajIrwZMUrP5_GM&ei=iVOqVPmDDYrnaJzYgIAM&tbm=isch”

这是 html 的 url:

查看来源：https://www.google.co.il/search?q=烤墨西哥鸡

相关讨论

您收到错误 403 吗？
你解决问题了吗？

我编辑了您的代码以消除错误 403

而不是这个：

1	doc = Jsoup.connect(url).get();

写这个：

1	doc = Jsoup.connect(url).userAgent(“Mozilla”).get();

似乎链接是动态生成的。 Jsoup 获取不包含 .rg_di 类的 html，因此

1	doc.select(“div.rg_di”).first();

返回null，我们得到nullpointerexception。

jsoup下载的html片段

1	<img height=“104” src=“https://encrypted-tbn2.gstatic.com/images?q=tbn:ANd9GcT-pctOxpuUcdq118aFU3s2miRfUa6Ev8eF-UsxARHV-vbcOUV8byEtt2YT” width=“140”>

我们能做的最好的就是获取每个 img 标签并遍历它们，我们得到图标链接列表

1
2
3
4
5
6
7
8
9
10
11
12
13
14

Document doc = Jsoup.connect(url).userAgent(“Mozilla”).get();
Elements imgs = doc.select(“img”);
for(Element img : imgs){
String link = img.attr(“src”);
System.out.println(link);
}

/textinputassistant/tia.png
https://encrypted-tbn2.gstatic.com/images?q=tbn:ANd9GcT-pctOxpuUcdq118aFU3s2miRfUa6Ev8eF-UsxARHV-vbcOUV8byEtt2YT
https://encrypted-tbn2.gstatic.com/images?q=tbn:ANd9GcQMq354p43ddqPcpV9-q_05YkmY7XUPgv6Sl2oQLqFxQ5-IkpGAAuFTLMM
https://encrypted-tbn3.gstatic.com/images?q=tbn:ANd9GcTW-RinkkW_fBdlHzTJn6vNmR85TR58geQgfjQnEJmOqzjq0Oi-z-8zXjg
https://encrypted-tbn2.gstatic.com/images?q=tbn:ANd9GcRUXLzKi3UyQ6mF9JD20Z1jYNhVxQz7tkhJIEGOL3kua8ptoQrvo8-Nco_X
https://encrypted-tbn3.gstatic.com/images?q=tbn:ANd9GcTverQlzF_hauCabscWF4wHLb_q7g9M_UDKO6LaldSRHhsTj7CxtVF2yvc
…

解析动态内容有很多解决方案。链接

编辑 1

我实现了 htmlunit 来渲染一个页面

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

import java.io.IOException;
import java.net.MalformedURLException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class Main {
public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException {
String url =“https://www.google.co.il/search?q=grilled+mexican+chicken&es_sm=93&source=lnms&tbm=isch&sa=X&ei=h1OqVOH6B5bjaqGogvAP&ved=0CAgQ_AUoAQ&biw=1920&bih=955”;
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_24); // Chrome not working
HtmlPage page = webClient.getPage(url);
try {
Document doc = Jsoup.parse(page.asXml());
Elements divs = doc.select(“.rg_di”);
for(Element div : divs){
Element img = div.select(“a”).get(0);
String link = img.attr(“href”);
System.out.println(link);
}
} catch (Exception e) {
e.printStackTrace();
}
}
}

htmlunit 有自己的 html 解析 api，但我会坚持使用更直观的 jsoup

编辑 2

只要你的目标是在 Android 设备上渲染和解析 HTML 页面，HTMLUnit 就不是一个好的选择 source

HtmlUnit uses Java classes that are not available on Android.
On top of that, HtmlUnit uses a bunch of other libraries, some of which may have their own dependencies on these libraries. So, as awesome as HmlUnit is, I think getting it to run on Android may not be an easy task.