- 浏览: 95505 次
- 性别:
- 来自: 广州
最新评论
-
dragoo1:
学习了
Oracle 获取本周、本月、本季、本年的第一天和最后一天 -
wilsonchen:
楼主,谢谢分享。请教一个问题,如何做到既分页又排序呢?
java mail(接收邮件)
jsoup下载地址 http://www.jsoup.org
httpclient下载地址 http://hc.apache.org/downloads.cgi
其他jar包见附件
package jsoup; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.util.HashMap; import java.util.Map; import org.apache.commons.io.FileUtils; import org.apache.commons.io.IOUtils; import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import org.apache.http.HttpStatus; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.DefaultHttpClient; import org.apache.http.params.HttpProtocolParams; import org.apache.http.util.EntityUtils; import com.google.api.translate.Language; import com.google.api.translate.Translate; /** * google logo 下载程序 */ public abstract class Crawler { /** * 使用google 翻译api * * @param en * @return */ public String translateEnToCinese(String en) { Translate.setHttpReferrer("http://www.xxx.com"); try { return Translate.execute(en, Language.ENGLISH, Language.CHINESE); } catch (Exception e) { e.printStackTrace(); } return ""; } /** * 获取一个Map * * @return */ public Map<String, Object> getMap() { return new HashMap<String, Object>(0); } /** * 下载文件 * * @param url * 文件http地址 * @param dir * 目标文件 * @throws IOException */ public void downloadFile(String url, String dir) throws Exception { DefaultHttpClient httpClient = new DefaultHttpClient(); HttpProtocolParams.setUserAgent(httpClient.getParams(), "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9"); HttpGet httpGet = new HttpGet(); httpGet.setURI(new java.net.URI(url)); InputStream input = null; FileOutputStream output = null; try { HttpResponse response = httpClient.execute(httpGet); HttpEntity entity = response.getEntity(); input = entity.getContent(); File file = new File(dir); output = FileUtils.openOutputStream(file); IOUtils.copy(input, output); } catch (Exception e){ e.printStackTrace(); } finally { IOUtils.closeQuietly(output); IOUtils.closeQuietly(input); } } /** * 处理GET请求,返回整个页面 * * @param url * 访问地址 * @param params * 编码参数 * @return * @throws Exception */ public synchronized String doGet(String url, String... params) throws Exception { DefaultHttpClient httpClient = new DefaultHttpClient(); // 创建httpClient实例 HttpProtocolParams.setUserAgent(httpClient.getParams(), "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9"); String charset = "UTF-8"; if (null != params && params.length >= 1) { charset = params[0]; } HttpGet httpGet = new HttpGet(); // 创建get方法实例 String content = ""; httpGet.setURI(new java.net.URI(url)); try { HttpResponse response = httpClient.execute(httpGet); // 执行请求,得到response对象 int resStatu = response.getStatusLine().getStatusCode(); // 得到返回的状态码 if (resStatu == HttpStatus.SC_OK) { // 200正常 HttpEntity entity = response.getEntity(); // 获得相应的实体 if (entity != null) { // 使用EntityUtils的toString方法,传递默认编码,在EntityUtils中的默认编码是ISO-8859-1 content = EntityUtils.toString(entity, charset); } } } catch (Exception e) { System.out.println("访问【" + url + "】出现异常!"); e.printStackTrace(); } finally { // 关闭资源 httpGet.abort(); httpClient.getConnectionManager().shutdown(); } return content; } }
package jsoup; import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.Date; import java.util.List; import java.util.Map; import org.apache.commons.io.FileUtils; import org.apache.commons.lang.StringUtils; import org.json.JSONArray; import org.json.JSONObject; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; /** * google logo 下载程序 */ public class GoogleLogoCrawler extends Crawler { private static final String URL = "http://www.logocollect.com/google/year.php?key=%y&page=%p"; private static final String LOGO_URL = "http://www.logocollect.com/google/"; private static final String[] YEARS = new String[] { //"1998", "1999", "2000", //"2001", "2002", "2003", "2004", "2005", "2006", "2007", "2008", "2009", "2010", "2011", "2012" }; private static final String INDEX = "http://www.logocollect.com/google/year.php?key=%y"; private static final String DIR_PATH = "D:\\googlelogos\\"; public void doStart() { JSONArray array = new JSONArray(); for (String year : YEARS) { String ind = INDEX.replaceAll("%y", year); int pageCount = getPageCount(ind); for (int i = 1; i < pageCount+1; i++) { String url = URL.replaceAll("%y", year).replaceAll("%p", i + ""); String path = year + "_" + i; start(url, array, DIR_PATH + path + "\\", path); } } try { FileUtils.writeStringToFile(new File(DIR_PATH + "json"), array.toString(), "UTF-8"); } catch (IOException e) { e.printStackTrace(); } System.out.println(array); } public int getPageCount(String url) { int pageCount = 1; try { org.jsoup.nodes.Document doc = Jsoup.connect(url).get(); String els = doc.html().toString(); int start = els.indexOf("总页数") + 4; String temp = els.substring(start); int end = temp.indexOf(","); pageCount = Integer.parseInt(els.substring(start,start+end)); System.out.println(pageCount); } catch (IOException e) { e.printStackTrace(); } return pageCount; } public void start(String url, JSONArray array, String dir, String path) { try { String content = super.doGet(url); Document doc = Jsoup.parse(content); Elements dds = doc.select(".img img"); List<Map<String, Object>> list = new ArrayList<Map<String, Object>>(0); for (int i = 0; i < dds.size(); i++) { Element img = dds.get(i); String src = img.select("img").first().attr("src"); String title = img.select("img").first().attr("title"); Map<String, Object> map = super.getMap(); map.put("url", LOGO_URL + src); map.put("title", title); list.add(map); } JSONArray tempJsonArray = new JSONArray(); for (Map<String, Object> map : list) { JSONObject jsonObject = new JSONObject(); String proxy = StringUtils.substringAfterLast(map.get("url") .toString(), "."); long date = new Date().getTime(); String name = date + "." + proxy; jsonObject.put("url", map.get("url").toString()); jsonObject.put("dir", name); jsonObject.put("title", map.get("title").toString()); // 翻译 // String dateZh = super.translateEnToCinese(map.get("date") // .toString()); // String titleZh = super.translateEnToCinese(map.get("title") // .toString()); // json.put("title_zh_cn", dateZh + " - " + titleZh); // 下载图片 super.downloadFile(map.get("url").toString(), dir + name); tempJsonArray.put(jsonObject); } array.put(new JSONObject().put(path, tempJsonArray)); } catch (Exception e) { e.printStackTrace(); } } public static void main(String[] args) throws Exception { new GoogleLogoCrawler().doStart(); } }
- other.rar (389.2 KB)
- 下载次数: 140
发表评论
-
jsoup从巨鲸批量下载迈克杰克逊的MP3歌曲
2012-03-21 14:13 1904jsoup下载地址 http://www.jsoup.org ... -
jsoup抓取其他网站的页面代码
2012-03-19 15:29 1679需要的jar包见http://you-java.iteye.c ... -
HttpClient根据jsoup解析网页
2012-03-19 12:30 6407package jsoup; import org ... -
java排序3(插入排序)
2012-03-14 10:36 1132package hello; import jav ... -
java排序2(选择排序)
2012-03-14 10:35 1175package hello; import jav ... -
java排序1(冒泡排序)
2012-03-14 10:19 1186package hello; import jav ... -
java面试题集锦
2012-03-01 16:42 996java面试题集锦 见附件... -
java面向对象笔记
2012-02-19 16:52 1001面向对象总结 面 ...
相关推荐
jsoup分页爬取网页,jsoup分页爬取网页jsoup分页爬取网页内置jsoup所需要的jar包
用jsoup实现爬取一个完整的网站,包含网站里的所有链接内容,会另存为html到本地,js和css文件也会保存到本地,可以直接在本地打开查看一个完整的网站。...提供一个链接和保存爬取后的网页保存位置即可。
主要介绍了Java爬虫Jsoup+httpclient获取动态生成的数据的相关资料,需要的朋友可以参考下
jsoup 数据爬取示例,针对猪易通网站的数据,进行实时爬取,并储存到本地数据库
jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。 1. 从一个URL,文件或字符串中解析HTML; 2. 使用...
NULL 博文链接:https://xdjava.iteye.com/blog/1743031
知网 知网_基于Java+HtmlUtil+jsoup实现爬取知网中国专利数据
利用httpClient+jsoup技术进行网页数据的获取,以网易贵金属为例~
主要介绍了java通过Jsoup爬取网页过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
爬虫的应用爬取数据和存储数据库加下载图片以及日志的优化和日志存储的位置
针对 httpclient4.* 绕验证码获取公司信息 包括 jsoup网页信息的爬虫及htmlUnit对动态网站信息的抓取
本项目是一个基于安卓的简单利用jsoup爬取学校内网数据的教务系统app,设计的部分有:个人信息、课程表、考试时间、考勤信息、成绩查询、奖惩情况、开设课程、晚归违规等部分。主要思路就是利用jsoup爬数据把数据转化...
主要介绍了SpringBoot中使用Jsoup爬取网站数据的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
这些jar包能够快速的实现网页爬虫功能,能够快熟实现模拟浏览器的一些操作。
java课程设计,java jsoup 爬取1688网站信息,详细例子,需要的依赖也有
java爬取网页用到的一些jar 具体的使用方法 看链接
主要为大家详细介绍了jsoup如何爬取图片到本地,jsoup爬取网站信息,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
使用了Jsoup来进行中国天气网站的爬取分析,适合初学者学习。