HtmlCleaner是使用Java编写的HTML解析开源组件。网络上的HTML一般是比较杂乱的,难以进一步处理,需要大量的时间去剔除无效的内容,按照顺序整理tag,attribute等。HtmlCleaner能够将任意的HTML格式化为XML。HtmlCleaner会同浏览器一样默认的创建DOM(Document Object Model)。不论怎样,都需要自定义tag筛选策略和调整方式。
HtmlCleaner可以配置相应的参数(http://htmlcleaner.sourceforge.net/parameters.php),可以在在Java代码中定义,如:
HtmlCleaner cleaner = new HtmlCleaner( new ConfigFileTagProvider(myConfigFile) );
也可以在命令行中定义,如:
java -jar htmlcleanerXX.jar [src = <url | file>] [incharset = <charset>] [dest = <file>] [outcharset = <charset>] [taginfofile = <file>] [options...]
可以通过http://htmlcleaner.sourceforge.net/javause.php,查看基本的用法。
既然HtmlCleaner在内部将HTML组织成XML,那么使用XPath也是理所当然的。作为例子,抓取“豆瓣电影TOP250”
package org.htmlcleaner; import java.net.URL; import java.util.ArrayList; import java.util.List; /** * @author Reymont.Li * @DateTime 2015年8月17日 下午6:36:26 */ public class DoubanTest { // http://movie.douban.com/top250 // http://movie.douban.com/top250?start=200&filter=&type= // http://movie.douban.com/top250?start=225&filter=&type= public static void main(String[] args) throws Exception { HtmlCleaner cleaner = new HtmlCleaner(); String urlAddr = "http://movie.douban.com/top250"; List<String> names = new ArrayList<String>(); List<String> stars = new ArrayList<String>(); List<String> remarks = new ArrayList<String>(); for (int i = 0; i <= 10; i++) { TagNode root = cleaner.clean(new URL(urlAddr + "?start=" + i * 25)); Object[] nameArray = root.evaluateXPath("//div[@class='info']//a/span[1]"); for (Object nameNode : nameArray) { String name = nameNode instanceof TagNode ? ((TagNode) nameNode).getText().toString() : nameNode.toString(); names.add(name.trim()); } Object[] starArray = root.evaluateXPath("//div[@class='info']//em"); for (Object starNode : starArray) { String star = starNode instanceof TagNode ? ((TagNode) starNode).getText().toString() : starNode.toString(); stars.add(star.trim()); } Object[] remarkArray = root.evaluateXPath("//div[@class='info']//div[@class='star']/span[2]"); for (Object remarkNode : remarkArray) { String remark = remarkNode instanceof TagNode ? ((TagNode) remarkNode).getText().toString() : remarkNode.toString(); remarks.add(remark.trim()); } } for (int i = 0; i < names.size(); i++) { System.out.println( (i + 1) + "\t name:" + names.get(i) + "\t\t star:" + stars.get(i) + "\t remark:" + remarks.get(i)); } } }
参考:
HtmlCleaner Project Home Page
http://htmlcleaner.sourceforge.net/javause.php
htmlcleaner使用及xpath语法初探 - reesun的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/reesun/article/details/8021201
Java - XPath解析爬取内容 - 推酷
http://www.tuicool.com/articles/Uzmmue
Java 语言的 XPath API
http://www.ibm.com/developerworks/cn/xml/x-javaxpathapi.html
相关推荐
XPath 表达式比繁琐的文档对象模型(DOM)导航代码要容易编写得多。如果需要从 XML 文档中提取信息,最快捷、最简单的办法就是在 Java:trade_mark: 程序中嵌入 XPath 表达式。Java 5 推出了 javax.xml.xpath 包,这...
XPath即为XML路径语言,它是一种用来确定XML(标准通用标记语言的子集)文档中某部分位置的语言。
xPath的API.
XPath 表达式比繁琐的文档对象模型(DOM)导航代码要容易编写得多。如果需要从 XML 文档中提取信息,最快捷、最简单的办法就是在 Java™ 程序中嵌入 XPath 表达式。Java 5 推出了 javax.xml.xpath 包,这是一个用于 ...
XPATH开发帮助文档,WORD文档。 包含完整的XPATH相关信息,每项技术都有相关实例。
xpath的使用方法
HtmlCleaner是一个开源的Java语言的Html文档解析器。HtmlCleaner能够重新整理HTML文档的每个元素并生成结构良好(Well-Formed)的 HTML 文档
归纳整理的xpath使用手册,在自动化工作中,xpath使用很频繁。
XCat是一个命令行程序,用于辅助XPath注入漏洞的利用。XCat使用Python编写并开放源代码。XCat正常使用需要python的SimpleXMLWriter模块。 标签:XPath
里面有:火狐老版本的浏览器,xpath插件(适用于火狐),适合xpath爬虫的
现在常用的网页解析工具有:Jsoup,JsoupXpath,HtmlCleaner。 jsoup 是一款Java 的XML、HTML解析器,可直接解析某个URL地址、HTML文本内容和已经存在的文件。 JsoupXPath是基于Jsoup的拓展,使用路径的形式解析XML...
XPath诞生于1999年,作为对XSLT和XPointer语言的补充,但近来已成为流行的独立语言,因为单个XPath表达式可用于替代多行DOM API代码。 使用XPath的目的:为了在匹配XML文档结构时能够准确地找到某一个节点元素。...
介绍XSL语法中Xpath的使用方法
Xpath生成器,自动生成可用的Xpath
同时还提供了IBM等大公司都在使用的xpath操作选择路径的观察器及验证器,该观察器及验证器功能很强大,你只要输入xpath查找路径,验证器会校验语法是否正确,同时会以鲜艳标志显示出xpath所需查找的路径节点。...
虽然还是候选推荐标准,但 XPath 2.0 即将得到正式批准。这是 1999 年以来对 XPath 推荐标准的第一次修订,市场对此抱有很大期望,事实上一些工具已经开始实现最新的草案。这些修改是根本性的,我预料到时候人们也许...
XPath Helper可以支持在网页点击元素生成xpath,整个抓取使用了xpath、正则表达式、消息中间件、多线程调度框架的chrome插件。
xpath定位页面结点,轻松使用xpath来查找页面结点,使测试更简单,特别是集成selenium测试工具的使用,非常好用。
整理JsoupXpath( https://github.com/zhegexiaohuozi/JsoupXpath)是一款纯Java开发的使用xpath解析提取html内容的解析器,xpath语法分析与执行完全独立,html的DOM树生成借助Jsoup,故命名为JsoupXpath. 为了在java...
Selenium xpath,