package com.xiaofeng.picup;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/** *//**
*
* @author 晓峰2007.1.18 抓取雅虎知识堂的文章标题及内容(测试) 手动输入网址抓取,可进一步自动抓取整个知识堂的全部内容
*
*/
public class WebContent ...{
/** *//**
* 读取一个网页全部内容
*/
public String getOneHtml(String htmlurl) throws IOException...{
URL url;
String temp;
StringBuffer sb = new StringBuffer();
try ...{
url = new URL(htmlurl);
BufferedReader in = new BufferedReader(new InputStreamReader(url
.openStream(), "utf-8"));// 读取网页全部内容
while ((temp = in.readLine()) != null) ...{
sb.append(temp);
}
in.close();
}catch(MalformedURLException me)...{
System.out.println("你输入的URL格式有问题!请仔细输入");
me.getMessage();
throw me;
}catch (IOException e) ...{
e.printStackTrace();
throw e;
}
return sb.toString();
}
/** *//**
*
* @param s
* @return 获得网页标题
*/
public String getTitle(String s) ...{
String regex;
String title = "";
List<String> list = new ArrayList<String>();
regex = "<title>.*?</title>";
Pattern pa = Pattern.compile(regex, Pattern.CANON_EQ);
Matcher ma = pa.matcher(s);
while (ma.find()) ...{
list.add(ma.group());
}
for (int i = 0; i < list.size(); i++) ...{
title = title + list.get(i);
}
return outTag(title);
}
/** *//**
*
* @param s
* @return 获得链接
*/
public List<String> getLink(String s) ...{
String regex;
List<String> list = new ArrayList<String>();
regex = "<a[^>]*href=("([^"]*)"|'([^']*)'|([^\s>]*))[^>]*>(.*?)</a>";
Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
Matcher ma = pa.matcher(s);
while (ma.find()) ...{
list.add(ma.group());
}
return list;
}
/** *//**
*
* @param s
* @return 获得脚本代码
*/
public List<String> getScript(String s) ...{
String regex;
List<String> list = new ArrayList<String>();
regex = "<script.*?</script>";
Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
Matcher ma = pa.matcher(s);
while (ma.find()) ...{
list.add(ma.group());
}
return list;
}
/** *//**
*
* @param s
* @return 获得CSS
*/
public List<String> getCSS(String s) ...{
String regex;
List<String> list = new ArrayList<String>();
regex = "<style.*?</style>";
Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
Matcher ma = pa.matcher(s);
while (ma.find()) ...{
list.add(ma.group());
}
return list;
}
/** *//**
*
* @param s
* @return 去掉标记
*/
public String outTag(String s) ...{
return s.replaceAll("<.*?>", "");
}
/** *//**
*
* @param s
* @return 获取雅虎知识堂文章标题及内容
*/
public HashMap<String, String> getFromYahoo(String s) ...{
HashMap<String, String> hm = new HashMap<String, String>();
StringBuffer sb = new StringBuffer();
String html="";
System.out.println(" ------------------开始读取网页(" + s
+ ")--------------------");
try...{
html= getOneHtml(s);
}catch(Exception e)...{
e.getMessage();
}
// System.out.println(html);
System.out.println("------------------读取网页(" + s
+ ")结束-------------------- ");
System.out.println("------------------分析(" + s
+ ")结果如下-------------------- ");
String title = outTag(getTitle(html));
title = title.replaceAll("_雅虎知识堂", "");
// Pattern pa=Pattern.compile("<div
// class="original">(.*?)(( )*)(.*?)(( )*)(.*?)</div>",Pattern.DOTALL);
Pattern pa = Pattern.compile("<div class="original">(.*?)</p></div>",
Pattern.DOTALL);
Matcher ma = pa.matcher(html);
while (ma.find()) ...{
sb.append(ma.group());
}
String temp = sb.toString();
temp = temp.replaceAll("(<br>)+?", " ");// 转化换行
temp = temp.replaceAll("<p><em>.*?</em></p>", "");// 去图片注释
hm.put("title", title);
hm.put("original", outTag(temp));
return hm;
}
/** *//**
*
* @param args
* 测试一组网页,针对雅虎知识堂
*/
public static void main(String args[]) ...{
String url="";
List<String> list = new ArrayList<String>();
System.out.print("输入URL,一行一个,输入结束后输入 go 程序开始运行: ");
/**//*
http://ks.cn.yahoo.com/question/1307121201133.html
http://ks.cn.yahoo.com/question/1307121101907.html
http://ks.cn.yahoo.com/question/1307121101907_2.html
http://ks.cn.yahoo.com/question/1307121101907_3.html
http://ks.cn.yahoo.com/question/1307121101907_4.html
http://ks.cn.yahoo.com/question/1307121101907_5.html
http://ks.cn.yahoo.com/question/1307121101907_6.html
http://ks.cn.yahoo.com/question/1307121101907_7.html
http://ks.cn.yahoo.com/question/1307121101907_8.html
*/
BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
try ...{
while(!(url=br.readLine()).equals("go"))...{
list.add(url);
}
} catch (Exception e) ...{
e.getMessage();
}
WebContent wc = new WebContent();
HashMap<String, String> hm = new HashMap<String, String>();
for (int i = 0; i < list.size(); i++) ...{
hm = wc.getFromYahoo(list.get(i));
System.out.println("标题: " + hm.get("title"));
System.out.println("内容: " + hm.get("original"));
}
/**//*
String htmlurl[] = {
"http://ks.cn.yahoo.com/question/1307121201133.html",
"http://ks.cn.yahoo.com/question/1307121101907.html",
"http://ks.cn.yahoo.com/question/1307121101907_2.html",
"http://ks.cn.yahoo.com/question/1307121101907_3.html",
"http://ks.cn.yahoo.com/question/1307121101907_4.html",
"http://ks.cn.yahoo.com/question/1307121101907_5.html",
"http://ks.cn.yahoo.com/question/1307121101907_6.html",
"http://ks.cn.yahoo.com/question/1307121101907_7.html",
"http://ks.cn.yahoo.com/question/1307121101907_8.html" };
WebContent wc = new WebContent();
HashMap<String, String> hm = new HashMap<String, String>();
for (int i = 0; i < htmlurl.length; i++) {
hm = wc.getFromYahoo(htmlurl[i]);
System.out.println("标题: " + hm.get("title"));
System.out.println("内容: " + hm.get("original"));
}
*/
/**//*
* String html=""; String link=""; String sscript=""; String content="";
* System.out.println(htmlurl+" 开始读取网页内容:");
* html=wc.getOneHtml(htmlurl); System.out.println(htmlurl+"
* 读取完毕开始分析……"); html=html.replaceAll("(<script.*?)(( )*)(.*?)(( )*)(.*?)(</script>)","
* ");//去除脚本 html=html.replaceAll("(<style.*?)(( )*)(.*?)(( )*)(.*?)(</style>)","
* ");//去掉CSS html=html.replaceAll("<title>.*?</title>"," ");//除去页面标题
* html=html.replaceAll("<a[^>]*href=("([^"]*)"|'([^']*)'|([^\s>]*))[^>]*>(.*?)</a>","
* ");//去掉链接 html=html.replaceAll("(\s){2,}?"," ");//除去多余空格
* html=wc.outTag(html);//多余标记 System.out.println(html);
*/
/**//*
* String s[]=html.split(" +"); for(int i=0;i<s.length;i++){
* content=(content.length()>s[i].length())?content:s[i]; }
* System.out.println(content);
*/
// System.out.println(htmlurl+"网页内容结束");
/**//*
* System.out.println(htmlurl+"网页脚本开始:"); List
* script=wc.getScript(html); for(int i=0;i<script.size();i++){
* System.out.println(script.get(i)); }
* System.out.println(htmlurl+"网页脚本结束:");
*
* System.out.println(htmlurl+"CSS开始:"); List css=wc.getCSS(html);
* for(int i=0;i<css.size();i++){ System.out.println(css.get(i)); }
* System.out.println(htmlurl+"CSS结束:");
*
* System.out.println(htmlurl+"全部链接内容开始:"); List list=wc.getLink(html);
* for(int i=0;i<list.size();i++){ link=list.get(i).toString(); }
* System.out.println(htmlurl+"全部链接内容结束:");
*
* System.out.println("内容"); System.out.println(wc.outTag(html));
*/
}
}
分享到:
相关推荐
主要介绍了Java使用正则表达式提取XML节点内容的方法,结合具体实例形式分析了java针对xml格式字符串的正则匹配相关操作技巧,需要的朋友可以参考下
java中常用的匹配正则表达式实例大全.doc
java正则表达式使用.docx 资源
java用正则表达式读取网页内容,通过抓取文章标题及内容,进一步专区整个页面的全部内容,本文代码简单易懂,对java用正则表达式读取网页内容感兴趣的朋友可以参考下
常用正则表达式运用 正则表达式的匹配 统计代码 行数 用正则表达式读取 html文件中的 email信息
kettle 根据系统时间加正则表达式动态匹配获取多个文本文件
效果描述: 经常被<textarea>中的回车符给困扰着, 回车换行的内容(\r\n)经常需要显示为HTML中的 ,这时就需要做替换操作了。... 如果只是简单的将字符... 问题不难,关键是得懂得运用正则表达式来操作!
由于项目需求,自己需要将带有链接的标签去除,例如 头晕,转换后的文档为头晕。 由于说明书数量太大(100,569)自己...读取每一个筛选到的文件,利用正则表达式去除超链接符号。 3.将每一个处理过的文件重写回源文件。
objc 本地读取网页并使用正则表达式处理
C# 正则表达式.txtC# 正则表达式.txt
2.java正则表达式匹配* 2个文件内容是:中文 英文,然后分别比较中文部分和英文部分,文件内容如下: 520香烟 520cigarette 678月 678yue A-zone A-zone A.O.史密斯 AOsms ACE床垫 ACE AOL时代华纳 Time Warner BMG...
5_1.编写一个类,该类封有一个方法 public int f(int a, int b){ //要求该方法返回a和b的最大公约数 } 然后编写一个该类的子类,要求子类重写方法f(),而且重写的...2.编写一个类,该类能用正则表达式读取网页中的标签
C# 中的常用正则表达式总结 常用的正则表达式
正则表达式小工具,可以读取网页、文件内容
第二个是把所有的符合条件的字符串都截取出来,提取出来,比如字符串 string a="ab123456,"ab323456",那么就只要截取2到4之间的字符串,然后存入到了一个列表里,想提取直接读取列表就可以了,非常方便实用哦。
从txt文件中读取字符串,通过正则表达式提取关键字,并插入mysql数据库的一个小demo.
Regex_Reader:读取正则表达式并使用正则表达式验证ASCII文件
JavaScript 正则表达式 正则表达式(英语:Regular Expression,在代码中常简写为regex、regexp或RE)使用单个字符串来描述、匹配一系列符合某个句法规则的字符串搜索模式。搜索模式可用于文本搜索和文本替换。 语法...
正则图片下载工具(一键获取网页源代码一键下载资源图片),可自定义正则表达式;自定义网址(输入)获取源代码》筛选图片》一键下载。如果您访问的网站无法筛选到图片 请自行修改正则表达式,如有疑问可联系我处理...