08-05
28

用java 获取指定url 网站内容

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;


public class GetUrlContent {

public static String getUrlTheContent(String aimurl){
  try{
  URL   url   =   new   URL(aimurl);  
  //设置代理
  //String proxy = "10.165.2.1:8080";
   System.setProperty("proxySet","true");
   System.setProperty("proxyHost","10.165.2.1");
   System.setProperty("proxyPort","8080");

        InputStream   is   =   url.openStream();  

        BufferedReader   bi   =   new   BufferedReader(new   InputStreamReader(is));  

        String   str   =   "";  
        String returnstr="";
        while   ((str   =   bi.readLine())   !=   null)   {  
         returnstr+=str;
         System.out.println(str);
        }
        if(str==null)
         str="没有获取到内容";
        return returnstr;
  }
        catch(Exception e){
         System.out.println("-----------Error----------"+e.getMessage());
         return "发生了错误";
        }
}
/**
  * @param args
  */
public static void main(String[] args) {
  // TODO Auto-generated method stub
  GetUrlContent.getUrlTheContent("http://www.sohu.com");

}

}


适用于采集

文章来自: 本站原创
引用通告: 查看所有引用 | 我要引用此文章
Tags: url 采集
相关日志:
评论: 0 | 引用: 0 | 查看次数: 853
发表评论
昵 称:
密 码: 游客发言不需要密码.
内 容:
验证码: 验证码
选 项:
虽然发表评论不用注册,但是为了保护您的发言权,建议您注册帐号.
字数限制 1000 字 | UBB代码 开启 | [img]标签 关闭