小小千想和您聊一聊

当前位置: 首页> 技术分享> 使用HttpClient抓取页面内容

使用HttpClient抓取页面内容

  一、使用HttpClient工具来发送Http请求

  1.简介

  HttpClient 是 Apache Jakarta Common 下的子项目,用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包,并且它支持 HTTP 协议最新的版本和建议。HttpClient 已经应用在很多的项目中,比如 Apache Jakarta 上很著名的另外两个开源项目 Cactus 和 HTMLUnit 都使用了 HttpClient。

  HttpClient 相比传统 JDK 自带的 URLConnection,增加了易用性和灵活性,它不仅是客户端发送 HTTP 请求变得容易,而且也方便了开发人员测试接口(基于 HTTP 协议的),即提高了开发的效率,也方便提高代码的健壮性。因此熟练掌握 HttpClient 是很重要的必修内容,掌握 HttpClient 后,相信对于 HTTP 协议的了解会更加深入。

  2.应用场景


  3.HttpClient工具的使用

  1)添加依赖

<!-- Apache Http Begin -->
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.5</version>
</dependency>
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>fluent-hc</artifactId>
    <version>4.5.5</version>
</dependency>
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpmime</artifactId>
    <version>4.5.5</version>
</dependency>
<!-- Apache Http End -->

  2)编写测试代码

  @Test
    public void testHttpClient() throws IOException {

        //1.获得HttpClient对象
        CloseableHttpClient client = HttpClients.createDefault();
        //2.创建请求对象,如果是post请求  HttpPost  如果是get请求  HttpGet对象
        String uri = "http://www.baidu.com";
        HttpGet get = new HttpGet(uri);
        //3.执行get请求,获得响应消息对象
        CloseableHttpResponse response = client.execute(get);
        //4.获取响应行
        StatusLine statusLine = response.getStatusLine();
        //5.获取状态码
        int code = statusLine.getStatusCode();
        if(code==200){
            //响应成功
            HttpEntity entity = response.getEntity();
            //6.获取响应体中的内容
//            InputStream is = entity.getContent();
//            byte[] b = new byte[8192];
//            int len = 0;
//            while((len = is.read(b))!=-1){
//                System.out.println(new String(b,0,len));
//            }
//            is.close();
            System.out.println(EntityUtils.toString(entity, "utf-8"));
        }


    }

上一篇:Java技术案例--封装JDBC工具类

下一篇:风格小清新色调

QQ技术交流群

千锋Java开发官方①群
811099962

加入群聊

用户登录

手机号:

密码:

图形验证码:

点击切换

用户注册

手机号:

登录密码:

图形验证码:

点击切换

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

手机号:

图形验证码:

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

新密码:

确认新密码:

获取课程

添加小千老师微信,获取课程信息

如何获取课程?

一、需拥有此本教材

如没有,可点击下方入口购买当当购买入口京东购买入口

二、添加小千老师,发送拥有凭证,解锁课程资源

1.购买该教材的订单信息
2.拥有的实体书信息等

更换手机号

新手机号:

图形验证码:

短信验证码:

获取验证码