String input = "新品";
        // 需要爬取商品信息的网站地址
        String url = "https://list.tmall.com/search_product.htm?q=" + input;
        // 动态模拟请求数据
        CloseableHttpClient httpclient = HttpClients.createDefault();
        HttpGet httpGet = new HttpGet(url);
        // 模拟浏览器浏览（user-agent的值可以通过浏览器浏览，查看发出请求的头文件获取）
        httpGet.setHeader("user-agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36");
        CloseableHttpResponse response = httpclient.execute(httpGet);
        // 获取响应状态码
        int statusCode = response.getStatusLine().getStatusCode();
        try {
            HttpEntity entity = response.getEntity();
            // 如果状态响应码为200，则获取html实体内容或者json文件
            if(statusCode == 200){
                String html = EntityUtils.toString(entity, Consts.UTF_8);
                // 提取HTML得到商品信息结果
                Document doc = null;
                // doc获取整个页面的所有数据
                doc = Jsoup.parse(html);
                //输出doc可以看到所获取到的页面源代码
//              System.out.println(doc);
                // 通过浏览器查看商品页面的源代码，找到信息所在的div标签，再对其进行一步一步地解析
                Elements ulList = doc.select("div[class='view grid-nosku']");
                Elements liList = ulList.select("div[class='product']");
                
                // 循环liList的数据（具体获取的数据值还得看doc的页面源代码来获取，可能稍有变动）
                for (Element item : liList) {
                    // 商品ID
                    String id = item.select("div[class='product']").select("p[class='productStatus']").select("span[class='ww-light ww-small m_wangwang J_WangWang']").attr("data-item");
                    System.out.println("商品ID："+id);
                    // 商品名称
                    String name = item.select("p[class='productTitle']").select("a").attr("title");
                    System.out.println("商品名称："+name);
                    // 商品价格
                    String price = item.select("p[class='productPrice']").select("em").attr("title");
                    System.out.println("商品价格："+price);
                    // 商品网址
                    String goodsUrl = item.select("p[class='productTitle']").select("a").attr("href");
                    System.out.println("商品网址："+goodsUrl);
                    // 商品图片网址
                    String imgUrl = item.select("div[class='productImg-wrap']").select("a").select("img").attr("data-ks-lazyload");
                    System.out.println("商品图片网址："+imgUrl);
                    // http://detail.tmall.com/item.htm?id=574828937953&skuId=3933140994054&user_id=3708304089&cat_id=2&is_b=1&rn=fa473d406b1f3e784301d9b8c6c69b99
                    System.out.println("------------------------------------");
                    
                    //进入商品网址
                    String urlsp= "https:"+goodsUrl;
                    Document docsp = Jsoup.connect(urlsp)
                              .data("query", "Java")
                              .userAgent("Mozilla")
                              .cookie("auth", "token")
                              .timeout(3000)
                              .post();
                    //得到所有页面信息
                    String htmlsp = docsp.toString();
                    //从页面js脚本中截取出get请求的地址 ，这里面有具体的商品信息json数据
                    String  msgurl=htmlsp.substring(htmlsp.indexOf("url='")+5,htmlsp.indexOf("',isg"));
                    
                      //模仿异步请求获取商品信息
                     msgurl= "https:"+msgurl;
                     System.out.println("开始访问"+msgurl);
                     //这里输出的地址是： https://mdskip.taobao.com/core/initItemDetail.htm?isUseInventoryCenter=false&cartEnable=true&service3C=false&isApparel=true&isSecKill=false&tmallBuySupport=true&isAreaSell=false&tryBeforeBuy=false&offlineShop=false&itemId=574828937953&showShopProm=true&isPurchaseMallPage=false&itemGmtModified=1586754483000&isRegionLevel=false&household=false&sellerPreview=false&queryMemberRight=true&addressLevel=2&isForbidBuyItem=false
                     
                     String docmsg = Jsoup.connect(urlsp)
                             .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36")
                              .data("query", "Java")
                              .userAgent("Mozilla")
                              .cookie("auth", "token")
                              //这里没办法  模仿它的referrer也没有用  直接通过浏览器的结果是403无权访问  代码访问得到的结果不是json而是一个奇怪的页面html
                              .referrer("https://detail.tmall.com/item.htm?id=574828937953&skuId=3933140994054&user_id=3708304089&cat_id=2&is_b=1&rn=345a2fbc9e48e23851639f4739ca80b3")
                              .timeout(3000).execute().body();
//                    System.out.println(docmsg);
                    
                    break;//这里只找一个测试一下
                }
                    // 消耗掉实体
                    try {
                        EntityUtils.consume(response.getEntity());
                    } catch (IOException e) {
                        // TODO Auto-generated catch block
                        e.printStackTrace();
                    }
                } else {
                    // 消耗掉实体
                    try {
                        EntityUtils.consume(response.getEntity());
                    } catch (IOException e) {
                        // TODO Auto-generated catch block
                        e.printStackTrace();
                    }
                }
            } finally {
                try {
                    response.close();
                } catch (IOException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }