如何在java代碼中使用HTTP代理IP。
以下代碼主要圍繞第一次接觸HTTP代理IP的java新手來(lái)寫(xiě)。
直接把下面示例代碼中的代理API,替換成你后臺(tái)生成的代理API鏈接,就可以跑起來(lái)了。(步驟注釋清晰)
以下只是一個(gè)示例代碼,是一個(gè)基礎(chǔ)的演示,具體的代碼還是要根據(jù)你業(yè)務(wù)的實(shí)際情況去寫(xiě)的。
示例代碼中的HTTP代理IP,我使用的是華益云的HTTP代理,注冊(cè)就白嫖1萬(wàn)個(gè)高匿爬蟲(chóng)IP,有效期是一年,對(duì)于調(diào)試代碼來(lái)說(shuō)這個(gè)時(shí)間是非常的友好。
打開(kāi)代理API,獲取里面的IP,使用IP訪問(wèn)目標(biāo)網(wǎng)站,其實(shí)代碼中就是執(zhí)行這個(gè)過(guò)程而已,然后加了幾個(gè)錯(cuò)誤判斷有助于代碼的穩(wěn)定運(yùn)行。(步驟注釋清晰)
華益云-企業(yè)級(jí)HTTP爬蟲(chóng)代理IP供應(yīng)商-點(diǎn)我免費(fèi)領(lǐng)取示例代碼demo中同款10000個(gè)高匿IP
import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.DataOutputStream; import java.io.FileWriter; import java.io.IOException; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.InetSocketAddress; import java.net.URL; import java.util.ArrayList; import java.net.Proxy; class ProxyInfo{ private String host; private int port; public ProxyInfo(String host, int port){ this.host = host; this.port = port; } public String getHost(){ return host; } public int getPort(){ return port; } } class ProxyUtil{ public static void main(String[] args) { // 發(fā)送給服務(wù)器的標(biāo)識(shí) String userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"; // 代理api(這里我推薦使用www.9vps.com華益云的HTTP代理API,注冊(cè)就白嫖1萬(wàn)IP) String proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&"; // 請(qǐng)求代理url,獲取代理ip ArrayList outPutProxy = getProxy(proxyUrl, userAgent); if (outPutProxy.size() == 0){ // 沒(méi)有獲取到代理 return; } // 目標(biāo)請(qǐng)求網(wǎng)站 String url = "https://www.qq.com/"; for (int i=0; i<3; i++){ // 最多嘗試三次 try{ ProxyInfo px =outPutProxy.remove(0); Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(px.getHost(), px.getPort())); String out = doReqWithProxyWrapper(url, userAgent, proxy); System.out.println(out); break; }catch(Exception e){ e.printStackTrace(); if (outPutProxy.size() == 0){ // 如果發(fā)現(xiàn)沒(méi)有代理了,就去獲取下。 outPutProxy = getProxy(proxyUrl, userAgent); } } } //System.out.println(out); } public static String doReqWithProxyWrapper(String url,String userAgent,Proxy proxy) throws IOException{ return requestGet(url, userAgent, proxy); } public static ArrayList getProxy(String proxyUrl, String userAgent){ //String proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&"; String proxyIps; ArrayList outPutProxy = new ArrayList(); try { proxyIps = requestGet(proxyUrl, userAgent, null); System.out.println(proxyIps); // {"code":3002,"data":[],"msg":"error!用戶名或密碼錯(cuò)誤","success":false} if (proxyIps.indexOf("{") > -1){ throw new RuntimeException("[錯(cuò)誤]"+proxyIps); } String[] splitedString = proxyIps.split("\n"); for (int i=0; i;>
審核編輯:湯梓紅
-
JAVA
+關(guān)注
關(guān)注
20文章
2989瀏覽量
109865 -
HTTP
+關(guān)注
關(guān)注
0文章
525瀏覽量
33540 -
代碼
+關(guān)注
關(guān)注
30文章
4900瀏覽量
70771
發(fā)布評(píng)論請(qǐng)先 登錄
評(píng)論