用JSP伺服器瀏覽遠端網站 HttpURLConnection

用JSP伺服器瀏覽遠端網站 HttpURLConnection

伺服器之間的溝通一直以來有很多的方法，像是使用SOAP來連結 web services(例如在 JSP 伺服器上加裝Axis server)，但最簡單常用的還是使用 http(s) 通訊協定直接溝通，溝通的內容則可以是網頁、XML封包格式或是任意相互約定的字串形式，此處的範例，等於把JSP伺服器當作一個瀏覽器，直接瀏覽遠端的網站。

這個範例主要示範如何使用Java的HttpURLConnection元件來瀏覽遠端網站並同時上傳資料(Form 的 Post 功能)，並說明遇到SSL加密傳輸狀況時，如何處理憑證的安全問題。

把JSP伺服器當作瀏覽器 HttpURLConnection

下面這個函式，可以直接從JSP伺服器上使用http(s)通訊協定，透過網路傳送一段文字到另外一個網頁伺服器(遠端不一定是JSP，也可以是ASP、PHP等)，使用時須傳入遠端網址，決定是否要同時上傳資料(Form 的 Post 功能)，以及是否要將從遠端抓回來網頁存檔或是存入變數中直接應用，須特別注意的，此函式將https加密通訊協定的憑證不論是否安全皆視為安全，正式專案不會這樣做，解決方法可參考本文後面的段落。

從JSP伺服器上透過網路傳送一段文字到另外一個遠端伺服器 /Module/Jf/UrlConnect.jsp

<%! // 程式碼來源 : http://playjsp.blogspot.com ，作者:Steven，不限使用請註明出處。 /* 呼叫方法範例 //配置要上傳之內容的存放記憶體空間 StringBuffer postBuffer = new StringBuffer(); //配置傳回結果內容的存放記憶體空間 StringBuffer resultBuffer = new StringBuffer(); //上傳之內容，若不須上傳，將這段刪除即可 postBuffer.append( java.net.URLEncoder.encode("a1", "UTF-8") + "=" + java.net.URLEncoder.encode("a1_value", "UTF-8") + "&" + java.net.URLEncoder.encode("&a2", "UTF-8") + "=" + java.net.URLEncoder.encode("a2_value", "UTF-8") ); //瀏覽遠端網頁 UrlConnect(postBuffer, "https://www.yahoo.com", resultBuffer, ""); //印出傳回結果內容來看 out.print(resultBuffer.toString()); */ //傳入的參數 //postBuffer : 上傳之內容,若為 null 或是記憶體長度為 0 , 則使用 GET 連線,反之使用 POST 連線 //urlAddress : 遠端網址 //resultBuffer : 傳回結果之內容不存檔時，就寫入此記憶區 //saveToFileName : 檔案路徑名稱，將傳回結果存檔，若傳入空字串則不存檔並將回傳結果寫入 resultBuffer 記憶區中 public void UrlConnect(StringBuffer postBuffer, String urlAddress, StringBuffer resultBuffer, String saveToFileName) { //儲存遠端連結傳回內容的記憶體空間(將他清空) if (resultBuffer.length() != 0) resultBuffer.setLength(0); //如果遠端連結是 https 加密連線, 則強迫信任該網域憑證以免連結失敗, //如此可省略將該網域憑證匯入伺服器上的 Java 信任憑證清單中 //正式專案如此使用會有安全虞慮，請斟酌使用 if ((urlAddress.length() > 6) && (urlAddress.substring(0,6).equals("https:"))) { javax.net.ssl.TrustManager[] trustAllCerts = new javax.net.ssl.TrustManager[]{ new javax.net.ssl.X509TrustManager() { public java.security.cert.X509Certificate[] getAcceptedIssuers() { return null; } public boolean isServerTrusted(java.security.cert.X509Certificate[] certs) { return true; } public boolean isClientTrusted(java.security.cert.X509Certificate[] certs) { return true; } public void checkClientTrusted(java.security.cert.X509Certificate[] certs, String authType) throws java.security.cert.CertificateException { return; } public void checkServerTrusted(java.security.cert.X509Certificate[] certs, String authType) throws java.security.cert.CertificateException { return; } } }; javax.net.ssl.HostnameVerifier hv = new javax.net.ssl.HostnameVerifier() { public boolean verify(String urlHostName, javax.net.ssl.SSLSession session) { return true; //System.out.println("Warning: URL Host: " + urlHostName + " vs. " + session.getPeerHost()); 兩個如果不同原應該出錯 } }; try { javax.net.ssl.SSLContext sc = javax.net.ssl.SSLContext.getInstance("SSL"); sc.init(null, trustAllCerts, null);//sc.init(null, trustAllCerts, new java.security.SecureRandom()); javax.net.ssl.HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory()); javax.net.ssl.HttpsURLConnection.setDefaultHostnameVerifier(hv); } catch (Exception e) { resultBuffer.append("[CA:"+e+"]"); } } try { //呼叫 java 的 URL 連線元件 java.net.URL url = new java.net.URL(urlAddress); java.net.HttpURLConnection urlconnection = (java.net.HttpURLConnection)url.openConnection(); //需要上傳資料就填入true，否則填入false urlconnection.setDoInput(true); //不要使用暫存功能 urlconnection.setUseCaches(false); //設定連結逾時長短(單位是千分之一秒) urlconnection.setConnectTimeout(5000); //決定遠端連線使用 POST 或是 GET if ((postBuffer != null) && (postBuffer.length() != 0)) { urlconnection.setRequestMethod("POST"); urlconnection.setDoOutput(true); char[] chars = (postBuffer.toString()).toCharArray(); //POST DATA java.io.OutputStreamWriter osw = null;//write post data try { osw = new java.io.OutputStreamWriter(urlconnection.getOutputStream()); osw.write(chars, 0, chars.length); osw.flush(); } catch (Exception e) { resultBuffer.append("[POST:"+e+"]"); } finally { if (osw != null) { osw.close(); } } } else { urlconnection.setRequestMethod("GET"); } //不須存檔，將遠端傳回內容寫入 resultBuffer 記憶區中 if (saveToFileName.equals("")) { java.io.BufferedReader bufferedreader = null; try { bufferedreader = new java.io.BufferedReader(new java.io.InputStreamReader(urlconnection.getInputStream())); for(String s1 = null; (s1 = bufferedreader.readLine()) != null;) resultBuffer.append(s1 + "\n"); } catch (Exception e) { resultBuffer.append("[HTML:"+e+"]"); } finally { if (bufferedreader != null) { bufferedreader.close();//bufferedreader = null; } } //須存檔，將遠端傳回內容存檔 } else { java.io.InputStream is = null; int len; byte[] buf = new byte[1024]; java.io.File TempFile = null; java.io.FileOutputStream fos = null; try {//save return file is = urlconnection.getInputStream(); if ((len = is.read(buf)) > 0) { if ((new java.io.File(saveToFileName)).exists()) (new java.io.File(saveToFileName)).delete(); TempFile = new java.io.File(saveToFileName); try { fos = new java.io.FileOutputStream(TempFile); fos.write(buf, 0, len); while ((len = is.read(buf)) > 0) fos.write(buf, 0, len); fos.flush(); } catch (Exception e) { resultBuffer.append("[FILE WRITE:"+e+"]"); } finally { if (fos != null) { fos.close(); } } } } catch (Exception e) { resultBuffer.append("[FILE READ:"+e+"]"); } finally { if (is != null) { is.close(); } } } } catch(java.net.SocketTimeoutException sockettimeoutexception) { resultBuffer.append("[time out:"+sockettimeoutexception+"]"); } catch(java.net.MalformedURLException malformedurlexception) { resultBuffer.append("[URL format:"+malformedurlexception+"]"); } catch(java.io.IOException ioexception) { resultBuffer.append("[URL io:"+ioexception+"]"); } catch(Exception e) { resultBuffer.append("[except:"+e+"]"); } } %>

呼叫範例如下UrlConnectSample.jsp，內容正如上式開頭的呼叫範例說明，至於呼叫UrlConnect時傳入的參數說明則如下示：

postBuffer : 上傳之內容,若為 null 或是記憶體長度為 0 , 則使用 GET 連線,反之使用 POST 連線
urlAddress : 遠端網址
resultBuffer : 傳回結果之內容不存檔時，就寫入此記憶區
saveToFileName : 檔案路徑名稱，將傳回結果存檔，若傳入空字串則不存檔並將回傳結果寫入 resultBuffer 記憶區中

呼叫範例 UrlConnectSample.jsp

<%@ include file="/Module/Jf/UrlConnect.jsp" %><% //配置要上傳之內容的存放記憶體空間 StringBuffer postBuffer = new StringBuffer(); //配置傳回結果內容的存放記憶體空間 StringBuffer resultBuffer = new StringBuffer(); //上傳之內容，若不須上傳，將這段刪除即可 postBuffer.append( java.net.URLEncoder.encode("a1", "UTF-8") + "=" + java.net.URLEncoder.encode("a1_value", "UTF-8") + "&" + java.net.URLEncoder.encode("&a2", "UTF-8") + "=" + java.net.URLEncoder.encode("a2_value", "UTF-8") ); //瀏覽遠端網頁 UrlConnect(postBuffer, "https://www.yahoo.com", resultBuffer, ""); //印出傳回結果內容來看 out.print(resultBuffer.toString()); %>

執行結果很有趣，如下圖，瀏覽器網址為127.0.0.1時，卻出現yahoo的首頁，如果這時候，Client端是Windows的話，只要將例如C:\Windows\System32\drivers\etc\hosts檔案中加入一條 127.0.0.1 yahoo.com.tw，就可以在瀏覽器輸入網址yahoo.com.tw，此時當然連到的是假的yahoo首頁，若是Mac作業系統，則可以到 /private/etc/hosts檔案修改網域名稱對應的IP位址，程式開發者帶常常會利用這樣的做法來增加系統開發的便利性，但此法也常被駭客當作竊取個資的手法之一。

事先將SSL連線時的遠端憑證(公鑰)匯入Java信任憑證清單

上面的函式UrlConnect等於在SSL連線時強迫信任遠端憑證，正式專案會將if ((urlAddress.length() > 6) && (urlAddress.substring(0,6).equals("https:"))) {......}那一段程式碼移除，如此一來，只要加密連線https，此函式必定會出錯誤訊息，解決方法很簡單，我們既然將伺服器當作瀏覽器用，所以只要將該網站的公鑰憑證匯入伺服器上的JRE 憑證信任清單 cacerts檔案中即可，範例如下：

1.先使用 IE 連到 https://xxx.xxx.xxx (遠端網址)
2.滑鼠右鍵按視窗右下角的鑰鎖圖案兩下
3.選擇[匯入憑證]選項
4. 再使用 IE是窗指令[工具 \ 網際網路選項 \ 內容 \ 憑證] 找到該網域名稱的憑證，匯出成 DER 編碼的 .cer 檔案
5.在JSP伺服器上使用命令提示字元，匯入憑證到 Java 之 JRE 憑證信任清單 cacerts檔案中，範例如下，jdk與jre路徑請自行決定。
"C:\Program Files\Java\jdk\bin\keytool" -import -alias tcbca -file "C:\Program Files\Tomcat\webapps\ROOT\ca\tcbbank.cer" -keystore "C:\Program Files\Java\jdk\jre\lib\security\cacerts" -storepass changeit -trustcacerts

之所以我們先用IE來下載和匯出憑證，是因為目前Java尚未開放程式碼來匯出https一開始連線時所收到遠端伺服器的憑證公鑰，我們這裡用台灣合庫銀行作範例，Ｗindows系統大概大家都很容易依照上面的方法自行完成此步驟，此處就使用越來越多人愛用的 Mac 作業系統(等同Linux作業系統)配合 Chrome 瀏覽器做一次吧，道理和上述完全相同：

如上圖，在Chrome瀏覽器中輸入網址 https://ars.tcb-bank.com.tw/school/Page/Main.htm，用滑鼠按一下網址前方出現的鑰鎖圖案，再按一下[憑證資訊]超連結。

如上圖，可以看到ars.tcb-bank.com.tw這個網域的https連線加密憑證，是經由TWCA加簽出來的，一般企業通常不會自己簽自己的憑證，因為自己沒有公信力，簽出來的憑證也沒有公信力，跟憑證不加簽是一樣的沒公信力，一般瀏覽器連到這些沒有公信力的網站，一定會跳出錯誤信息詢問使用者是否要信任該憑證，像是近年來很熱門的GoDaddy，就可以完全透過網路快速幫企業加簽憑證，只要網路刷卡即可支付加簽費用，使用起來非常快速方便，所以我們只要將TWCA用來加簽別人的憑證公鑰，匯入JRE的信任憑證清單 cacerts檔案即可。

如上圖，按一下Chrome瀏覽器右上方那個三條線的設定鈕，再挑選[設定]選單，在出現的畫面中按下[顯示進階設定...]超連結。

如上圖，找到[管理憑證]按鈕，按下後出現視窗如下圖。

此時只要將所有找到的TWCA的憑證，全都利用滑鼠右鍵將他們匯出成.cer檔案，再利用前述第5小步驟的方法，使用命令提示字元(Linux和Mac上叫做終端機之類的)，匯入憑證到 Java 之 JRE 憑證信任清單 cacerts檔案中即可，同樣的jdk與jre路徑請自行決定。