在Java开发中,调用网页代码是一项常见需求，主要用于爬取数据、调用Web服务或与远程系统交互，本文将详细介绍几种主流的实现方式，涵盖基础到进阶的使用场景，帮助开发者根据需求选择合适的技术方案。
使用HttpURLConnection实现基础请求
Java标准库中的HttpURLConnection是调用网页代码的最基础方式，无需额外依赖，适合简单的HTTP请求，通过URL类创建连接对象后，可设置请求方法（GET/POST）、请求头和请求体，最后通过输入流读取响应数据，示例代码如下：
URL url = new URL("https://example.com");
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setRequestMethod("GET");
BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream()));
String line;
StringBuilder response = new StringBuilder();
while ((line = reader.readLine()) != null) {
response.append(line);
}
reader.close();
System.out.println(response.toString());
注意事项：该方法需处理异常（如IOException），且默认不支持HTTPS（需额外配置SSL上下文），适合对依赖有严格限制的项目，但开发效率较低。
借助HttpClient实现高效请求
Java 11+引入了标准HttpClient，相比HttpURLConnection功能更强大，支持异步请求、HTTP/2和更灵活的API，通过HttpRequest构建请求，HttpClient发送请求并获取响应，代码更简洁：
HttpClient client = HttpClient.newHttpClient();
HttpRequest request = HttpRequest.newBuilder()
.uri(URI.create("https://example.com"))
.build();
HttpResponse<String> response = client.send(request, HttpResponse.BodyHandlers.ofString());
System.out.println(response.body());
优势：支持异步调用（sendAsync）、请求拦截器和Cookie管理，适合需要高性能或复杂交互的场景。
使用Jsoup解析HTML内容
若目标为解析HTML网页内容并提取结构化数据,Jsoup是理想选择，它支持CSS选择器、DOM操作和HTML清洗，可轻松获取标题、链接或表格等元素：
Document doc = Jsoup.connect("https://example.com").get();
String title = doc.title();
Elements links = doc.select("a[href]");
for (Element link : links) {
System.out.println("链接: " + link.attr("abs:href"));
}
适用场景：网页爬虫、数据抓取等需解析HTML结构的任务，需添加jsoup依赖（Maven坐标：org.jsoup:jsoup:1.15.3）。
通过Selenium模拟浏览器行为
对于动态加载内容的网页（如JavaScript渲染），需使用Selenium工具，它通过驱动程序控制浏览器，可执行点击、输入等操作，获取最终渲染后的HTML：
WebDriver driver = new ChromeDriver();
driver.get("https://example.com");
String pageSource = driver.getPageSource();
System.out.println(pageSource);
driver.quit();
特点：支持Chrome、Firefox等多种浏览器，适合爬取SPA（单页应用）或需登录的页面，但需额外管理浏览器驱动，性能较低。
调用RESTful API获取JSON数据
若网页提供RESTful API接口，可直接使用HttpClient或第三方库（如OkHttp、RestTemplate）发送请求并解析JSON数据，以OkHttp为例：
OkHttpClient client = new OkHttpClient();
Request request = new Request.Builder()
.url("https://api.example.com/data")
.build();
try (Response response = client.newCall(request).execute()) {
String jsonData = response.body().string();
System.out.println(jsonData);
}
建议：结合Jackson或Gson库将JSON转换为Java对象，便于后续数据处理。
安全性与异常处理
无论采用哪种方式,均需注意：
- 异常处理：捕获
IOException、MalformedURLException等异常，避免程序崩溃。 - 超时设置：为HTTP请求设置连接和读取超时，防止长时间阻塞。
- 反爬虫应对：添加请求头（如
User-Agent）、使用代理IP或控制请求频率，避免被目标网站封禁。 - 敏感信息保护：避免在代码中硬编码API密钥或认证信息，可通过环境变量或配置文件管理。
Java调用网页代码的方法需根据场景选择：静态HTML解析用Jsoup用Selenium，API交互用HttpClient或OkHttp，基础开发优先考虑标准库，复杂场景引入第三方工具，务必重视异常处理和反爬虫策略，确保程序稳定运行。
