通过API/JSON直接获取网页下载链接：R语言实战

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

通过API/JSON直接获取网页下载链接：R语言实战

2025-11-09

浏览次数：次

返回列表

通过api/json直接获取网页下载链接：r语言实战

在R语言中，当需要获取网页上的文件下载链接而不触发直接下载时，模拟用户界面操作（如右键点击）并非总是最有效的方法。本教程将展示如何利用网站提供的API或JSON数据源，通过httr2等R包直接访问并提取所需链接，从而实现更高效、稳定的数据获取，并避免不必要的下载行为。

1. 简介：绕过UI操作的优势

在自动化网页交互时，我们常会遇到需要获取某个文件（如CSV、PDF）的下载链接，但点击该链接会立即触发文件下载，而非跳转到新页面显示链接地址。传统的解决方案可能涉及使用像RSelenium这样的工具来模拟浏览器行为，例如右键点击并复制链接地址。然而，这种方法往往较为复杂，易受浏览器版本、驱动配置及页面元素变化的影响。

一个更高效、更稳定的替代方案是直接与网站的后端数据源（通常是API或JSON接口）进行交互。许多现代网站在后台通过API提供数据，这些API响应通常是JSON格式，其中可能包含我们所需的下载链接。通过直接请求这些JSON数据，我们可以精确地提取所需信息，而无需加载整个网页或模拟复杂的UI操作。

2. 识别并访问API/JSON数据源

要采用这种方法，首先需要识别网站用于提供数据的API或JSON端点。这通常可以通过浏览器的开发者工具（Network/网络标签页）来完成。当你在页面上进行操作（如点击按钮、加载数据）时，观察网络请求，寻找返回JSON数据的请求URL。

一旦识别出JSON数据源的URL，我们就可以在R中使用httr2包来发起HTTP请求并解析JSON响应。httr2是一个功能强大且现代的HTTP客户端，非常适合此类任务。

以下是一个示例，展示如何访问一个公开的JSON数据源：

# 载入所需的R包
library(tidyverse) # 包含管道操作符 %>% 和其他数据处理工具
library(httr2)     # 用于发起HTTP请求

# 定义JSON数据源的URL
json_url <- "https://services.healthtech.dtu.dk/services/BepiPred-2.0/tmp/630F1ABF0000500259861910/results.json"

# 发起HTTP请求并获取JSON响应
json_response <- json_url %>%
  request() %>%          # 创建一个请求对象
  req_perform() %>%      # 执行请求并获取响应
  resp_body_json(simplifyVector = TRUE) # 将JSON响应体解析为R列表或数据框

# 打印解析后的JSON数据结构（部分）
print(names(json_response))
print(json_response$csv_summary) # 假设我们知道CSV链接的键是 'csv_summary'

在上述代码中：

Glarity

Glarity是一款免费开源的AI浏览器扩展，提供YouTube视频总结、网页摘要、写作工具等功能，支持免费的镜像翻译，电子邮件写作辅助，AI问答等功能。

131 查看详情 Glarity

request() 创建了一个HTTP请求对象。
req_perform() 发送请求并等待服务器响应。
resp_body_json(simplifyVector = TRUE) 将JSON响应体解析为R中的列表结构。simplifyVector = TRUE 尝试将列表中的向量简化为原子向量，方便后续处理。

3. 从JSON中提取并构建下载链接

解析JSON响应后，我们需要根据其结构来提取目标下载链接。在许多情况下，JSON数据会包含一个相对路径或部分URL，需要与网站的基础URL拼接才能形成完整的下载链接。

继续上面的例子，假设我们发现CSV文件的相对路径存储在csv_summary字段中：

# 从解析后的JSON数据中提取CSV文件的相对路径
csv_relative_path <- json_response$csv_summary

# 网站的基础URL
base_url <- "https://services.healthtech.dtu.dk"

# 拼接基础URL和相对路径，构建完整的下载链接
full_csv_url <- str_c(base_url, csv_relative_path)

# 打印完整的下载链接
print(full_csv_url)

通过这种方式，我们成功获取了CSV文件的完整下载链接，而无需实际点击或下载文件。

4. （可选）程序化下载文件

一旦获取了完整的下载链接，如果后续需要，可以使用R的内置函数download.file()来程序化地下载文件。

# 定义要保存的文件名
dest_filename <- "health_summary.csv"

# 使用download.file下载文件
download.file(url = full_csv_url,
              destfile = dest_filename,
              mode = "wb") # 'wb' 模式适用于二进制文件，确保正确下载

message(paste("文件已下载到:", dest_filename))

5. 注意事项

URL的动态性: 示例中的JSON URL包含一个tmp目录，这通常表示临时文件或会话相关的路径。这意味着该URL可能会过期或每次请求时都会变化。在实际应用中，你可能需要先访问一个主页面，从中提取出这个动态的JSON URL，然后再进行请求。
错误处理: 在实际项目中，应加入错误处理机制，例如检查HTTP响应状态码（resp_status()）以确保请求成功，以及处理JSON解析失败的情况。
网站服务条款: 在抓取任何网站数据之前，请务必查阅该网站的服务条款和robots.txt文件，确保你的行为符合规定。
JSON结构变化: 网站的API响应结构可能会发生变化，导致你的代码失效。因此，定期检查并更新代码是必要的。
并非所有网站都适用: 并非所有网站都提供易于访问或结构清晰的API/JSON数据源。在某些情况下，传统的UI自动化仍然是唯一的选择。