news 2026/9/13 22:24:59

Java爬虫1688详情api接口实战解析

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Java爬虫1688详情api接口实战解析

下面给出一份可直接落地的「Java 版 1688 商品详情 API 爬虫」完整示例,覆盖签名算法、HTTP 调用、JSON 解析、异常重试、频率控制等关键要点,复制即可运行。
(注:1688 接口需企业认证并申请 AppKey / AppSecret,以下代码以官方 REST 网关item_get为例,也可平替为第三方代理网关,只需换域名即可 。)


一、Maven 依赖

<dependencies> <!-- HTTP --> <dependency> <groupId>org.apache.httpcomponents.client5</groupId> <artifactId>httpclient5</artifactId> <version>5.3.1</version> </dependency> <!-- JSON --> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version>2.17.0</version> </dependency> </dependencies>

二、签名工具(1688 官方 MD5 签名规则)

public class SignUtil { public static String sign(TreeMap<String, String> params, String appSecret) { StringBuilder sb = new StringBuilder(appSecret); for (Map.Entry<String, String> e : params.entrySet()) { sb.append(e.getKey()).append(e.getValue()); } sb.append(appSecret); return md5(sb.toString()).toUpperCase(); } private static String md5(String raw) { try { byte[] bs = MessageDigest.getInstance("MD5").digest(raw.getBytes(StandardCharsets.UTF_8)); StringBuilder hex = new StringBuilder(); for (byte b : bs) hex.append(String.format("%02X", b & 0xFF)); return hex.toString(); } catch (Exception e) { throw new RuntimeException(e); } } }

三、统一入口 ——ItemGetService

public class ItemGetService { private static final String GATEWAY = "https://api.1688.com/router/rest"; private final String appKey; private final String appSecret; private final CloseableHttpClient http; public ItemGetService(String appKey, String appSecret) { this.appKey = appKey; this.appSecret = appSecret; this.http = HttpClients.custom() .setConnectionManager(PoolingHttpClientConnectionManagerBuilder.create() .setMaxConnTotal(50).setMaxConnPerRoute(10).build()) .build(); } /** 获取商品详情(自动重试 3 次) */ public ItemDO getItem(long numIid) throws IOException { TreeMap<String, String> params = new TreeMap<>(); params.put("method", "item_get"); params.put("app_key", appKey); params.put("timestamp", String.valueOf(System.currentTimeMillis())); params.put("num_iid", String.valueOf(numIid)); params.put("v", "2.0"); params.put("sign_method", "md5"); params.put("format", "json"); params.put("sign", SignUtil.sign(params, appSecret)); String url = GATEWAY + "?" + URLEncodedUtils.format( params.entrySet().stream() .map(e -> new BasicNameValuePair(e.getKey(), e.getValue())) .collect(Collectors.toList()), StandardCharsets.UTF_8); for (int i = 0; i < 3; i++) { try (CloseableHttpResponse resp = http.execute(new HttpGet(url))) { if (resp.getCode() == 200) { JsonNode root = new ObjectMapper().readTree(EntityUtils.toString(resp.getEntity())); if ("0".equals(root.get("code").asText())) { return new ObjectMapper().convertValue(root.get("item"), ItemDO.class); } throw new IllegalStateException("API 业务错误: " + root.get("msg").asText()); } } catch (Exception e) { if (i == 2) throw e; try { Thread.sleep(1000); } catch (InterruptedException ignore) {} } } throw new RuntimeException("重试 3 次仍失败"); } @Data // lombok public static class ItemDO { private String title; private BigDecimal price; private Integer num; // 库存 private String picUrl; private List<Sku> skus; } public void shutdown() throws IOException { http.close(); } }

四、频率控制 + 批量调用示例

public class CrawlerBoot { public static void main(String[] args) throws Exception { ItemGetService api = new ItemGetService("你的AppKey", "你的AppSecret"); List<Long> numIids = List.of(610947572360L, 623456789012L); // 商品ID池 for (Long id : numIids) { ItemGetService.ItemDO item = api.getItem(id); System.out.printf("标题=%s 价格=%s 库存=%d%n", item.getTitle(), item.getPrice(), item.getNum()); Thread.sleep(350); // 约 3 次/秒,低于官方 5 次/秒限制 } api.shutdown(); } }

五、常见坑 & 优化建议

  1. 签名顺序必须TreeMap升序,否则 4005 授权失败。

  2. 免费账号每日调用上限 1 万次,超出需购买套餐;峰值时段做好限流与重试。

  3. 如需 SKU 图、阶梯价、近 30 天销量,需在参数额外指定fields=skus,priceRange,saleInfo

  4. 若走第三方代理网关(如api-gw.onebound.cn),签名规则不变,仅换域名即可。

  5. 数据落库时建议用ON DUPLICATE KEY UPDATE做幂等,避免重复写入。


六、一句话总结
以上代码即为“Java 爬虫 1688 详情 API 接口”的最小可运行骨架,已帮你屏蔽掉签名、编码、重试、频率等所有细节,直接填上自己的 AppKey / Secret 即可把 1688 商品库变成本地数据表

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/13 10:54:20

Simple Live:跨平台直播聚合神器,重新定义你的观看方式

Simple Live&#xff1a;跨平台直播聚合神器&#xff0c;重新定义你的观看方式 【免费下载链接】dart_simple_live 简简单单的看直播 项目地址: https://gitcode.com/GitHub_Trending/da/dart_simple_live 还在为不同直播平台间的切换烦恼吗&#xff1f;Simple Live为你…

作者头像 李华
网站建设 2026/9/13 16:37:58

谷歌 Gemini 3 内测引爆业内讨论:为AI行业带来了哪些惊人的突破?

随着AI技术的快速发展&#xff0c;各大科技公司纷纷推出自己的创新产品&#xff0c;而谷歌的Gemini 3无疑是其中最为引人注目的新星之一。在近期的内测中&#xff0c;Gemini 3凭借其强大的能力和出色的表现&#xff0c;获得了业内一致的好评&#xff0c;成为了AI领域的热门话题…

作者头像 李华
网站建设 2026/9/13 23:11:03

T型槽铸铁平台:工业基石与现代制造的完美融合

创新设计赋能高效生产T型槽铸铁平台通过模块化T型槽结构&#xff0c;实现工件、夹具的快速定位与固定&#xff0c;显著提升加工效率。其槽距标准化设计兼容多种工业设备&#xff0c;满足柔性化生产需求。高精度铸造工艺解析采用高强度灰铸铁&#xff08;HT250/HT300&#xff09…

作者头像 李华
网站建设 2026/9/11 15:53:27

基于Spring Boot的校园部门资料管理系统

基于Spring Boot的校园部门资料管理系统是一个专为校园部门设计的高效资料管理系统。以下是对该系统的详细介绍&#xff1a; 一、系统背景与目的 随着信息技术的飞速发展&#xff0c;校园信息化建设成为必然趋势。学校各部门在日常工作中积累了大量的资料&#xff0c;包括教学资…

作者头像 李华
网站建设 2026/9/12 11:22:31

Android截屏限制解决方案:DisableFlagSecure使用指南

在数字时代&#xff0c;屏幕截图已成为我们记录信息、分享内容的重要方式。然而&#xff0c;当你试图对某些应用进行截图时&#xff0c;却常常看到"无法截屏"的提示&#xff0c;这种限制让无数用户感到困扰。今天&#xff0c;我们将深入解析一款能够解决这一问题的开…

作者头像 李华
网站建设 2026/9/12 11:24:07

完全掌握Mac菜单栏图标隐藏技巧:Dozer深度实战指南

还在为Mac屏幕上拥挤的状态栏感到烦恼吗&#xff1f;想要打造一个简洁高效的工作环境&#xff1f;Dozer这款macOS专用工具能够完美解决你的困扰。本指南将带你从零开始&#xff0c;全面掌握这款菜单栏管理利器的使用方法。 【免费下载链接】Dozer Hide menu bar icons on macOS…

作者头像 李华