新闻下载3道高频面试题：新手避坑指南，拒绝StackTrace

满屏红色的 StackTrace 报错，看着像天书一样。很多新手做新闻下载爬虫时，一遇到连接重置或解析失败就懵圈。今天把大厂面试官最爱问的 3 个坑讲透，教你新手避坑。

考点梳理

面试中，“新闻下载”看似简单，实则考察了 HTTP 协议、异常处理、并发控制和数据清洗四大核心能力。

面试官不会只问“怎么爬”，而是问：

请求失败怎么办？ 考察你对 HTTP 状态码的理解，特别是 429（Too Many Requests）和 503（Service Unavailable）的区别。
如何避免被封 IP？ 考察代理池、User-Agent 轮换、请求频率控制。
大文件下载中断如何恢复？ 考察断点续传原理，涉及 HTTP Range 头。

高频考点分布：

基础层（60%）：Requests 库的使用、异常捕获、基本解析。
进阶层（30%）：异步并发（Asyncio/Aiohttp）、代理池管理。
架构层（10%）：分布式爬虫设计、存储优化。

易错点预警： 很多候选人只写 try-except 捕获所有异常，这是大忌。必须区分 ConnectionError、Timeout、HTTPError，针对性处理。

标准答法

回答这类问题，遵循“现象-原因-方案-验证”四步法。

第一步：描述现象 “在批量下载新闻时，频繁出现 ConnectionResetError 或 429 错误，导致任务中断。”

第二步：分析原因

频率过高：短时间内发送大量请求，触发目标服务器限流机制。
连接复用问题：未正确管理连接池，导致连接泄露或复用失败。
网络波动：长连接超时未重连。

第三步：给出方案

指数退避重试：失败后等待 1s、2s、4s... 重试，避免雪崩。
动态 User-Agent：模拟不同浏览器，降低被识别为机器人的概率。
断点续传：利用 Range 头，记录已下载字节数，失败后从断点继续。

第四步：验证效果 “实施后，成功率从 70% 提升至 98%，平均耗时降低 40%。”

关键话术： “我们遵循 RFC 9110 规范中关于条件请求的定义，使用 ETag 和 Last-Modified 确保数据一致性。” 这句话能瞬间提升专业度，表明你懂底层协议。

代码实现

下面是一个基于 Python 的稳健新闻下载器，包含重试、断点续传、并发控制。

import asyncio
import aiohttp
import hashlib
import os
import time
from typing import Optionalclass RobustNewsDownloader:def __init__(self, max_concurrent=10, timeout=30):self.max_concurrent = max_concurrentself.timeout = aiohttp.ClientTimeout(total=timeout)self.session: Optional[aiohttp.ClientSession] = Noneself.semaphore = asyncio.Semaphore(max_concurrent)async def __aenter__(self):# 创建全局 Session，复用连接self.session = aiohttp.ClientSession(timeout=self.timeout,connector=aiohttp.TCPConnector(limit=100))return selfasync def __aexit__(self, exc_type, exc_val, exc_tb):if self.session:await self.session.close()async def download_news(self, url: str, save_path: str) -> bool:"""下载单个新闻文件，支持断点续传和指数退避重试"""async with self.semaphore:# 检查本地文件，支持断点续传resume_pos = 0if os.path.exists(save_path):resume_pos = os.path.getsize(save_path)headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'}# 如果有已下载内容，设置 Range 头if resume_pos > 0:headers['Range'] = f'bytes={resume_pos}-'for attempt in range(3):  # 最多重试 3 次try:async with self.session.get(url, headers=headers) as resp:# 200: 正常下载# 206: 部分内容，断点续传成功if resp.status in [200, 206]:mode = 'ab' if resume_pos > 0 else 'wb'with open(save_path, mode) as f:async for chunk in resp.content.iter_chunked(8192):f.write(chunk)return Trueelif resp.status == 429:# 触发限流，指数退避wait_time = 2 ** attemptprint(f"Rate limited, waiting {wait_time}s...")await asyncio.sleep(wait_time)else:print(f"HTTP Error: {resp.status}")return Falseexcept (aiohttp.ClientError, asyncio.TimeoutError) as e:print(f"Network error: {e}, retrying in {2 ** attempt}s...")await asyncio.sleep(2 ** attempt)return False# 使用示例
async def main():urls = ["https://example.com/news1.html","https://example.com/news2.html"]async with RobustNewsDownloader(max_concurrent=5) as downloader:tasks = [downloader.download_news(url, f"news_{i}.html")for i, url in enumerate(urls)]results = await asyncio.gather(*tasks)print(f"Success: {sum(results)}/{len(results)}")if __name__ == "__main__":asyncio.run(main())

代码解析：

Semaphore 控制并发：防止瞬间发满连接，保护服务器和本地资源。
Range 头断点续传：headers['Range'] = f'bytes={resume_pos}-' 是关键，依据 RFC 9110 规范，服务器返回 206 状态码，仅传输剩余部分。
指数退避：2 ** attempt 实现等待时间递增，避免重试风暴。
aiohttp 异步 I/O：比同步 Requests 效率高 5-10 倍，适合高并发场景。

追问与延伸

面试官常追问：“如果目标网站反爬特别严，JS 渲染动态内容，怎么办？”

回答策略：

分析渲染方式：
- 如果是 AJAX 加载：抓包找到 API 接口，直接请求 JSON，跳过前端渲染。
- 如果是 SPA（单页应用）：使用 Selenium 或 Playwright 驱动无头浏览器，等待元素加载完成。
IP 池管理：
- 自建代理池，定期验证代理可用性。
- 使用住宅代理（Residential Proxy），IP 信誉度高，不易被封。
指纹伪装：
- 修改 TLS 指纹、Canvas 指纹，使用 undetected-chromedriver 等工具。