news 2026/7/21 22:23:36

爬取某网站的小说名(pyquery)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
爬取某网站的小说名(pyquery)

这个代码短且简单,主要就是展示一下pyquery的用法

代码就这么长,连三十行都不到,虽然简单,但我还是巨详细的说说

一、发送请求

第一步依然是发送请求,但在发送请求之前,我们爬取的这个小说网站有好多页小说,所以限制一下,就爬取前5页的,于是就需要for循环,就是下面这句

for i inrange(1, 6): url = f"https://b.faloo.com/y_0_0_0_0_6_1_{i}.html"

接着那句时伪装头,这句伪装头也可以放在for循环外边,主要是把python解释器伪装成浏览器,然后发送请求,不然服务器那边识别到你是python解释器发送的请求,就不给你响应,下面这句就是发送请求

response= requests.get(url,headers=headers)

,然后获得响应(response),话是这样说的,但你发送请求后,人家服务器那边到底有没有给你响应,你是不是需要验证一下,就是下面这句

if response.status_code==200:

二、解析网页

如果服务器那边给你回应了,那状态码就是200,接着就可以拿这pyquer对响应的HTML进行解析

html =pq(response.text)

三、定位

解析后就可以,对小说名称的位置进行定位,就是下面这句

items= html("div > div > div> h1").items()

依旧用的是CSS选择器,后面的items()方法时让items,变成一个可迭代对象,方便后面获取文档

四、获取内容并输出

foritem in items: # 小说名print(item.text())

既然上面已经说到items已经变成可迭代对象,那就进行遍历,遍历后的内容还不是需要的文档,还是HTML,需要用到text()方法,获取文档,然后输出,就行了

五、结果展示

当然五页的内容不止这些,这只是截了一部分

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/21 4:23:51

yadm 完整使用指南:从入门到精通掌握点文件管理

yadm 完整使用指南:从入门到精通掌握点文件管理 【免费下载链接】yadm Yet Another Dotfiles Manager 项目地址: https://gitcode.com/gh_mirrors/ya/yadm yadm(Yet Another Dotfiles Manager)是一个基于Git构建的轻量级点文件管理工具…

作者头像 李华
网站建设 2026/7/21 17:25:48

代码随想录算法训练营第四十三天 | 98. 所有可达路径

邻接矩阵easypackage mainimport ("fmt" )var res [][]int var path []intfunc dfs(graph [][]int, x, n int) {if x n {tmp : make([]int, len(path))copy(tmp, path)res append(res, tmp)return}for i : 1; i < n; i {if graph[x][i] 1 {path append(path, …

作者头像 李华
网站建设 2026/7/21 7:52:32

GBase 8a数据库集群硬件部署安装建议

安装南大通用GBase 8a集群&#xff0c;建议至少三个机柜&#xff08;机柜的电源要保证各自独立供电&#xff09;&#xff0c;机柜中摆放 GBase 8a MPPCluster 产品的管理节点服务器和数据节点服务器&#xff0c;他们之间的网络通过交换机进行通讯&#xff0c;为了保证网络的高效…

作者头像 李华
网站建设 2026/7/21 4:55:44

GBase数据库护航国家管网SCADA系统四年无中断平稳运行

在能源行业的数字化转型中&#xff0c;稳定可靠的数据库是保障核心系统安全高效运行的基石。作为我国油气骨干管网运营主体&#xff0c;国家管网集团的SCADA系统是管道安全监测与调控的“中枢神经”。2021年起&#xff0c;GBASE南大通用GBase 8s凭借卓越的稳定性和高性能&#…

作者头像 李华
网站建设 2026/7/20 4:55:32

一文搞定 AI 智能体架构设计的9大核心技术

文章详解AI智能体架构9大核心技术&#xff1a;AI智能体、Agentic AI、工作流、RAG、微调、函数调用、MCP、A2A和AG-UI协议。这些技术构成大模型智能应用的核心框架&#xff0c;覆盖从底层架构到用户界面的完整技术栈&#xff0c;为开发者构建AI系统提供全面指导。 AI 智能体架构…

作者头像 李华