各位佬 怎么爬网站呀

各位佬 ,我会一点python ,爬虫完全是小白,有什么免费的插件或软件可以辅助爬一些常规网站,比如这些插件或软件可以获取部分网站的信息或python code,在这些信息或python code的基础上让gpt改改,就更完善一些,就可以爬了。任何意见或建议都非常感谢您 感谢感谢:pray::pray::pray:

10 个赞

如果是前后端分离的,就抓包用python直接请求
如果不是,就google搜索 无头浏览器
如果遇到防爬就google搜索\论坛求助\放弃

8 个赞

佬 您能具体说一下用python抓包 怎么写 或主要抓什么或推荐一本书或视频让我爬虫入门 感谢感谢您

3 个赞

不懂帮顶

4 个赞

抓包用F12,python就是个代码执行器

4 个赞

正则,bs4,xpath,selenium都可以啊

4 个赞

Python入门实践第一战不就是爬虫么,你是只学了基础语法?
你要爬虫那你就从基础的 requests 库学起,b站啥的找些视频,了解下http请求,爬一些简单的网站,先获取页面。
然后你需要获取元素,或者解析json,可以学一下beautifulsoup,以及lxml。
基本的爬虫原理就知道了。

7 个赞

不使用代码,可以考虑八爪鱼采集器。

2 个赞

Charles或Fiddler 抓包获取数据接口

3 个赞

如果想系统的学习爬虫,可以看崔大的这个:https://juejin.cn/post/7127190545172004878

3 个赞

[quote=“sxjeru, post:8, topic:174830, full:true, username:sxjeru”]
不使用代码,可以考虑八爪鱼采集器。
[/quote]这个是否收费呀 怎么突破收费呢

3 个赞

有增值功能,免费的个人够用。

或者教育邮箱白嫖。

2 个赞

[quote=“sxjeru, post:12, topic:174830, username:sxjeru”]
教育邮箱白嫖
[/quote]佬 我有教育邮箱 咋去白漂呀 感谢感谢

1 个赞

selenium呀

2 个赞

各种各样的验证码怎么过呢,我感觉老难了

EasySpider

3 个赞

drissionpage好用啊

2 个赞

From 快问快答 to 开发调优