各位佬 ,我会一点python ,爬虫完全是小白,有什么免费的插件或软件可以辅助爬一些常规网站,比如这些插件或软件可以获取部分网站的信息或python code,在这些信息或python code的基础上让gpt改改,就更完善一些,就可以爬了。任何意见或建议都非常感谢您 感谢感谢
10 个赞
如果是前后端分离的,就抓包用python直接请求
如果不是,就google搜索 无头浏览器
如果遇到防爬就google搜索\论坛求助\放弃
8 个赞
佬 您能具体说一下用python抓包 怎么写 或主要抓什么或推荐一本书或视频让我爬虫入门 感谢感谢您
3 个赞
不懂帮顶
4 个赞
抓包用F12,python就是个代码执行器
4 个赞
正则,bs4,xpath,selenium都可以啊
4 个赞
Python入门实践第一战不就是爬虫么,你是只学了基础语法?
你要爬虫那你就从基础的 requests 库学起,b站啥的找些视频,了解下http请求,爬一些简单的网站,先获取页面。
然后你需要获取元素,或者解析json,可以学一下beautifulsoup,以及lxml。
基本的爬虫原理就知道了。
7 个赞
不使用代码,可以考虑八爪鱼采集器。
2 个赞
Charles或Fiddler 抓包获取数据接口
3 个赞
如果想系统的学习爬虫,可以看崔大的这个:https://juejin.cn/post/7127190545172004878
3 个赞
[quote=“sxjeru, post:8, topic:174830, full:true, username:sxjeru”]
不使用代码,可以考虑八爪鱼采集器。
[/quote]这个是否收费呀 怎么突破收费呢
3 个赞
有增值功能,免费的个人够用。
或者教育邮箱白嫖。
2 个赞
[quote=“sxjeru, post:12, topic:174830, username:sxjeru”]
教育邮箱白嫖
[/quote]佬 我有教育邮箱 咋去白漂呀 感谢感谢
1 个赞
selenium呀
2 个赞
各种各样的验证码怎么过呢,我感觉老难了
EasySpider
3 个赞
drissionpage好用啊
2 个赞