请教下像 [IQIYI] 的爱奇艺这种类型web页面如何用python实现自动翻页至最底部后抓取所有影片的名称和下载影片的封面图片?
python小白一名,有一些基础,但碰到这种像 IQIYI 的无滚动条向下翻页后才动态加载页面内容的,雀氏无奈,试了好多次selenium+BeautifulSoup都没有效果,哪位编程大D佬能否帮忙指点一下,谢谢了!
直接抓https://www.iqiyi.com/prelw/portal/lw/v7/channel/tv 这个接口的数据就好了呀
感谢佬友,请教下这种接口是怎么去摸索或者发现到的,是要靠抓包分析还是有其他什么渠道和方法呢?我想了解和学习一下,一提到这种接口的发现就头大。
最简单的就是按f12,然后一个一个的找到对应的数据
感谢,学习到一点了,不过我看了下这个接口URL的解析,好像只有60来部片子的名称显示出来了,并不是全部的名称。不知道是不是我的认知和操作问题呢?
实际我大概计算了一下,应该是接近700多800部片子,所以应该是不是滚动页面后才加载呢?
(撰写)油猴脚本解君愁
不会滚就想办法自动滚 无他
分析为主 实现为辅
前面白桃大佬给的思路很好,只是我是想了解下https://www.iqiyi.com/prelw/portal/lw/v7/channel/tv 这样的接口是怎么发现和获取到的,仅是要靠F12的开发者工具去一个一个看么?一直很感兴趣,但总算摸不到法门
另外,我是想请教下https://www.iqiyi.com/prelw/portal/lw/v7/channel/tv 这样的接口是怎么发现和获取到的,也是要完全靠F12的开发者工具抓取网络后去一个一个看么?
一看 路由名字
二 清空刷新录制一页请求记录 排序响应类型 资源/XHR ?
响应内容大小 挨个点开瞄一眼
说多了都是经验 看多了就敏感了 找起来就会快
是的,一般都是xhr
十分感谢指点,另外求教一下你们常用的哪个工具干这个活稍微能直观和容易一些?
也感谢白桃大佬,同问常用的哪个工具干这个活稍微能直观和容易一些?![]()
准备一个测试用的浏览器就行(足够白,避免扩展脚本影响) 其他没什么
要想快 和 “傻瓜化”
辣鸡脚本逻辑都扔给LLM读
主打一个快速提炼要点 加速找对方向
从办公室回到家又按你的方式试了下,看了看xhr,是找到了data这一段url响应后的结果有影片的名称数据,不过也还是只有60来部的片名,估计是不是爱奇艺的机制问题么?没显示全
触发加载 再观察
应该也是懒加载,你可以看一下query参数有什么变化,找找规律


