兄弟们，求个爬虫。

开发调优
1

佬们，求个问题哈，我一个朋友，老喜欢装逼，它自己爬取出来这个数据了，好家伙装的不要不要的，我们老师也让我弄，我问他，以下是对话记录，好尴尬啊 :rofl:

image
image466×460 9.69 KB

是这样子的，我想要这些数据，但是一个月就要20刀的会员，能不能爬下来呢？
网址：https://sc.macromicro.me/charts/23487/cn-the-three-gorges-dam-water-stage
image
image1608×690 107 KB

10 Likes
2

有点装啊tieba_087

2 Likes
3

是啊，这不，我来求L站老友们了，我实在是不会整这玩意了。 :joy:

4

是我一个师兄，哎，之前还请他吃饭啥的，没想到，为了在女生面前，显示一下，直接把我踹走了。 :hot_face:

1 Like
5

求有技术的佬友实现下。

6

我要无懈你的无中生友

7

坐等Python大佬tieba_024

1 Like
8

不是很懂要什么，但是你框的不是明文的吗

图片
图片624×512 42.9 KB

9

我也是说啊，没懂楼主要啥

10 
curl 'https://sc.macromicro.me/charts/data/23487' \
  -H 'authorization: Bearer 24f56ead77bd2af99527184f409b7257' \
  -H 'cookie: PHPSESSID=jb4ttmfdccvn52hgoe0vhfg9ln' \
  -H 'referer: https://sc.macromicro.me' \
  -H 'user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36'

把authorization、cookie、referer、user-agent请求头带上就可以拿到数据了

authorization来自 https://sc.macromicro.me/charts/23487/cn-the-three-gorges-dam-water-stage 页的<p>标签的data-stk属性，正则匹配轻松拿下。

cookie.PHPSESSID同样来自 https://sc.macromicro.me/charts/23487/cn-the-three-gorges-dam-water-stage 响应头，很可能第一次访问任何页面都会返回。

referer和user-agent固定值，没什么好说的。

好了如果你实在不会写代码，就把这段话丢给GPT让AI写

5 Likes
11

下载个cursor，你把网页url和页面元素贴给他。分分钟给你爬下来

12

看起来确实不难处理啊 :rofl:

13

image
image991×1161 81.6 KB

这明文，你直接丢给ai就行了

1 Like
14

还多L热佬多 :innocent:

1 Like
15

楼上都说的是明文，你获取数据后处理一把就成了。

1 Like
16

兄弟们你们是真吊，都是大佬。

17

抽象的师兄。

18

cursor 搓一个

19

真强啊。要2015年到2024年的所有数据哈。

20

23487_data.zip (516.4 KB)

7 Likes