全自动解析JSON遇到的问题

工作需要让每天都统计所在城市的二手的成交量,长这样的
mmexport1720431671480

求个可以全自动统计每天数据的方法,存到腾讯文档之类的各种云端表格中, :kissing_heart: :kissing_heart: :kissing_heart:
我目前整的稀碎,方法是在贝壳找房APP上,选择城市,不需要登录就可以查到成交量,不过成交量只显示前一天的,想统计每天只能天天查,想到抓个包,每天自动去查,不就方便多了么。
抓到的全天津URL是http://rssv.cn/api/ke.php,以今天2024/07/08为例,用curl -s解析一下(curl -s “http://rssv.cn/api/ke.php”)得到结果
成交: 229套
新增房: 838套
新增客:6472人
带看量:5318次

每个区域单独的,以南开区为例,抓到的链接是https://m.ke.com/archer/api/apiProxy/channelApiProxy/api/index/secondhouse?city_id=120000&ucid=&month=&district_id=120104&bizcircle_id=

其中city_id是城市,district_id是区域,120000和120104分别代表天津市和南开区,这样用不同的区域代号都搞一遍每个区的都能搞出来了。
但是麻烦来了,用curl-s解析南开区,得到的结果是一大串JSON,数据特别多,前面一部分里面包含了我需要的南开区成交量数据
{ “code”:100000, “data”:{“error_code”:0, “error_msg”:“success”, “request_id”:“b4a664f4-dd2d-4160-b1e1-94ed44cb1af1”, “server_ip”:“10.226.132.115”, “data”:{“price_index”: {“price”:26874, “mom”:“-1.3%”, “yoy”:“-6.4%”, “show_mon”:202405, “rate”:[{“num”:“1.3%”,“text”:“环比上月”,“sign”:-1}, {“num”:“6.4%”,“text”:“同比上年”,“sign”:-1}]}, “supply_index”:[{“num”:22,“text”:“成交(套)”,“key”:“yd_dealed”,“icon”:“https://img.ljcdn.com/beike/ajax/m/1605755658525.png",“actionUrl”:“https://m.ke.com/tj/chengjiao/d120104”,“actioniOSScheme”:“lianjiabeike://tradedSearch/list”,“actionAndroidScheme”:"lianjiabeike://tradehistory/list”}, {“num”:136,“text”:“新增房(套)”,“key”:“yd_quoted”}, {“num”:311,“text”:“带看量(次)”,“key”:“yd_showed”}],***后面还有很多

在其中的supply_index中{“num”:22,“text”:"成交(套)"这部分就是我要的数据,要解析这段JSON数据,好像用jq工具比较方便一些
jq -r ‘.data.data.supply_index | select(.text == “成交(套)”) | .num’
这样就得到了22这个数。
同样的方法把每个区的代号遍历,每个区的量就也都有了,但是这些数怎么全自动每天都更新到云端表格里,我也不会 :melting_face:
哎,我就是这也不会那也不会(数也会全自动解出来,还不会全自动填上去),求哪位大佬帮看一下,有没有方法能实现我这个想法,感激不尽

2 Likes

云表格应该没有api直接插入数据吧,这个难办。
前面的涉及到爬虫和数据解析,随便个js,python都可以。

你的描述实在是有点混乱,我甚至没看懂你具体是想要的是什么数据。。
看了两遍,感觉你目前是有两个问题。

1. 如何解析Json

搜索“Java 解析Json”,或者你熟悉的编程语言。

如何把数据更新到腾讯文档在线表格

在线表格批量更新接口 | 腾讯文档开放平台开发文档

想要自己不用动手就自动每天统计上成交量数据的表格。
上面主要写了自己的一种思路,确实看起来比较乱 :smiling_face_with_three_hearts:
重点忘了说,相关的代码还要托管在云端每天自动执行下,才能达到完全不用动手 :thinking:

来学习来学习