¥0.05,3分钟生成《石头记》第一回的图谱:微软 graphrag + deepseek-chat

!python -m graphrag.query \
  --root ./hlm-zh \
  --method global  \
"关于什么的?"
INFO: Reading settings from hlm-zh/settings.yaml
creating llm client with {'api_key': 'REDACTED,len=35', 'type': "openai_chat", 'model': 'deepseek-chat', 'max_tokens': 4000, 'temperature': 0.0, 'top_p': 1.0, 'n': 1, 'request_timeout': 180.0, 'api_base': 'https://api.deepseek.com', 'api_version': None, 'organization': None, 'proxy': None, 'cognitive_services_endpoint': None, 'deployment_name': None, 'model_supports_json': True, 'tokens_per_minute': 0, 'requests_per_minute': 0, 'max_retries': 10, 'max_retry_wait': 10.0, 'sleep_on_rate_limit_recommendation': True, 'concurrent_requests': 25}

SUCCESS: Global Search Response: 该社区围绕封肃及
其女婿士隐的关系展开,涉及封氏、新太爷、大如州和甄
家大丫鬟等实体。封肃作为士隐的岳丈,对士隐的态度并
不十分友好,而封氏作为士隐的妻子,对士隐的离去感到
悲痛并努力寻找他。新太爷的到来引起了社区的关注,而
甄家大丫鬟则目睹了新太爷到任的场景。[Data: Reports (4)]

士隐是该社区的核心人物,他经历了一系列幻境和现实交
织的事件,对周围发生的事情感到困惑和犹豫。他对道人
的《好了歌》有所领悟,并在梦中经历了太虚幻境,这些
经历对他产生了深远的影响。士隐的慷慨和宿慧使他成为
社区中受人尊敬的人物。[Data: Reports (6)]

空空道人是一位访道求仙者,他发现了石头的故事并将其
记录下来,后来改名为情僧。他的活动涉及了对《石头
记》故事的发现、记录和再创作。空空道人与石头进行了
对话,讨论了将石头的故事编写成书的可行性,并最终决
定编写《石头记》。这些活动不仅展示了空空道人的探索
精神和创作能力,也揭示了他对《石头记》内容的深入理
解和感悟。[Data: Reports (11)]

太虚幻境作为本社区的核心地点,不仅是警幻仙子的居
所,也是甄士隐梦境中的重要场景。这一地点的象征意义
深远,与通灵宝玉、神瑛侍者和绛珠仙子的命运紧密相
连,体现了其在仙界和凡间交织中的核心地位。[Data: 
Reports (3)]

石头被道人和僧人带入红尘,并被僧人施法变成美玉,这
一过程是社区的核心活动。石头的转变不仅体现了仙师的
能力,也象征着社区对红尘的影响和干预。石头的角色在
社区中是至关重要的,它连接了道人、僧人和士隐,构成
了社区的主要关系网络。[Data: Reports (9)]

llm: deepseek-chat,数据库生成耗费约 ¥0.05,3分钟
embeddings:免费384维模型 https://mikeee-emb384-oai.hf.space/v1

summarized_graph-lhm-ch1.zip (7.1 KB graphhml 文件可用 yed 或 Gephi 打开)

9 Likes

多少万字?

1 Like

前排

3 Likes

用的这个 https://raw.githubusercontent.com/ffreemt/en-de-zh-txt/master/hlm-ch1-zh.txt 连标点符号约 7800 字的样子

ai生成内容要截图发.

3 Likes

那个免费384维模型怎么调用?

1 Like

用AI分析红楼梦?太有创意了。

1 Like

参看这个贴 一键复制抱抱脸空间之embeddings(兼容openai可跑ms graphrag), settings.yaml emddings部分设成

embeddings:
  ## parallelization: override the global parallelization settings for embeddings
  async_mode: threaded # or asyncio
  llm:
    api_key: 你的HF_TOKEN
    type: openai_embedding # or azure_openai_embedding
    model: any
    api_base: https://mikeee-emb384-oai.hf.space/v1

机器拖得动的话也可以直接本地跑个 embddings 接口

2 Likes

看着不错诶

384跟自己部署的m3e那个好点?快?准?稳?

1 Like

graphhml 文件用那个软件打开只有一个小方块,是有版本限制还是缺失了文件导致?

这个graph挺有意思,看来是从人物出发的,核心人物是甄士隐。
如果能生成excalidraw就好了,可以直接把节点变成一个个的笔记,然后bilink到其他的图表里。

左上角有个layout

2 Likes

有意思,要玩一下

他这个是不是还有其他的展示方式?
就是布局
感觉怎么核心是甄士隐?
也就是说,搞不好让AI分析后,发现曹写的压根就不是史上一直认为的那目的或者意识?

layout里面有几种布局,可以改。
这个图表是个人物关系树,第一章的核心人物的确是甄士隐

不知道能不能生成时间线,有了时间线就有了大纲和细纲了。

1 Like

快的话肯定 emb384,测试过某个场景, emb384的速度是m3e 十倍的样子,十倍对于有GPU的佬自然不算什么,纯CPU的话就是 3 分钟和 30 分钟的区别 :grinning:

准、狠方面不清楚……

提取时间线可能需要折腾一番,我想象即便有可能也不是几行码的事情……

那你空间的BBAI呢?可以做重排么?我想用在我抱脸空间的fastgpt作为重排模型,求具体使用方法?

1 Like

刚回来私信,貌似那个BAAI空间做的并不是真正意义的重排