机器学习大佬看过来, 如何将语义相近的句子合并成一个段落

请教下各位大佬,有没有把一段割断的话连成一个完整的段落的模型呢? 目前想的是基于规则来拼接完整的字段段落.
例如:
【中美达成五点共识】4 月 26 日,中共中央政治局委员、外交部长
王毅在北京同美国国务卿布林肯举行会谈,
双方在全面交换意见基础
上形成五点共识。第一,双方同意继续按照两国元首指引,努力稳定
并发展中美关系;
第二,
双方同意保持高层交往和各层级接触;
第三,
双方宣布将举行中美人工智能政府间对话首次会议;
第四,
双方将采
取措施扩大两国人文交流;
第五,
双方就国际地区热点问题保持协商,
双方特使加强沟通。

需要变成:

【中美达成五点共识】4 月 26 日,中共中央政治局委员、外交部长王毅在北京同美国国务卿布林肯举行会谈,双方在全面交换意见基础上形成五点共识。第一,双方同意继续按照两国元首指引,努力稳定并发展中美关系;第二,双方同意保持高层交往和各层级接触;第三,双方宣布将举行中美人工智能政府间对话首次会议;第四,双方将采取措施扩大两国人文交流;第五,双方就国际地区热点问题保持协商,双方特使加强沟通。

帮顶,蹲大佬来

1 Like

在段落末尾添加一行"OCR校对"就可以达成同样的效果
以下是kimi的效果:

1 Like

这个举例不完整,示例中只合成一个段落,根本就不需要上大模型,用代码去掉换行符就行了。

2 Likes

可不可以理解成 文档内直接自动换行,就用不到AI了吧

From #dev:ml to 开发调优

1 Like