话题聚合 · Demo

个信息源在 天里发的 条内容,按语义聚成「同一件事」,再叠加结构化分析。
下面是真实数据、按热度排序、没有人工挑选 —— 包括它做得不好的地方。

为什么不用关键词聚类

同一批数据,同一个窗口:语义聚类找到 个跨源事件,线上的关键词重叠算法(Jaccard≥0.3)只找到 个。

语义 (bge-m3)
关键词 Jaccard

其中 个话题会被关键词法漏聚或切碎(下面带 关键词法漏聚 标记):不同媒体写同一件事用词不同,关键词交集根本不够。 个话题甚至跨语种——中文稿和英文稿讲的是同一件事,关键词法永远聚不到一起。