我是学社会学专业的,平常用知网搜中文论文时,总感觉基于关键词匹配找不到重要论文。所以做了个简易的语义搜索工具。运行逻辑是:
(1)先划定一些学界公认的高质量期刊(2)爬取期刊上所有的文献信息,包含题目、关键词和摘要(3)将信息传递给openAI 的 embeddings模型,将返回结果保存到本地的向量数据库(4)检索时,用户只需提供一段想法文本,这段文本也会转化为向量,然后与数据库中的文献作距离匹配。
这是上传到shinyapp的在线版本:https://plumber.shinyapps.io/ezsearch/
github仓库:https://github.com/plumberDong/Ezsearch