Skip to content

关于大规模数据集下检索性能的咨询 #6

@ki117ove-pixel

Description

@ki117ove-pixel

您好!

首先非常感谢你们开源了如此出色的工作,为社区提供了极大的便利。

我在使用过程中遇到了一个关于大规模数据检索的性能问题,目前我在本地部署时发现,backend.py 默认采用了 FaissFlatSearcher。在处理 OpenResearch 这样的大规模语料库,即便直接使用项目提供的预处理好的 Embedding,单次查询的延迟达到了数秒甚至更高

因此,我想请教一下,你们在实际环境下,是否采用了其他的优化策略?

非常期待能得到你们的建议,再次感谢你们的卓越工作!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions