您好! 首先非常感谢你们开源了如此出色的工作,为社区提供了极大的便利。 我在使用过程中遇到了一个关于大规模数据检索的性能问题,目前我在本地部署时发现,backend.py 默认采用了 FaissFlatSearcher。在处理 OpenResearch 这样的大规模语料库,即便直接使用项目提供的预处理好的 Embedding,单次查询的延迟达到了数秒甚至更高 因此,我想请教一下,你们在实际环境下,是否采用了其他的优化策略? 非常期待能得到你们的建议,再次感谢你们的卓越工作!
您好!
首先非常感谢你们开源了如此出色的工作,为社区提供了极大的便利。
我在使用过程中遇到了一个关于大规模数据检索的性能问题,目前我在本地部署时发现,backend.py 默认采用了 FaissFlatSearcher。在处理 OpenResearch 这样的大规模语料库,即便直接使用项目提供的预处理好的 Embedding,单次查询的延迟达到了数秒甚至更高
因此,我想请教一下,你们在实际环境下,是否采用了其他的优化策略?
非常期待能得到你们的建议,再次感谢你们的卓越工作!