Skip to content

怎么增量更新parquet数据 #9

Description

@huawumingguo

你好,
我看 这里的数据 https://github.com/kay-ou/SimTradeData/releases 只有 parquet的,没看到duckdb

如果我自己每天跑增量数据download_efficient, 是存到 DuckDB 的,
然后通过 python scripts/export_parquet.py --delta --base-version 2026-05-26 --target-version 2026-06-01 --market cn --output /xxx/xx 来增量导出的

但我看这个export_parquet 是会把 output_dir的parquet文件直接删掉, 再用db数据全量覆盖的? 还是有其它地方可以增量的?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions