数据集是否存在未来信息泄露

[njtraveller]

如题，请论文大神回答下。有同样的英文提的问题。

[njtraveller]

@shiyu-coder 请关注下，谢谢

[njtraveller]

经过对代码的仔细分析，该数据集构建过程存在明显的未来信息泄露，主要问题出现在 dataset.py 的实例级归一化（instance normalization）步骤中。具体分析如下：

一、泄露的位置与原因
在 dataset.py 的 getitem 方法中（约第 78–85 行）：

python

提取滑动窗口（长度 = lookback_window + predict_window + 1）

win_df = df.iloc[start_idx:end_idx] # 包含历史 + 预测窗口
x = win_df[self.feature_list].values

对整个窗口（包含未来数据）进行均值和标准差计算

x_mean, x_std = np.mean(x, axis=0), np.std(x, axis=0)
x = (x - x_mean) / (x_std + 1e-5) # 泄露！
窗口定义：self.window = lookback_window + predict_window + 1，即一个样本同时包含 历史输入段 和 未来预测段。

归一化范围：均值和标准差是基于整个窗口（历史+未来）计算的，这意味着：

训练时，模型在预测未来值之前，已经“看到”了未来时间段的全局统计信息（例如未来价格的大幅波动会影响归一化的尺度）。

这会使得模型在推理阶段无法复现相同的归一化条件（因为推理时没有未来的真实值），导致训练与推理的分布不匹配，并严重高估模型性能。

[shiyu-coder]

这确实是finetune中存在的一个问题，会影响模型在真正的测试集上的表现，应该用lookback_window内的数据计算mean和std

[njtraveller]

是否影响到已训练的模型？如果是，是否可以再提供一下解决bug后重新训练的模型？只有您可以最佳判断在没有未来数据集下的模型是否具有很好的预测能力。谢谢！

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2026年3月30日(周一) 晚上10:42 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [shiyu-coder/Kronos] 数据集是否存在未来信息泄露 (Issue #228) shiyu-coder left a comment (shiyu-coder/Kronos#228) 这确实是finetune中存在的一个问题，会影响模型在真正的测试集上的表现，应该用lookback_window内的数据计算mean和std — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>