Skip to content

finetune_cosmopedia.sh如何训练出来8B模型 #27

@RuipingWang1986

Description

@RuipingWang1986

您好,根据您的指导,我目前已经可以跑通finetune_cosmopedia脚本的训练,但是我发现生成的模型和之前使用的llama2-7B模型规模基本是相同的,并没有增大;另外,按照您论文里提到的,应该是可以自己设计添加多少层,但我在训练脚本中也没有发现。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions