部署模型最小资源是怎样的，24G显存不够，是否有量化版本模型。

[wandouqiang]

[laitselec]

你好，这个系列的模型参数约9B，如果以原生BF16精度加载模型进行推理，24G显存对于5min内的歌肯定是够的(音频时长越长占显存越多，因为1秒音频大约对应10个token，比如说3分钟的歌就会占模型上下文中1800个token)

至于量化，目前没有单独的版本，不过可以在加载模型时用bitsandbytes直接量化为4bit或8bit

from transformers import BitsAndBytesConfig
from transformers import AutoTokenizer, AutoModelForCausalLM
hf_path = 'Yi3852/MuFun-Instruct' # or 'Yi3852/MuFun-Base' 'Yi3852/MuFun-ACEStep' 'Yi3852/MuFun-ABC'
tokenizer = AutoTokenizer.from_pretrained(hf_path, use_fast=False)
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,  # or load_in_8bit=True for 8-bit quantization
    llm_int8_skip_modules=["lm_head", 'vision_tower', 'connector']
)
model = AutoModelForCausalLM.from_pretrained(
    hf_path,
    trust_remote_code=True,
    torch_dtype="bfloat16",
    device_map="auto",
    quantization_config=quantization_config
)

仓库中demo/mufun_acestep/gr_app.py可供参考(这个demo的网址在 http://47.121.209.64/mufun_demo_acestep)
实测用以上方法4bit损失也不大，这样对于一般长度的歌12G显存就够了

其他部署方法如果有需求我之后去研究一下怎么搞
如果还有其他问题，欢迎继续反馈

[wandouqiang]

非常感谢你的回答。我是P40显卡。正常9B模型是没有问题的。
用你给的代码正常输出结果，虽然开头不是很对。

`from transformers import BitsAndBytesConfig
from transformers import AutoTokenizer, AutoModelForCausalLM
hf_path = 'models/MuFun-Instruct' # or 'Yi3852/MuFun-Base' 'Yi3852/MuFun-ACEStep' 'Yi3852/MuFun-ABC'
tokenizer = AutoTokenizer.from_pretrained(hf_path, use_fast=False)
quantization_config = BitsAndBytesConfig(
load_in_4bit=True, # or load_in_8bit=True for 8-bit quantization
llm_int8_skip_modules=["lm_head", 'vision_tower', 'connector']
)
model = AutoModelForCausalLM.from_pretrained(
hf_path,
trust_remote_code=True,
torch_dtype="bfloat16",
device_map="auto",
quantization_config=quantization_config
)

aud="./书香年华.mp3"
inp="\nCan you listen to this song and tell me its lyrics?"
res=model.chat(prompt=inp, audio_files=aud, tokenizer=tokenizer)
print(res)`

云鬓摇曳斜带风 万丈清空 白虹贯穹 似见青雀跃 纯白的衣裳 三尺剑 六钧弓 临北地 江东 人间青史篇 烈烧我坟头 多久没有提笔 为你写一首诗 对偶平仄押韵 难道都再古质 常常欲言又止 表达却放轻纸 书道永世才和年少 还真那么回事 梦里一记钟声 恍然交汇故事 画名柳眉春日 书页里有天学思 苦读百卷经史 不知为功名致词 学问里自由传承 何见之 朗朗书声入春风 拂过千年时空 少年啊壮志在胸 负手此让人感动 借一场古典的梦 与东坡热情相拥 别告诉她 将被千古传颂 云鬓摇曳斜带风 万丈清空 白虹贯穹 似见青雀跃 纯白的衣裳 三尺剑 六钧弓 临北地 江东 人间青史篇 烈烧我坟头 梦里一记钟声 恍然交汇故事 画名柳眉春日 书页里有天学思 苦读百卷经史 不知为功名致词 学问里自由传承 何见之 朗朗书声入春风 拂过千年时空 少年啊壮志在胸 负手此让人感动 借一场古典的梦 与东坡热情相拥 别告诉她 将被千古传颂 别告诉她 将被千古传颂

但是如下代码报错 RuntimeError: CUDA error: out of memory
显存缓慢增加然后oom

`from transformers import AutoTokenizer, AutoModelForCausalLM
hf_path = "models/MuFun-Instruct" # or Yi3852/MuFun-Base
tokenizer = AutoTokenizer.from_pretrained(hf_path, use_fast=False)
device="cuda"
model = AutoModelForCausalLM.from_pretrained(hf_path, trust_remote_code=True, torch_dtype="bfloat16")
model.to(device)

prompt
aud="./书香年华.mp3"
inp="\nCan you listen to this song and tell me its lyrics?"
res=model.chat(prompt=inp, audio_files=aud, tokenizer=tokenizer)
print(res)`

[laitselec]

非常感谢你的回答。我是P40显卡。正常9B模型是没有问题的。 用你给的代码正常输出结果，虽然开头不是很对。

`from transformers import BitsAndBytesConfig from transformers import AutoTokenizer, AutoModelForCausalLM hf_path = 'models/MuFun-Instruct' # or 'Yi3852/MuFun-Base' 'Yi3852/MuFun-ACEStep' 'Yi3852/MuFun-ABC' tokenizer = AutoTokenizer.from_pretrained(hf_path, use_fast=False) quantization_config = BitsAndBytesConfig( load_in_4bit=True, # or load_in_8bit=True for 8-bit quantization llm_int8_skip_modules=["lm_head", 'vision_tower', 'connector'] ) model = AutoModelForCausalLM.from_pretrained( hf_path, trust_remote_code=True, torch_dtype="bfloat16", device_map="auto", quantization_config=quantization_config )

aud="./书香年华.mp3" inp="\nCan you listen to this song and tell me its lyrics?" res=model.chat(prompt=inp, audio_files=aud, tokenizer=tokenizer) print(res)`

云鬓摇曳斜带风 万丈清空 白虹贯穹 似见青雀跃 纯白的衣裳 三尺剑 六钧弓 临北地 江东 人间青史篇 烈烧我坟头 多久没有提笔 为你写一首诗 对偶平仄押韵 难道都再古质 常常欲言又止 表达却放轻纸 书道永世才和年少 还真那么回事 梦里一记钟声 恍然交汇故事 画名柳眉春日 书页里有天学思 苦读百卷经史 不知为功名致词 学问里自由传承 何见之 朗朗书声入春风 拂过千年时空 少年啊壮志在胸 负手此让人感动 借一场古典的梦 与东坡热情相拥 别告诉她 将被千古传颂 云鬓摇曳斜带风 万丈清空 白虹贯穹 似见青雀跃 纯白的衣裳 三尺剑 六钧弓 临北地 江东 人间青史篇 烈烧我坟头 梦里一记钟声 恍然交汇故事 画名柳眉春日 书页里有天学思 苦读百卷经史 不知为功名致词 学问里自由传承 何见之 朗朗书声入春风 拂过千年时空 少年啊壮志在胸 负手此让人感动 借一场古典的梦 与东坡热情相拥 别告诉她 将被千古传颂 别告诉她 将被千古传颂

但是如下代码报错 RuntimeError: CUDA error: out of memory 显存缓慢增加然后oom

`from transformers import AutoTokenizer, AutoModelForCausalLM hf_path = "models/MuFun-Instruct" # or Yi3852/MuFun-Base tokenizer = AutoTokenizer.from_pretrained(hf_path, use_fast=False) device="cuda" model = AutoModelForCausalLM.from_pretrained(hf_path, trust_remote_code=True, torch_dtype="bfloat16") model.to(device)

prompt aud="./书香年华.mp3" inp="\nCan you listen to this song and tell me its lyrics?" res=model.chat(prompt=inp, audio_files=aud, tokenizer=tokenizer) print(res)`

OK，这个估计是P40显卡架构不支持bfloat16这个数值格式，还是变成float32，这样9×4=32G加载就爆显存了
改成torch_dtype="float16"可能可以，不够这样也会有转换损失

另外，如果只是歌词转写任务我最近发现Yi3852/MuFun-ACEStep这个微调版本效果比较好
直接在demo网页http://47.121.209.64/mufun_demo_acestep 上测了一下感觉准确率更高