gguf_quant_gui

ダウンロード済のHuggingFaceのモデルを一定のルールでGGUF量子化するGUIツール。

使い方

• gguf_quant_gui.pyのllama_cpp_path=""にllama.cppをCUIで実行する際のディレクトリを記述します。

• 実行してGUIが開いたら必要なフィールドを入力します。

• 入力が完了したら"変換と量子化を実行"を押すと量子化が開始します。

• 変換が完了したら "量子化に成功しました"のメッセージウィンドウが表示されます。

• 中断する場合は"量子化を中止ボタンを押してください"

備考

• HuggingFaceモデルからGGUF変換する際はBF16で変換します。

• 既にBF16のGGUFが存在する場合はHFのディレクトリが空でも動作します

• imatrixはchunks 32で作成されます。

• imatrixデータセット及びimatrixファイルの保存先が空の場合はimatrixなしで量子化します。

• 必要なフィールドの入力が足りない場合は"必要なフィールドを入力してください。"のエラーメッセージが表示されます

• 量子化に失敗した場合はエラーメッセージが表示されます。

履歴

[2025/02/01] - 初回リリース
[2025/02/02] - 量子化を中止ボタン追加、変換失敗で中途半端にファイルを出力した時の異常追加
[2025/02/02] - エラーする事があったので一部文字エンコードを修正
[2025/04/22] - エラーする事があったので一部文字エンコードを修正(2回目)