gemma4.cpp

基于纯 C++ 标准库，无需第三方库依赖的 gemma-4-E2B-it-qat-q4_0 推理框架

如何编译本项目

1. 项目中使用到了部分 C++26 特性，需要支持 C++26 标准 的 C++编译器 (例如 gcc 16.2.1, clang 22.1.8)

2. Clone 本项目

   git clone --depth 1 https://github.com/SyrieYume/gemma4.cpp
   cd gemma4.cpp

3. 执行下面的编译指令

   # 如果编译器是gcc
   g++ -O3 -std=c++26 -fno-rtti -ffast-math -fopenmp-simd -march=native main.cpp -o gemma4
   
   # 如果编译器是Windows平台的MinGW gcc
   g++ -O3 -std=c++26 -fno-rtti -ffast-math -fopenmp-simd -march=native main.cpp -o gemma4.exe -lstdc++exp -static
   
   # 如果编译器是clang
   clang++ -O3 -std=c++26 -fno-rtti -ffast-math -fopenmp-simd -march=native main.cpp -o gemma4

模型支持

目前只适配了Google官方的 gemma-4-E2B-it-qat-q4_0, 仅支持 GGUF 格式

模型文件下载地址：https://huggingface.co/google/gemma-4-E2B-it-qat-q4_0-gguf

模型推理

使用方式参考如下：

./gemma4 -m gemma-4-E2B_q4_0-it.gguf -p "你好!"  --system-prompt "你是一只猫娘" --thinking
./gemma4 -m gemma-4-E2B_q4_0-it.gguf -p "Hello, Gemma" --temp 1.0 --top-p 0.9 --max-tokens 4096