표 데이터를 위한 커스텀 네트워크 기반 스테이블 디퓨전

이 프로젝트는 기존의 텍스트 프롬프트 대신, 표(Tabular) 데이터를 입력으로 받아 이미지를 생성하도록 스테이블 디퓨전 모델을 파인튜닝합니다. 표 데이터를 처리하고 디퓨전 모델의 UNet을 조건화하기 위해 커스텀 신경망을 사용합니다.

주요 특징

표 데이터 입력: 숫자 또는 범주형 데이터를 기반으로 이미지를 생성합니다.
커스텀 조건화: 커스텀 네트워크가 표 입력을 디퓨전 모델을 위한 임베딩으로 변환합니다.
스테이블 디퓨전 v1.5: 널리 사용되는 강력한 스테이블 디퓨전 v1.5 모델을 기반으로 합니다.
혼합 정밀도 학습 (Mixed Precision Training): 메모리 효율성과 학습 속도 향상을 위해 float16 및 bfloat16 혼합 정밀도 학습을 지원합니다.
그라디언트 클리핑 (Gradient Clipping): 학습 중 기울기 폭발(Gradient Explosion)을 방지하기 위한 클리핑 기능을 구현했습니다.
파인튜닝: 새로운 조건(Conditioning)을 이해하도록 스테이블 디퓨전 파이프라인의 UNet 부분을 수정합니다.
간편한 설정: 모든 실험, 모델, 학습 파라미터를 default.yaml 파일 하나로 관리합니다.
즉시 사용 가능한 스크립트: 학습을 위한 train.py와 학습된 모델로 이미지를 생성하는 inference.py를 포함합니다.
재현성: 컨테이너화된 환경을 구축하기 위한 Dockerfile을 포함합니다.

리포지토리 클론:

git clone https://github.com/your-username/your-repo-name.git
cd your-repo-name

의존성 설치:
```
pip install -r requirements.txt
```
사전 학습된 스테이블 디퓨전 v1.5 다운로드: 이 프로젝트는 스테이블 디퓨전 v1.5의 원본 가중치가 필요합니다. 가중치를 다운로드하여 특정 디렉토리에 배치해야 합니다. default.yaml의 기본 설정은 ../../../weight_original/stable-diffusion-v1-5 경로를 사용합니다.

Hugging Face Hub에서 가중치를 다운로드할 수 있습니다: stable-diffusion-v1-5

모델 가중치를 올바르게 다운로드하려면 git-lfs가 설치되어 있어야 합니다.

데이터 로더는 data_example/sushi 디렉토리와 같은 특정 구조의 데이터셋을 필요로 합니다.

metadata.jsonl 예시:

{"file_name": "sushi_0.jpg", "custom_input": [1, 0, 0, 0, 0]}

file_name: images 폴더에 있는 이미지 파일의 이름.
custom_input: 표 데이터를 나타내는 숫자 리스트. 이 리스트의 길이는 설정 파일의 model_custom.num_input_layer와 일치해야 합니다.

default.yaml 파일의 data.path_dataset을 당신의 데이터셋 디렉토리 경로로 수정하세요.

모든 설정은 default.yaml을 통해 제어됩니다. 주요 설정 파라미터는 다음과 같습니다.

experiment: 실험 이름, 저장 디렉토리, 시드(seed) 설정.
model_custom:
- num_input_layer: 표 데이터 입력의 피처(feature) 수.
- path_sd: 사전 학습된 스테이블 디퓨전 v1.5 가중치 경로.
train: 에포크, 배치 크기, 학습률 등 학습 관련 파라미터.
- dtype: 학습 데이터 타입입니다. "float32", "float16", "bfloat16"을 지원합니다. "float16" 또는 "bfloat16"으로 설정하고 CUDA 환경인 경우 자동으로 혼합 정밀도 학습이 활성화됩니다.
data:
- path_dataset: 데이터셋 디렉토리 경로.

모델 학습을 시작하려면 train.py 스크립트를 실행하세요. 이 스크립트는 다음을 수행합니다.

python train.py

체크포인트와 최적 모델은 실험 디렉토리(예: ../../../exp_results/YYYYMMDD_HHMMSS_exp)에 저장됩니다.

학습이 완료된 후, inference.py를 사용하여 이미지를 생성할 수 있습니다.

모델 경로 설정: inference.py 파일을 열고 path_infer 변수를 당신의 실험 디렉토리 경로로 수정합니다.
```
# inference.py에서
path_infer = "../../../exp_results/your_experiment_timestamp_exp"
```
입력 데이터 제공: list_values 변수를 이미지로 생성하려는 표 데이터로 수정합니다. 입력은 공백으로 구분된 숫자 문자열이어야 합니다.
```
# inference.py에서
values_input_0 = "0 1 0 0 1"
values_input_1 = "1 0 0 0 0"
list_values = [values_input_0, values_input_1]
```
스크립트 실행:
```
python inference.py
```

생성된 이미지는 img_gen 디렉토리에 저장됩니다.