Skip to content

Latest commit

 

History

History
553 lines (430 loc) · 23.8 KB

plan.md

File metadata and controls

553 lines (430 loc) · 23.8 KB

Q

서버 설정에 제한 받지 않고 이미지를 분석하기 위해 floorp browser custom을 포함하여 웹사이트 접속 시 해당 페이지에서 이미지를 huggingface space에 전달하거나 client webgpu를 사용하여 분석하는 도구 작성 기능: 이미지가 realistic에 가까울수록 1, illustration에 가까울수록 0 표시 이미지가 여러 개인 경우 여럿 표시 웹브라우저에서 동작이 어렵다면 원격 디버깅 포함

plan

● 이미지 분류 모델을 어떻게 처리할까요? → WebGPU 우선 (Recommended) ● realistic vs illustration 분류에 사용할 모델이 있나요? → 새로 학습/선택 필요 ● 브라우저 확장 외 원격 디버깅도 필요한가요? → Floorp/Firefox 확장으로 어려우면 CDP 원격 디버깅 포함

핵심 구성요소:

  1. Floorp/Firefox 확장 - Manifest V3, 이미지 감지 및 점수 오버레이 표시
  2. WebGPU 추론 - transformers.js + Deep-Fake-Detector-v2 모델 (92% 정확도)
  3. HuggingFace Space fallback - WebGPU 불가 시 서버 추론
  4. CDP 원격 디버깅 - 확장이 접근 불가한 콘텐츠용 (선택)

구현 순서:

  • Phase 1: 기본 확장 (manifest, content script, popup)
  • Phase 2: WebGPU 추론 통합
  • Phase 3: HF Space fallback
  • Phase 4: CDP 원격 디버깅
  • Phase 5: 최적화 (cross-origin, 배치 처리, 캐싱)

────────────────────────────────────────────────────────────────────────────────── Ready to code?

Here is Claude's plan: ╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌ diffReal - 이미지 Realistic/Illustration 분류 브라우저 확장

요약

웹페이지의 이미지를 분석하여 realistic(1) ~ illustration(0) 점수를 표시하는 Floorp/Firefox 확장 프로그램

기술 스택

  • 추론 엔진: WebGPU 우선 (transformers.js) + WASM fallback + HuggingFace Space fallback
  • 모델: onnx-community/Deep-Fake-Detector-v2-Model-ONNX (ViT 기반, 92.12% 정확도)
  • 브라우저 확장: Manifest V3 (Firefox/Floorp 호환)
  • 원격 디버깅: CDP (Chrome DevTools Protocol) - 확장이 접근 불가한 콘텐츠용

프로젝트 구조

diffReal/ ├── extension/ # 브라우저 확장 │ ├── manifest.json # MV3 설정 │ ├── background/service-worker.js │ ├── content/ │ │ ├── content-script.js # 이미지 감지 & 오버레이 │ │ └── overlay.css │ ├── offscreen/ │ │ ├── offscreen.html # WebGPU용 오프스크린 문서 │ │ └── offscreen.js # 추론 엔진 │ ├── lib/inference-engine.js # WebGPU/WASM/HF 추상화 │ ├── popup/ # 팝업 UI │ └── options/ # 설정 페이지 ├── server/ # CDP 원격 디버깅 서버 (선택) │ └── src/ │ ├── index.js # Express 서버 │ └── cdp-controller.js # CDP 제어 ├── hf-space/ # HuggingFace Space fallback │ ├── app.py # Gradio 앱 │ └── requirements.txt └── package.json

구현 순서

Phase 1: 기본 확장 프로그램

  1. extension/manifest.json - MV3 설정 (Firefox gecko 설정 포함)
  2. extension/content/content-script.js - 이미지 감지 및 기본 오버레이
  3. extension/content/overlay.css - 점수 표시 스타일
  4. extension/popup/ - 기본 팝업 UI
  5. extension/background/service-worker.js - 백그라운드 로직

Phase 2: WebGPU 추론 통합

  1. extension/offscreen/offscreen.html & offscreen.js - WebGPU 추론
  2. extension/lib/inference-engine.js - transformers.js 통합
  3. WebGPU 기능 감지 및 WASM fallback 로직

Phase 3: HuggingFace Space Fallback

  1. hf-space/app.py - Gradio API 엔드포인트
  2. extension/lib/hf-fallback.js - @gradio/client 연동
  3. Fallback 결정 로직 (WebGPU 불가 시)

Phase 4: CDP 원격 디버깅 (선택)

  1. server/src/index.js - Express 서버
  2. server/src/cdp-controller.js - Puppeteer CDP 제어
  3. 확장 옵션에서 CDP 서버 설정

Phase 5: 고급 기능

  1. Cross-origin 이미지 처리 (여러 방법 시도)
  2. 배치 처리 및 우선순위 큐
  3. 모델 캐싱 (IndexedDB)

주요 파일 상세

manifest.json

{ "manifest_version": 3, "name": "diffReal", "permissions": ["activeTab", "storage", "offscreen"], "host_permissions": ["<all_urls>"], "browser_specific_settings": { "gecko": { "id": "diffreal@example.com", "strict_min_version": "128.0" } } }

추론 흐름

  1. Content script가 페이지 이미지 감지 (100x100 이상)
  2. 이미지 데이터를 background로 전송
  3. Background가 offscreen 문서로 추론 요청
  4. Offscreen에서 WebGPU/WASM으로 분류
  5. 결과를 content script로 반환하여 오버레이 표시

점수 표시 UI

  • 이미지 우상단에 점수 배지 표시
  • 0.5 이상: 녹색 (realistic)
  • 0.5 미만: 주황색 (illustration)
  • 호버 시 상세 정보 툴팁

검증 방법

  1. web-ext run 또는 about:debugging으로 확장 로드
  2. 이미지가 있는 웹페이지 방문
  3. 각 이미지에 점수 오버레이 표시 확인
  4. 팝업에서 스캔된 이미지 수 확인
  5. WebGPU 미지원 환경에서 fallback 동작 확인

의존성

{ "@huggingface/transformers": "^3.x", "@gradio/client": "^1.x", "web-ext": "^8.x" }

A

생성된 파일 요약

브라우저 확장 프로그램 (extension/) ┌──────────────────────────────┬────────────────────────────────┐ │ 파일 │ 설명 │ ├──────────────────────────────┼────────────────────────────────┤ │ manifest.json │ MV3 설정 (Firefox/Floorp 호환) │ ├──────────────────────────────┼────────────────────────────────┤ │ background/service-worker.js │ 추론 관리 및 메시지 핸들링 │ ├──────────────────────────────┼────────────────────────────────┤ │ content/content-script.js │ 이미지 감지 및 오버레이 표시 │ ├──────────────────────────────┼────────────────────────────────┤ │ content/overlay.css │ 점수 배지 스타일 │ ├──────────────────────────────┼────────────────────────────────┤ │ offscreen/offscreen.js │ WebGPU 추론 엔진 │ ├──────────────────────────────┼────────────────────────────────┤ │ lib/inference-engine.js │ WebGPU/WASM/Remote 추상화 │ ├──────────────────────────────┼────────────────────────────────┤ │ popup/ │ 팝업 UI (HTML, CSS, JS) │ ├──────────────────────────────┼────────────────────────────────┤ │ options/ │ 설정 페이지 │ └──────────────────────────────┴────────────────────────────────┘ HuggingFace Space (hf-space/) ┌──────────────────┬─────────────────┐ │ 파일 │ 설명 │ ├──────────────────┼─────────────────┤ │ app.py │ Gradio API 서버 │ ├──────────────────┼─────────────────┤ │ requirements.txt │ Python 의존성 │ └──────────────────┴─────────────────┘ CDP 서버 (server/) ┌───────────────────────┬─────────────────────────┐ │ 파일 │ 설명 │ ├───────────────────────┼─────────────────────────┤ │ src/index.js │ Express 서버 │ ├───────────────────────┼─────────────────────────┤ │ src/cdp-controller.js │ Puppeteer CDP 제어 │ ├───────────────────────┼─────────────────────────┤ │ src/image-proxy.js │ CORS 우회 이미지 프록시 │ └───────────────────────┴─────────────────────────┘ 사용 방법

의존성 설치

npm install

확장 프로그램 개발 모드 (Firefox)

npm run dev:extension:firefox

또는 Floorp

npm run dev:extension

빌드

npm run build:extension

주요 기능

  • WebGPU 우선 추론 - 브라우저 내 GPU 가속 분류
  • WASM fallback - WebGPU 미지원 시 CPU 추론
  • HuggingFace API fallback - 원격 추론
  • CDP 원격 디버깅 - 확장 접근 불가 이미지 처리
  • 점수 오버레이 - 이미지마다 realistic(녹색)/illustration(주황) 표시

Q

확장 프로그램 테스트

A

확장 프로그램이 성공적으로 빌드되었습니다.

빌드 결과: dist/diffreal_-_image_realism_classifier-1.0.0.zip (25KB)

로컬에서 테스트하는 방법

Firefox/Floorp에서 테스트

  1. 임시 로드 (개발용) Firefox에서 about:debugging 입력 → "This Firefox" 클릭 → "Load Temporary Add-on" 클릭 → extension/manifest.json 선택
  2. 또는 zip 파일로 설치 about:addons → 설정(톱니바퀴) → "Install Add-on From File" → dist/diffreal_-_image_realism_classifier-1.0.0.zip 선택

Q

이미지를 못 찾습니다 const images = document.querySelectorAll('img');

A

변경사항:

  1. 프로토콜 상대 URL (//example.com/img.png) 처리 추가
  2. Background fetch에서 CORS 모드 제거 (확장 권한으로 직접 fetch)
  3. 디버그 로그 추가

다시 로드 방법: about:debugging → This Firefox → diffReal "Reload" 클릭

페이지 새로고침 후 콘솔에서 다음 로그들을 확인해주세요:

  • [diffReal] Processing image: https://... (절대 URL로 변환됨)
  • [diffReal] Fetching image: ... (background에서 fetch 시도)
  • [diffReal] Image fetched, size: ... (성공 시)

Q

기존 방식으로 cors 해결이 어렵다면 원격 디버깅 혹은 다음 방식 사용

서버 프록시완전한 제어, 안정적서버 필요 Base64 변환URL 의존성 제거데이터 크기 33% 증가 CF Workers서버리스, 저렴제한된 실행 시간 특이사항: Referer: 헤더가 필수이며, expires/key 파라미터가 있어 URL이 시간 제한됩니다. 필요시 빠르게 다운로드하거나 캐싱해야 합니다.

A

  1. 서버 실행

cd /workspaces/diffReal/server npm start

  1. 확장 프로그램 다시 로드

about:debugging → diffReal "Reload" 클릭

아키텍처

브라우저 확장 ──┬── 서버(localhost:3000) ── 로컬 모델 추론 │ └── 이미지 프록시 (CORS 우회, Referer 헤더) │ └── HuggingFace API (서버 없을 때 fallback)

서버 엔드포인트 ┌───────────────────────────────┬────────────────────┐ │ 엔드포인트 │ 용도 │ ├───────────────────────────────┼────────────────────┤ │ GET /health │ 서버 상태 확인 │ ├───────────────────────────────┼────────────────────┤ │ GET /api/proxy/base64?url=... │ 이미지 CORS 프록시 │ ├───────────────────────────────┼────────────────────┤ │ POST /api/classify │ 이미지 분류 │ └───────────────────────────────┴────────────────────┘ 작동 흐름

  1. 확장이 이미지 데이터 획득 (Successfully got image data)
  2. 서버가 실행 중이면 → 서버로 분류 요청
  3. 서버가 없으면 → HuggingFace API 직접 호출
  4. CORS 이슈 있는 사이트는 서버 프록시 사용

Q

서버 백그라운드로 실행해줘 port 3000 에서 실행중인 프로세스 확인하는 명령어

A

lsof -i :3000 || netstat -tlnp 2>/dev/null | grep 3000 || ss -tlnp | grep 3000

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME MainThrea 80816 codespace 25u IPv6 1080698 0t0 TCP *:3000 (LISTEN) bash: 3000: command not found

curl http://localhost:3000/health

{"status":"ok","classifier":{"ready":true,"mode":"local","model":"onnx-community/Deep-Fake-Detector-v2-Model-ONNX","error":null},"timestamp":"2026-01-08T10:42:18.385Z"}

Q

더 많은 에러가 나옵니다. 애초에 plugin 방식으로 안 되는 건가요. 그렇다면 url을 입력하면 해당 페이지에 있는 이미지를 직접 요청하여(login session 유지) local에서 분석하는 프로그램으로 수정해주세요
잘못된 URI입니다. 미디어 리소스 로드에 실패했습니다.

A

네, 브라우저 확장 방식은 CORS 제약이 심합니다. CLI 프로그램으로 전환하겠습니다.

새로운 방식:

  • URL 입력 → Puppeteer로 페이지 방문 (세션/쿠키 유지) → 이미지 추출 → 로컬 분류

diffReal CLI 완성

구현된 기능:

  • URL 입력 → 이미지 분석: 해당 페이지의 모든 이미지(100x100 이상)를 자동으로 검출하고 분류
  • 로컬 모델 추론: onnx-community/Deep-Fake-Detector-v2-Model-ONNX 모델을 로컬에서 실행
  • 세션 유지: 브라우저 세션이 ~/.diffreal/browser-data에 저장되어 로그인 상태 유지
  • 시각적 결과: 점수 바 + REAL/ILLU 라벨로 결과 표시

사용법: cd /workspaces/diffReal/cli

단일 URL 분석

node index.js https://example.com/page

인터랙티브 모드

node index.js

인터랙티브 모드 명령어:

  • URL 입력 → 해당 페이지 분석
  • login → 로그인이 필요한 사이트용 (브라우저 30초 열림)
  • headless → 헤드리스 모드 토글
  • quit → 종료

결과 해석:

  • 점수 0.5 이상 = REAL (사실적 이미지)
  • 점수 0.5 미만 = ILLU (일러스트레이션)

Q

https://arca.live 로그인해서 특정 글 테스트

A

arca.live는 Cloudflare 보호를 사용하여 봇을 차단합니다. 이 보호는 JavaScript 챌린지/CAPTCHA를 요구하며, headless 브라우저에서는 자동 해결이 불가능합니다.

해결 방법

로컬 환경에서 실행할 경우:

CLI 실행

node index.js

인터랙티브 모드에서:

headless # headless OFF로 전환 login # 브라우저가 열리면 arca.live 접속 후 Cloudflare 챌린지 해결 + 로그인

30초 후 자동 저장

이후 URL 입력하면 저장된 세션으로 접속

https://arca.live/b/aiartreal/158431018

로컬 PC에서 GUI 브라우저가 보이는 환경이라면 login 명령으로 Cloudflare 챌린지를 수동으로 해결한 후 세션이 저장되어 이후 접속이 가능합니다

Q

로컬에서 설치할 수 있게 npm 패키지로 만들어줘 linux(tgz), windows 둘 다

A

Windows/Mac/Linux 호환 npm 패키지 완성

패키지: diffreal-cli-1.0.0.tgz (6.3KB)


Windows에서 설치

1. tgz 파일 다운로드 후

npm install -g .\diffreal-cli-1.0.0.tgz

2. 실행

diffreal https://example.com

또는 인터랙티브 모드

diffreal

Windows 터미널 설정 (문자 깨짐 방지)

chcp 65001


arca.live 접속 방법 (Cloudflare 우회)

diffreal

URL> headless ← headless OFF

URL> login ← 브라우저 열림

브라우저에서 arca.live 접속 → Cloudflare 체크 → 로그인

30초 후 자동 저장


파일 다운로드

● Bash(realpath diffreal-cli-1.0.0.tgz) ⎿ /workspaces/diffReal/cli/diffreal-cli-1.0.0.tgz

● 파일 위치: /workspaces/diffReal/cli/diffreal-cli-1.0.0.tgz

Codespace에서 파일 탐색기로 cli 폴더 → diffreal-cli-1.0.0.tgz 우클릭 → Download 하시면 됩니다.

Q

옵션으로 이미지 크기 threshold 설정(default 200x200px 이상) 가장 score가 높은 이미지 보여주기 현재 방식으로 README.md 수정

A

패키지: diffreal-cli-1.0.0.tgz (7.3KB)

추가된 기능

  1. 이미지 크기 옵션 (기본값: 200px) diffreal --size 100 https://example.com diffreal -s 300 https://example.com
  2. 최고 점수 이미지 표시 🏆 최고 점수 이미지: 점수: 0.892 URL: https://example.com/image.jpg
  3. 인터랙티브 모드에서 size 명령어 URL> size 100 ✅ 최소 이미지 크기: 100px
  4. 도움말 diffreal --help

Windows 설치

npm install -g .\diffreal-cli-1.0.0.tgz diffreal --help

Q

diffreal --size 100 https://arca.live/b/aiartreal/158431018
로 실행했음에도 size threshold가 작동하지 않았습니다. url도 초기 입력시
바로 적용되도록 해주세요 (local에서 global 설치 시 해결됨)

A

The CLI is now fully functional. Summary of verification:

--size option tested and working: ┌───────────────────────────┬────────────────────────────────┐ │ Command │ Result │ ├───────────────────────────┼────────────────────────────────┤ │ diffreal --size 100 │ ✅ 34 images (100px threshold) │ ├───────────────────────────┼────────────────────────────────┤ │ diffreal -s 50 │ ✅ 50px threshold │ ├───────────────────────────┼────────────────────────────────┤ │ diffreal --size=150 │ ✅ 150px threshold │ ├───────────────────────────┼────────────────────────────────┤ │ diffreal (default) │ ✅ 13 images (200px threshold) │ └───────────────────────────┴────────────────────────────────┘ Package rebuilt: diffreal-cli-1.0.0.tgz (7.4 KB)

The debug output now shows the current settings when running with a URL: ⚙️ 설정: 최소 이미지 크기 = 100px

Installation:

From tgz file

npm install -g ./diffreal-cli-1.0.0.tgz

Or from source

cd cli && npm install -g .

Usage: diffreal --size 100 https://arca.live/b/aiartreal/158431018 diffreal -s 50 https://pinterest.com/search/pins/?q=cat diffreal https://example.com # default 200px

Q

URL: https://ac-p.namu.la/20231017sac/e0951958c086eff4b1850e0a1be449e94b99 23a00be7b68... url이 잘립니다. 완전히 표시

Q

tgz 파일은 dist 폴더 아래에 위치. 앞으로 기능 변경 후 리 빌드 시
버전명을 1.0.0 에서 하나씩 1.0.1 올리기

A

프로젝트 구조: diffReal/ ├── cli/ # CLI 소스 ├── dist/ # 배포 파일 │ └── diffreal-cli-1.0.0.tgz └── README.md

다운로드 링크: https://github.com/tam9life/diffReal/raw/main/dist/diffreal-cli-1.0.0.tgz

향후 빌드 시 버전 업:

1. package.json 버전 수정 (1.0.0 → 1.0.1)

2. 빌드

cd cli && npm pack

3. dist로 이동

mv diffreal-cli-1.0.1.tgz ../dist/

Q

/init

A

CLAUDE.md 파일을 생성했습니다. 내용:

  • 프로젝트 개요 (realistic/AI-generated 이미지 분류)
  • 개발, 빌드, 설치 명령어
  • 핵심 아키텍처 (index.js, classifier.js 역할)
  • 주요 설정값
  • 버전 관리 방법

Q

realistic에 해당하는 이미지는 모두 url과 이미지 순서 번호 표시 없으면 최고 점수 이미지(비교적 진짜에 가까운 것)의 url과 순서 번호 표시

A

Realistic 이미지가 있는 경우: ════════════════════════════════════════════════════════════ 📊 분석 결과 요약 ════════════════════════════════════════════════════════════ 총 이미지: 25개 Realistic: 3개 AI Image: 22개 평균 점수: 0.392 ──────────────────────────────────────────────────────────── 📷 Realistic 이미지 (3개): [5] 0.892 - https://example.com/photo1.jpg [12] 0.756 - https://example.com/photo2.jpg [18] 0.623 - https://example.com/photo3.jpg ════════════════════════════════════════════════════════════

Realistic 이미지가 없는 경우: ──────────────────────────────────────────────────────────── ⚠️ Realistic 이미지 없음 - 최고 점수 이미지: [7] 0.487 - https://example.com/closest.jpg ════════════════════════════════════════════════════════════

버전: 1.0.0 → 1.0.1 패키지: dist/diffreal-cli-1.0.1.tgz