PhiUSIIL 데이터셋의 미사용 feature 통합

[kim-subsub]

배경

현재 baseline은 URL 문자열 1개만 사용하는 CharCNN.

• PhiUSIIL test 5,000건: Recall 0.9964, FN 9건
• FN 9건 분석 결과 모두 https://www.{도메인}.{tld} 단순 형태로, URL 문자열만으론 본질적으로 구분 불가

기회

PhiUSIIL CSV에 이미 URL 외 55개 feature가 존재 (URLLength, NoOfSubDomain, IsHTTPS, IsDomainIP, NoOfOtherSpecialCharsInURL 등). 현재 download_phiusiil.py는 이 중 URL/label 2개만 추출 중.

작업 항목

• download_phiusiil.py 수정 — URL/label 외 주요 feature(예: 10~20개) 보존
• dataset.py 또는 신규 데이터셋 클래스에서 추가 feature를 모델에 함께 전달
• model.py에 feature 통합 분기 추가 — 예: CharCNN 출력 + tabular feature를 concat 후 FC, 또는 별도 MLP 분기
• 학습/평가 파이프라인이 새 feature shape를 처리하도록 조정
• FN 9건 케이스 재평가 (어떤 feature가 의미 있는 신호 주는지 확인)

측정 지표

• Recall: 0.9964 → 0.9990+ 목표
• FN: 9 → 5 이하
• baseline과 동등 비교 위해 동일 SEED, 동일 split 사용

주의

• README의 "함부로 수정 금지" 영역(dataset.py 문자 인코딩 구조, model.py 핵심 구조)은 건드리지 않고 확장만 — 기존 CharCNN 분기는 그대로 두고 추가 feature 분기를 옆에 붙이는 방식
• PhiUSIIL 라벨 반전 규칙(1=legit→0=normal) 유지

참고

• 관련 PR: feat/1 (Phase 1 마무리)
• 데이터셋 출처: https://archive.ics.uci.edu/dataset/967/phiusiil+phishing+url+dataset