Skip to content

fix: 불필요한 brower 설정 삭제#22

Merged
dh0304 merged 2 commits into
devfrom
fix/timeout
Jul 29, 2025
Merged

fix: 불필요한 brower 설정 삭제#22
dh0304 merged 2 commits into
devfrom
fix/timeout

Conversation

@dh0304

@dh0304 dh0304 commented Jul 29, 2025

Copy link
Copy Markdown
Contributor

관련 이슈

#20

관련 배경

  • 몇몇 복지관의 웹페이지를 스크래핑할 경우 timeout이 발생
  • bot 탐지에 의한 timeout이라고 추측함

구현 내용

  • 불필요한 brower 설정 삭제 (...chromiumBinary.args 만 살림)

오류가 timeout으로 발생하였기 떄문에 실제로 bot 탐지에 걸린지는 확인하지 못함. 불필요한 설정도 원인이 될 수 있다고 판단하여 설정을 제거 -> 실제로 설정을 지우고 timeout 발생한 웹페이지를 스크래핑했을 때 정상적으로 스크래핑 완료

args: [
                ...chromiumBinary.args,
                '--no-sandbox',
                '--disable-dev-shm-usage',
                '--disable-gpu',
                '--disable-features=VizDisplayCompositor',
                '--disable-background-timer-throttling',
                '--disable-backgrounding-occluded-windows',
                '--disable-renderer-backgrounding',
                '--disable-web-security',
                '--single-process',
                '--disable-setuid-sandbox',
                '--no-zygote',
                '--disable-accelerated-2d-canvas',
                '--no-first-run',
                '--no-default-browser-check',
                '--disable-extensions',
                '--disable-plugins',
            ],

@dh0304 dh0304 self-assigned this Jul 29, 2025
@dh0304 dh0304 linked an issue Jul 29, 2025 that may be closed by this pull request
@dh0304 dh0304 merged commit 85ab68d into dev Jul 29, 2025
1 check passed
@dh0304 dh0304 deleted the fix/timeout branch July 29, 2025 20:36
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

크롤러가 태그를 찾을 때 Timeout 발생

1 participant