[Fix] 미 증권 뉴스 스크랩핑 : Error 524 - A timeout occurred

 

[HotFix] 미 증권 뉴스 스크랩핑 - (Error 524 - A timeout occurred) 

무료 인스턴스를 유료 인스턴스 처럼 사용 한 나의 잘 못이다

Error 524

• Cloudflare가 성공적으로 원본 웹 서버에 연결되었지만, 기본값인 100초의 연결 시간 동안 원본 웹 서버가 HTTP 응답을 제공하지 않았음

Cloudflare

• 웹사이트와 애플리케이션의 성능, 전달 가능성 및 온라인 보안을 최적화하기 위해 다양한 제품에 걸쳐 콘텐츠 전달 네트워크(CDN) 및 DNS 서비스를 제공하는 미국 회사

 

원인

단순하게 그냥 스크래핑 양이 너무 많다.

 

해결 방법

10분 이내 올라온 뉴스만 가져 옴

동시에 스케줄러도 10분 단위로 동작

if (minutesAgo <= 10) {}

 

추가 사항

브라우저 켜질때 까지 잠시 Wait

await page.waitForTimeout(2000);

 

결과

[{'title': 'EV maker Rivian beats quarterly delivery estimates',
  'paragraphs': ['(Reuters) -Electric-vehicle maker Rivian Automotive Inc on Monday beat estimates for first-quarter deliveries, helped by steady demand.',
   'The company said it delivered 7,946 vehicles in the quarter ended March, compared with Visible Alpha estimates of 7,090 vehicles. It delivered 8,054 vehicles in the fourth quarter.',
   '',
   "However, Amazon-backed Rivian's production of 9,395 vehicles at its facility in Normal, Illinois in the reported quarter fell short of estimates due to supply-chain disruptions.",
   "Rivian's shares fell 0.8% to $15.26 in premarket trading.",
   ''],
  'date': '10 minutes ago'}]