Flowly Castly
메뉴

Data Tasks

requests·httpx로 안전한 수집 스크립트

세션 재사용, 백오프, robots 준수, 테스트 더블을 포함합니다.

기간: 4주

형식: 프로젝트

가격 안내: 980,000 KRW · 실제 청구는 별도 안내

내부 API와 공개 엔드포인트 두 경우를 모두 다룹니다. 레이트리밋과 캐시 헤더를 읽는 연습을 합니다.

requests·httpx로 안전한 수집 스크립트

담당

오지후

오지후

멘토.

기능과 범위

  • 세션과 커넥션 풀
  • 지수 백오프
  • 타임아웃 계층
  • responses로 테스트
  • 간단한 회로 차단기

결과물

  1. 수집 스크립트에 회로 차단기를 붙입니다.
  2. 테스트 가능한 IO 경계를 설계합니다.
  3. 문서화된 운영 한도를 준수합니다.

FAQ

robots와 이용약관을 확인하는 절차를 필수로 다룹니다.

코호트 메모

“`http-collection-scripts`의 백오프 실습이 실제 API 한도와 잘 맞았습니다.”
— 한지우 · 데이터 엔지니어 · 물류 스타트업