크롤링

미국 증시 마감 시황 루틴을 운영하다 보면 자연스럽게 “이 데이터를 더 정확하고 안정적으로 가져올 방법이 없을까"라는 질문을 하게 됩니다. 유료 금융 데이터 API는 대부분 비용이 상당하지만, 웹페이지 형태로는 무료로 볼 수 있는 곳도 많습니다. 문제는 그런 사이트일수록 크롤링을 막아둔 경우가 많다는 점입니다. 실제로 몇몇 후보 사이트를 대상으로 간단히 점검해본 결과를 정리합니다. 점검 방법 사이트마다 robots.txt를 먼저 확인하고, 이어서 일반적인 페이지 요청(curl)이 실제로 콘텐츠를 돌려주는지 테스트했습니다. 별도의 브라우저 자동화나 로그인 없이, 가장 단순한 방식으로 접근 가능한지만 확인하는 수준의 점검입니다.