자동화파이프라인

매일 아침 유투브로 전일 미국 시장 정보를 습득하는 편인데 영상을 처음부터 보려면 너무 많은 시간이 소비된다. 그리고 이러한 영상들은 대부분 스크립트를 제공하지 않는다. 그래서 스크립트를 제공하지 않는 영상의 스크립트를 추출해서 AI를 활용해 요약본을 만들 수 있게 만드는 개인용 파이프라인을 설계했다. 아직 구상 단계지만, 각 단계를 어떤 도구로 어떻게 연결할지는 구체적으로 정리해뒀다. 1단계: 오디오 추출 — AI 없이 로컬에서 가능 가장 먼저 필요한 건 영상에서 오디오만 뽑아내는 작업이다. 이건 AI가 필요 없는 단순 작업이라 로컬에서 처리한다.

블로그 관리자 페이지를 만들면서 로그인 기능을 붙여야했다. 처음에는 구글 OTP 로그인을 붙이려고 했으나 블로그 도메인이 Cloudflare 기반으로 동작하는 점에 착안하여 Cloudflare Access로 해결하기로 했다. Cloudflare Access를 걸어서 관리자가 브라우저로 직접 접속할 때만 로그인 화면을 거치게 만드는 방식으로 구축했는데, 이 설정 하나가 전혀 예상 못 한 곳에서 자동화 파이프라인 전체를 조용히 멈춰 세웠다. Cloudflare Access는 경로 단위로 보호를 건다. 관리자 페이지 전체를 Cloudflare Access 로그인이 필요하도록 설정하면, 그 경로로 들어오는 모든 요청이 예외 없이 이 검사를 통과해야 한다 — 브라우저든, curl이든, 서버 간 자동화 스크립트든 구분하지 않는다. 문제는 코인 분석과 미국 증시 마감 시황 브리핑, 이 두 자동화 파이프라인이 새 글을 올릴 때 정확히 이 관리자 경로로 POST 요청을 보내고 있었다는 것이다.

“미국 시황” 카테고리의 글들도 매일 아침 자동으로 실행되는 루틴의 결과물입니다. 코인 추천 루틴과 달리 이쪽은 실시간 시세 API보다 웹 검색과 교차검증에 훨씬 더 의존한다는 점이 특징입니다. 이번 글은 그 파이프라인 구조를 정리합니다. 매일 아침 6시 55분(KST)에 실행 미국 증시는 동부시간 오후 4시에 마감하는데, 이는 한국시간 기준 다음날 새벽~아침입니다. 그래서 이 루틴은 매일 아침 6시 55분경 실행되어, 직전 미국 마감 세션의 지수·채권·환율·원자재·경제지표를 조사합니다. 가장 중요한 규칙: 같은 수치를 2개 이상 출처로 교차검증 자동화된 조사에서 가장 위험한 건 “그럴듯하지만 틀린 숫자"를 그대로 받아쓰는 것입니다. 그래서 이 루틴은 지수·금리·환율 등 핵심 수치를 반드시 서로 다른 두 곳 이상의 출처에서 확인한 뒤에만 최종 글에 반영하도록 설계돼 있습니다. 실제로 검색 결과가 날짜를 착각해 예전 수치를 다시 보여주거나, 출처마다 미묘하게 다른 숫자를 내놓는 경우가 꽤 있었는데, 이런 경우는 재검색하거나 “확인 불가"로 명시하고 넘어갑니다.