회원 데이터 수집

회원 데이터를 수집해 BigQuery에 적재하는 작업입니다.

작업 ID collector

예약 정보 매일 02:05 (Asia/Seoul)

작업 경로 /root/apps/legacy/collector

실행 명령어 /root/apps/legacy/collector/.venv/bin/python -u /root/apps/fosikrun/app/legacy_collector_runner.py

Current Status

예약 활성 매일 02:05 (Asia/Seoul)

Quick Actions

관리자 인증 후 삭제

Properties

작업 설정

명령어, 작업 경로, 예약 시각, 환경 변수, 운영 메모를 한 시트처럼 정리해서 수정할 수 있습니다.

작업 이름

작업 경로 실행 명령어

예약 방식 시간대

매일 실행 시각 매시 실행 분

이 작업의 예약 실행을 활성화합니다. 예약이 켜진 작업만 정해진 시각과 요일 조건에 맞춰 자동 실행됩니다. 서버 재시작 후 놓친 예약을 1회 자동으로 보정합니다. 재가동 직후 최근 놓친 예약이 있으면, 아래 허용 시간 안의 1회만 자동으로 복구 실행합니다.

놓친 예약 보정 허용 시간(분)

예를 들어 30분이면 서버가 잠시 내려갔다가 다시 살아났을 때, 최근 30분 안에 놓친 예약 1회만 자동으로 보정 실행합니다.

환경 변수 덮어쓰기 JSON

{
  "CHROME_HEADLESS": "1",
  "GOOGLE_APPLICATION_CREDENTIALS": "/root/apps/legacy/collector/key.json",
  "RUN_HOUR": "2",
  "RUN_MINUTE": "5"
}

작업 메모

Operations

운영 상태

현재 실행 여부와 기본 운영 정보를 빠르게 확인할 수 있습니다.

현재 상태 예약 활성

예약 정보 매일 02:05 (Asia/Seoul)

작업 경로 /root/apps/legacy/collector

실행 명령어 /root/apps/legacy/collector/.venv/bin/python -u /root/apps/fosikrun/app/legacy_collector_runner.py

재가동 후 예약 보정 사용 안 함

Latest Run

가장 최근 실행 로그

방금 실행된 결과와 로그 꼬리를 이 영역에서 바로 볼 수 있습니다.

자동 확인 준비

상태 성공

실행 방식 예약 실행

시작 시각 2026-04-01 02:05:14

종료 시각 2026-04-01 02:06:33

종료 코드 0

로그 경로 /root/apps/fosikrun/logs/collector-20260401-020514.log

작업 ID: collector
실행 명령: /root/apps/legacy/collector/.venv/bin/python -u /root/apps/fosikrun/app/legacy_collector_runner.py
작업 경로: /root/apps/legacy/collector
환경 변수 키: CHROME_HEADLESS, GOOGLE_APPLICATION_CREDENTIALS, RUN_HOUR, RUN_MINUTE
--------------------------------------------------------------------------------
/root/apps/legacy/collector/.venv/lib/python3.10/site-packages/google/api_core/_python_version_support.py:275: FutureWarning: You are using a Python version (3.10.12) which Google will stop supporting in new releases of google.api_core once it reaches its end of life (2026-10-04). Please upgrade to the latest Python version, or at least Python 3.11, to continue receiving updates for google.api_core past that date.
  warnings.warn(message, FutureWarning)
[RUN] collector 전일자 수집을 시작합니다.
팝업 닫음
전일자 조회: 2026-03-31
총 페이지: 3
[PAGE] 1 페이지 HTML 파싱 시작: 화면 행 1021개
[PAGE] 1 페이지 HTML 파싱 중: 200/1021행
[PAGE] 1 페이지 HTML 파싱 중: 400/1021행
[PAGE] 1 페이지 HTML 파싱 중: 600/1021행
[PAGE] 1 페이지 HTML 파싱 중: 800/1021행
[PAGE] 1 페이지 HTML 파싱 중: 1000/1021행
[PAGE] 1 페이지 HTML 파싱 완료: 1000건
[PAGE] 2 페이지 HTML 파싱 시작: 화면 행 1021개
[PAGE] 2 페이지 HTML 파싱 중: 200/1021행
[PAGE] 2 페이지 HTML 파싱 중: 400/1021행
[PAGE] 2 페이지 HTML 파싱 중: 600/1021행
[PAGE] 2 페이지 HTML 파싱 중: 800/1021행
[PAGE] 2 페이지 HTML 파싱 중: 1000/1021행
[PAGE] 2 페이지 HTML 파싱 완료: 1000건
[PAGE] 3 페이지 HTML 파싱 시작: 화면 행 148개
[PAGE] 3 페이지 HTML 파싱 완료: 127건
[BQ] 적재 시작: 2127행 -> fora-475101.raw_data.signup_customer
/root/apps/legacy/collector/.venv/lib/python3.10/site-packages/google/cloud/bigquery/_pandas_helpers.py:486: FutureWarning: Loading pandas DataFrame into BigQuery will require pandas-gbq package version 0.26.1 or greater in the future. Tried to import pandas-gbq and got: No module named 'pandas_gbq'
  warnings.warn(
BigQuery 적재 완료(DataFrame): fora-475101.raw_data.signup_customer → 2127행 (APPEND)
[BQ] 적재 완료: 2127행
드라이버 종료
[RESULT] 수집 2127행 / BigQuery 2127행 적재 완료

History

실행 이력

최근 20회의 실행 결과를 시간순으로 보여 줍니다.

시작 시각	실행 방식	상태	요약
2026-04-01 02:05:14	예약 실행	성공	정상적으로 완료되었습니다.
2026-03-31 02:05:00	예약 실행	성공	정상적으로 완료되었습니다.