preflight 공개, PyTorch 학습 전 침묵형 오류를 잡는 사전 점검 CLI

비용 큰 침묵형 실패에서 출발

2026년 3월 15일 r/MachineLearning에는 preflight라는 PyTorch 파이프라인용 경량 CLI가 소개됐다. 작성자는 에러도 없고 프로세스도 멈추지 않았지만, 학습/검증 데이터가 섞여 들어가 모델이 “조용히” 잘못 학습하는 문제를 찾느라 3일을 허비했다고 설명한다. preflight는 바로 이런 종류의 실패를 학습 시작 전에 차단하려는 도구다.

포지셔닝도 분명하다. 이것은 거대한 MLOps 플랫폼이나 범용 데이터 검증 시스템이 아니다. 짧은 시간 안에 실행되는 사전 점검 계층으로, 본격적인 학습 작업이 떠나기 전에 치명적 오류를 찾아내고 GPU 시간을 낭비하지 않게 하는 데 초점을 둔다.

무엇을 검사하나

README 기준으로 preflight는 3개 심각도 티어에 걸쳐 10개 검사를 수행한다. 치명적(FATAL) 항목에는 NaN/Inf 탐지, label leakage, 데이터셋과 모델 간 shape mismatch, gradient 이상 탐지가 포함된다. 경고(WARN) 항목은 normalization sanity, channel ordering, VRAM estimation, class imbalance를 다룬다. 정보(INFO) 항목은 split sizes와 duplicate samples다. 기본 사용 방식은 간단하다. preflight-ml를 설치하고 dataloader를 노출하는 Python 파일을 준비한 뒤 preflight run --dataloader my_dataloader.py를 실행하면 된다.

구성도 실무 친화적이다. 치명적 검사가 실패하면 종료 코드 1을 반환해 CI에서 바로 빌드를 막을 수 있고, GitHub Action, JSON 출력, .preflight.toml 기반 임계치 설정도 문서화되어 있다. 저장소 기준 라이선스는 MIT이며, 크롤링 시점 공개 버전은 초기 단계인 v0.1.1이다.

기존 도구와의 관계

작성자는 preflight가 pytest, Deepchecks, Great Expectations, WandB, MLflow를 대체하려는 것이 아니라고 명시한다. 대신 “코드는 돌아가지만 학습 상태는 이미 망가진” 틈새를 메우려 한다. 이는 실제 ML 현장에서 자주 발생하는 문제다. 비정상 데이터, 잘못된 채널 순서, 누수된 분할, 모델 입력 불일치 같은 버그는 파이썬 예외를 일으키지 않은 채 GPU 비용만 키우는 경우가 많다.

README의 로드맵도 이 방향을 강화한다. 자동 수정 플래그, 기준선 대비 drift 비교, 모델+loss 포함 dry-run, 도메인별 플러그인 같은 기능이 예정돼 있다. 아직 초기 프로젝트지만, leaderboard 경쟁이 아니라 운영 손실을 줄이는 방향의 커뮤니티 인프라라는 점에서 의미가 분명하다. 이 게시글이 주목할 만한 이유도 바로 여기에 있다.

원문: GitHub repository, PyPI package. 커뮤니티 반응: r/MachineLearning.