데이터 품질이 AI 성능의 80%를 좌우한다

좋은 모델 + 나쁜 데이터 = 나쁜 결과

딥러닝 모델은 최근 5년간 급격히 발전했지만, 현장 AI 프로젝트의 성공률은 비슷한 수준에 머물러 있습니다. 이유는 단순합니다 — 현장 데이터의 품질이 나쁘기 때문입니다. 데이터 과학자들은 작업 시간의 70~80%를 데이터 정비에 씁니다. AI 도입을 고민한다면 이 비율을 알고 시작해야 합니다.

현장 데이터의 5가지 함정

• 결측값 — 센서 단절·통신 오류로 빈 값 발생
• 이상값 — 정비 중 튄 수치를 정상 값으로 기록
• 시점 불일치 — MES와 센서의 타임스탬프가 초 단위로 다름
• 중복 기록 — 동일 이벤트가 여러 경로로 두 번 기록됨
• 라벨 오류 — 불량 판정이 작업자에 따라 달라 학습 라벨이 부정확

데이터 품질 지표 — 4가지 체크

• 완전성 (Completeness) — 필수 필드 결측률 5% 이하
• 정확성 (Accuracy) — 정상 운전 구간 이상값 1% 이하
• 일관성 (Consistency) — 타임스탬프 동기화 오차 1초 이내
• 신선도 (Freshness) — 최신 데이터 지연 15분 이내

데이터 정비 3단계

1단계: 수집 구조 점검 — 센서·MES·PLC가 표준 프로토콜로 연결돼 있는지 확인. 2단계: 품질 대시보드 구축 — 위 4지표를 일일 모니터링. 3단계: 이상 감지 자동화 — 임계값 초과 시 담당자에게 알람. 이 3단계가 안정화되면 AI 모델 학습은 훨씬 짧은 기간에 높은 정확도를 확보합니다.

의외의 교훈 — "작은 데이터도 좋은 데이터면 충분"

빅데이터 광고 때문에 "데이터가 부족해서 AI를 못 한다"고 오해하는 경우가 많지만, 실제로는 깨끗한 3개월 데이터가 혼란스러운 2년 데이터보다 더 나은 모델을 만듭니다. 시간과 비용이 부족할수록 "양보다 품질"이 답입니다.