미세조류 현미경 이미지로 분류 모델을 준비할 때는 사용 가능한 사진인지, 라벨을 뒷받침하는 근거가 있는지, 같은 배치의 사진이 서로 다른 자료 묶음에 섞이지 않았는지부터 확인합니다. 사진 장수를 늘리기 전에 이 세 가지를 기록해야 자료의 사용 범위와 평가 조건을 설명할 수 있습니다.
이 글은 제공된 scikit-learn 공식 문서와 WHOI-Plankton 저장소의 발췌문을 해설합니다. 제공 자료의 수집일은 2026년 10월 12일입니다. 이미지 파일 다운로드, 이미지 이용 조건 원문, 실제 배양 사진이나 모델 실행은 추가로 확인하지 않았습니다. 아래 기록 양식과 분리 절차는 편집자의 제안이며, 배치·종명·장수는 가상 예제입니다.
먼저 사진 한 장의 정답을 정합니다
분류는 입력 이미지에 정해 둔 범주를 붙이는 작업입니다. 준비 단계에서 ‘잘라낸 대상 하나의 범주’를 예측할지, ‘시야 전체의 대표 범주’를 예측할지 정합니다. 여러 대상이 있는 사진에서 모든 세포의 위치와 개수를 얻으려는 목적이라면, 사진 전체에 라벨 하나를 붙이는 자료만으로 요구사항을 충족한다고 판단하지 않습니다.
라벨의 수준도 정해야 합니다. 종명, 속명, 형태 범주를 같은 수준의 정답으로 섞지 않습니다. 공개 자료의 범주명이 자신의 목표 종과 대응하는지 확인하고, 대응이 불분명한 항목은 별도 검토 대상으로 둡니다. 모델이 출력한 종명 자체를 정답 라벨의 동정 근거로 사용하지 않습니다.
출처·이용권·다운로드는 따로 기록합니다
자료 소개 페이지를 읽었다는 사실과 이미지 파일을 확보했다는 사실은 다릅니다. 파일을 확보했더라도 원하는 학습·공개·재배포 용도가 허용되는지는 별도로 확인합니다.
| 기록 항목 | 남길 내용 | 판단 기준 |
|---|---|---|
| 자료 식별 | 자료명, 제공자, 버전, 원 출처 URL | 같은 이름의 다른 배포본과 구분 |
| 파일 확보 | 다운로드 URL, 시도 시각, 성공·실패, 파일 수·형식 | 안내 페이지 열람과 실제 파일 확보를 구분 |
| 파일 식별 | 원본 파일명, 이미지 ID, 파일 해시 | 복사·이름 변경 후에도 원본 추적 |
| 이용권 | 이미지에 적용되는 조건의 URL·문구·확인일 | 저장소 라이선스의 적용 대상을 확인 |
| 예정 용도 | 학습, 수정, 결과 예시 공개, 원본 재배포 | 각 용도가 조건에 포함되는지 확인 |
| 표시 의무 | 출처·저작자·수정 사실 등 요구사항 | 공개 결과물에 필요한 표시 준비 |
다운로드 완료는 파일을 실제로 열어 이미지가 있는지 확인한 뒤 기록합니다. 접속 안내 HTML이나 로그인 페이지가 저장됐다면 이미지 확보 성공으로 세지 않습니다. 파일 해시는 동일 파일 확인에 쓰며, 이용권이나 종 라벨의 정확성을 증명하지는 않습니다.
가상 기록 예: 자료 P / 소개 페이지 확인 / 이미지 다운로드 미시도 / 이미지 이용 조건 미확인 / 학습 편입 보류라고 적을 수 있습니다. 빈칸 대신 상태를 남기면 무엇이 부족한지 분명해집니다.
WHOI 공개 자료는 자신의 촬영 조건과 비교합니다
제공된 WHOI-Plankton README 발췌는 해양 미세 플랑크톤 이미지 350만 장 초과를 연구자가 부여한 103개 범주로 정리했다고 설명합니다. 수집 장비는 Imaging FlowCytobot(IFCB)이며, 현장에 설치한 자동 수중 유동 영상 장비로 수집한 자료라고 소개합니다.
README에는 주석 이미지 자료의 DOI 주소도 제시되어 있습니다. 그러나 이번 제공 범위에는 그 주소에서 실제 이미지 파일을 내려받은 결과나 이미지 이용 조건 본문이 없습니다. 따라서 현재 다운로드 성공이나 이미지 재사용 허용을 확정할 수 없습니다. 저장소 화면의 MIT 라이선스 표시만으로 외부 배포 이미지 전체에 같은 조건이 적용된다고 단정하지 않습니다.
또한 103개 범주가 곧 미세조류 103종이라는 뜻은 아닙니다. 제공 발췌에는 범주 전체의 이름과 동정 기준이 없으므로, 목표 종과의 대응은 추가 확인 사항입니다.
| 비교 항목 | 공개 자료에서 확인할 내용 | 자신의 사진에서 기록할 내용 |
|---|---|---|
| 촬영 방식 | 장비, 유동 촬영 여부, 이미지 생성 방식 | 현미경·카메라, 슬라이드·용기 촬영 방식 |
| 크기 정보 | 픽셀 크기, 크기 보정 정보 | 배율, 픽셀당 길이와 보정 근거 |
| 대상 범위 | 범주 목록, 범주별 정의 | 목표 종·균주와 포함할 이물질 범주 |
| 시료 조건 | 채집 환경과 시료 처리 | 배지, 배양 단계, 시료 처리 |
| 라벨 근거 | 주석 방법과 검토 절차 | 균주 기록, 동정 기록, 검토자 |
항목이 다르거나 정보가 없으면 그 상태를 남깁니다. 공개 이미지가 많다는 이유로 자신의 배양 사진과 같은 조건의 자료라고 취급하지 않습니다.
종 라벨에는 확정 범위와 미확인 이유를 붙입니다
라벨은 이름만 저장하지 말고 어떤 근거로, 어디까지 확인했는지 연결합니다. 공급처의 균주 이름은 중요한 기록이지만, 해당 사진 속 대상이 그 균주라는 연결이나 혼입 여부까지 자동으로 확인해 주지는 않습니다.
다음은 모두 가상 사례입니다. A종·B속은 설명을 위한 표기이며 실제 동정 결과가 아닙니다.
| 이미지 ID | 연결된 근거와 관찰 조건 | 라벨 상태 | 자료 처리 |
|---|---|---|---|
| I-001 | 균주 S-A의 동정 기록, 촬영 시료 연결 기록, 대상 검토 기록이 있다는 가정 | A종 확정: 기록된 확인 범위 내 | 종 분류 후보에 포함 |
| I-002 | 공급처 이름만 있고 촬영 시료 연결 기록이 없음 | 종 미확인 | 확인될 때까지 종 정답에서 제외 |
| I-003 | 검토 기록이 B속까지만 판정 | B속 확인·종 미확인 | 종명을 임의로 추가하지 않음 |
| I-004 | 대상 중첩과 초점 문제로 판정 불가 | 판독 불가 | 별도 보관하고 제외 이유 기록 |
‘종 미확인’과 ‘판독 불가’는 이유가 다르므로 구분합니다. 미확인 자료를 모두 하나의 생물학적 종처럼 취급하지 않습니다. 이 글의 미확인은 자료 라벨의 상태이며, 모델이 낮은 확률 때문에 예측을 보류하는 상태와도 별개입니다.
최소한 image_id, proposed_label, label_level, label_status, evidence_id, reviewer, review_date, unresolved_reason을 남깁니다. 라벨 변경 시에는 이전 값과 변경 이유를 보존합니다.
파일보다 배치를 먼저 나눕니다
scikit-learn의 데이터 누출 설명은 시험 자료의 정보가 모델 구성에 들어가면 평가가 낙관적으로 보일 수 있다고 설명합니다. 전처리에서 학습하는 값도 학습 자료만으로 정하도록 안내합니다.
이를 배양 사진 준비에 적용한 제안은 같은 배양 배치를 먼저 묶고, 그 묶음을 학습·검증·시험 중 하나에 배정하는 것입니다. 학습은 모델을 만드는 자료, 검증은 설정을 선택하는 자료, 시험은 선택을 마친 뒤 최종 평가하는 자료로 구분합니다.
원본부터 파생본까지 다음 연결을 유지합니다.
배치 ID → 시료 ID → 시야 ID → 원본 이미지 ID → 잘라낸 이미지 ID → 증강 이미지 ID
증강은 회전 등으로 학습용 변형 이미지를 만드는 작업입니다. 잘라낸 이미지와 증강본에는 부모 이미지 ID를 붙이고, 배치 ID와 자료 배정은 부모에게서 그대로 물려받게 합니다. 같은 시야에서 자른 세포가 파일명이 다르다는 이유로 시험 자료로 이동하지 않게 합니다.
가상 예제: 독립 배치 6개를 분리합니다
가정: B01~B06은 서로 독립적으로 시작한 배양 배치이며, 각 배치에서 잘라낸 대상 이미지가 아래 장수만큼 있습니다. 모든 자료는 이용권과 필요한 라벨 검토를 통과했다고 가정합니다. 아래 배정은 수동 설계 예시이며 특정 프로그램의 실행 결과가 아닙니다.
| 배치 ID | 증강 전 대상 이미지 수 | 배정 |
|---|---|---|
| B01 | 40 | 학습 |
| B02 | 60 | 학습 |
| B03 | 50 | 학습 |
| B04 | 50 | 학습 |
| B05 | 30 | 검증 |
| B06 | 70 | 시험 |
| 합계 | 300 | 학습 200·검증 30·시험 70 |
학습 배치는 4 ÷ 6 ≈ 66.7%이지만, 학습 이미지도 이 예제에서는 200 ÷ 300 ≈ 66.7%입니다. 검증과 시험은 각각 배치 1개로 같은 비중인 1 ÷ 6 ≈ 16.7%여도, 이미지 비중은 30 ÷ 300 = 10%와 70 ÷ 300 ≈ 23.3%로 다릅니다. 배치 비율과 이미지 비율을 따로 기록해야 합니다.
예를 들어 B01의 원본 O001, 잘라낸 C001·C002, C001의 회전본 A001은 모두 학습에 속합니다. B06에서 자른 이미지는 모두 시험에 남깁니다. 이 예시에서는 학습 배정 뒤 학습용 증강을 만들고, 검증·시험 자료에는 학습용 증강을 추가하지 않습니다.
GroupShuffleSplit 공식 문서는 제공한 그룹을 기준으로 분리하며, test_size가 이미지 수가 아닌 그룹 수에 적용된다고 설명합니다. 반복해서 만든 분할들의 시험 집합은 서로 겹칠 수 있으므로, 반복 분할을 고정된 학습·검증·시험 세 묶음처럼 취급하지 않습니다.
배치 ID만으로 충분한지도 확인합니다
배치 ID가 달라도 같은 원본 파일을 복사했다면 독립 자료가 아닙니다. 하나의 시료를 나누고 서로 다른 배치 이름만 붙였거나, 연속 촬영한 같은 대상이 여러 기록에 등장했다면 관계를 확인해 같은 분리 그룹으로 묶습니다. 출처가 다른 자료를 합칠 때는 자료 ID + 배치 ID처럼 식별자를 구성해 이름 충돌도 방지합니다.
새 배치에 대한 적용을 평가하려면 배치 분리가 출발점입니다. 새 장비·새 촬영일·새 장소에 대한 적용이 목표라면 해당 조건을 통째로 남기는 분리도 검토합니다. 배치 분리 하나로 모든 환경 차이를 시험했다고 설명하지 않습니다.
분리를 확정하기 전에 검사할 항목
다음은 자료 준비용 확인 절차입니다.
- 관계와 중복을 확인합니다. 배치·시료·시야·원본 ID가 자료 묶음 사이에 겹치지 않는지 검사합니다. 파일 해시로 동일 파일을 찾고, 재압축·크기 변경본은 부모 기록과 이미지 비교로 확인합니다.
- 종별 배치 수를 셉니다. 사진 장수뿐 아니라 각 종이 몇 개의 독립 배치에 있는지 기록합니다. B종이 B06에만 있다면 위 배정에서는 학습 자료에 B종이 없습니다. 이를 증강으로 해결했다고 보지 않고, 추가 배치를 확보하거나 과제 범위를 조정합니다.
- 분리 목록을 저장합니다. 이미지별 배정, 제외 이유, 자료·라벨 버전, 분리 규칙을 보존합니다. 정규화 평균 등 자료에서 학습하는 전처리 값은 학습 자료만으로 정하고 검증·시험에는 같은 변환을 적용합니다.
시험 결과를 보고 분리나 설정을 반복해서 고르면 시험 자료도 선택 과정에 쓰이게 됩니다. 준비 단계에서 최종 시험 목록을 고정하고, 바꿨다면 이유와 새 평가 범위를 남깁니다. 원본 연결이나 배치 정보가 없는 공개 자료는 ‘독립 배치 시험 자료 확보’로 표시하지 않습니다.
자료 준비가 끝난 뒤의 정확도·혼동행렬·확률 해석은 미세조류 AI 이미지 분류 — 정확도와 오분류 읽기에서 이어 읽을 수 있습니다.
