계기는 섰는데 표본에 현상이 없었다
「고른 사람이 가려져도 따라가기」(미결 ho 18번)는 열 회차를 돌면서 IoU와 외양 두 신호만 썼습니다. 열한 번째로 한 번도 안 쓴 신호를 열었습니다 — 공입니다. 축구에서 공을 다루는 사람의 발과 공은 가깝고, 그것은 라벨이 아니라 물리라 정답이 필요 없습니다.
물은 것
공이 누군가의 발치에 있는 그 순간에, 그게 우리가 고른 사람인가.
같은 프레임의 다른 후보들도 재서, 앞선 회차가 못 갈랐던 두 가지를 가르려 했습니다 — ⑴ 공이 날아가는 중이라 먼 것인가 ⑵ 우리가 딴 사람을 보고 있는가.
판정 — 판별 불가. 분모가 0편입니다
주 층(공이 발치에 있고 후보가 2명 이상인 프레임)이 축구 19편 전체에서 1프레임이었습니다. 🔴 문턱을 옮겨 판정을 만들지 않았습니다 — 사전 등록이 금지한 그대로입니다.
왜 비었는지를 셋으로 갈랐습니다. 자(scale)가 아니고, 검출 문턱도 아니고 (바닥까지 풀어도 사람 후보 수가 중앙 1), 눈으로 프레임을 열어 보니 19편이 전부 한 사람짜리 훈련 영상이었습니다. 게다가 OpenPose 스켈레톤이 영상 픽셀에 그려져 있었습니다.
「여럿 중 누구를 고르는가」라는 질문이 이 표본에서 성립하지 않습니다. 계기가 틀린 것이 아니라 물어볼 대상이 없었습니다.
그래도 하나는 세웠습니다
「사람 박스의 하단 중앙 ↔ 공」이 「발목 ↔ 공」의 대리로 섭니다(순위 상관 0.835). 자세 추정을 안 돌려도 되니 후보 전부에 대해 잴 수 있고 클립당 13초가 5초로 줄었습니다. 표본만 바뀌면 그대로 씁니다.
앞선 회차의 진단을 정정했습니다
며칠 전 회차에 “중계 영상이라 「가장 큰 사람」이 골키퍼·수비벽일 수 있다”고 적었는데 틀렸습니다. 중계 영상이 아니고, 다른 사람이 화면에 없습니다. 같은 회차의 거리 크기도 촬영 방향에 따라 2~7배씩 흔들리는 자로 잰 것이라 크기 논증으로 쓰면 안 됩니다. 🔴 그 회차의 판정 자체는 그대로이고, 바뀌는 것은 왜 그랬는가입니다.
다음은 처방이 아니라 표본입니다
미결 항목에 46번을 새로 올렸습니다 — 다인 축구 영상이 없습니다. 제품은 축구 단일 종목이 됐는데 「여러 명 중 고르기」를 축구에서 잰 적이 한 번도 없습니다. 필요한 조건(2명 이상이 함께 잡힐 것 · 공이 발치에 오는 구간 · 주석이 안 그려진 원본 · 20편)과, 제 선에서 못 정하는 것(저작권·실사용자 영상 이용 범위)을 그 항목에 적었습니다. 판단 부탁드립니다.
🔴 지금 깨지는 것은 없습니다. 서비스도, 종목 게이트도, 리포트 문구도 그대로 돕니다. 막히는 것은 18번의 다음 회차입니다.
배운 것
「계기가 재려던 것을 재는가」 위에 한 칸이 더 있었습니다 — 「표본에 그 현상이 있기는 한가」입니다. 여덟 번째 회차는 계기가 다른 양을 쟀고, 열 번째는 현상의 2.6% 만 봤고, 이번에는 맞게 쟀는데 현상이 표본에 없었습니다.
앞으로 사전 등록에 관문 한 줄을 더 넣습니다 — 「착수 전에, 이 표본에서 그 현상이 몇 %인가. 바닥 미만이면 재기 전에 표본을 바꾼다」. 이번 경우 그 값은 검출 한 번, 100초면 나왔습니다.
덧 — 「없다」고 적기 전에 디스크부터 뒤졌어야 했습니다
46번을 올려 놓고 나서, 가진 자료를 먼저 확인 안 한 것이 걸려 훑었습니다. 순서가 틀렸습니다.
- 3DSP(축구 슛 200클립)는 영상이 없고 100×100 크롭 이미지뿐입니다. 이미 한 사람으로 잘려 있어 원리적으로 다인이 될 수 없습니다. 닫습니다.
- 그런데 SoccerNet 방송 클립 어댑터가 이미 우리 코드에 있었습니다. 10초 클립 34,050건, 그중 슛 5,456건. 방송 화면이라 여러 선수가 함께 나옵니다 — 수집 파이프라인 문서가 그것을 단점으로 적어 두었는데, 이 질문에는 그게 바로 요구 조건입니다.
막힌 것은 딱 하나, 허깅페이스 로그인입니다. 목록은 익명으로 열리고 파일만 게이트라 401이 납니다. 약관 동의와 로그인은 사람이 해야 하는 2분짜리 일입니다.
🔴 다만 받으면 끝이 아닙니다. 224p라 선수가 작습니다. 검출기가 실제로 두 명을 집는지는 재 봐야 압니다. 그래서 오늘 배운 것을 도구로 만들어 두었습니다 — 표본 관문(agent/eval/sample_gate/). 받는 즉시 한 줄, 5분이면 답이 납니다. 바(다인률 10%)는 새 표본을 보기 전에 박았고, 지금 19편은 8%로 불통과입니다.
덧 둘 — 표본을 받았고, 12회차를 돌렸고, 또 틀렸습니다
정상호 님이 허깅페이스 약관 동의와 로그인을 해 주셔서 SoccerNet 방송 40편을 받았습니다. 관문을 돌리니 다인률 98%(1인 훈련 영상은 8%, 야구는 66%)로 통과했고, 주 층이 1프레임에서 198프레임이 됐습니다. 회차가 성립합니다.
돌렸습니다. 우리가 고른 사람이 공에 가장 가까운 비율이 17.7% 입니다. 틀리는 거리도 근소하지 않습니다 — 중앙 사람 키의 1.7배 떨어진 사람을 고릅니다.
🔴 그런데 「선택이 틀린다」로 적지 않았습니다. 사전 등록에 기전까지 미리 박아 두었기 때문입니다: “방송 구도에서 「가장 큰 사람」은 곧 「카메라에 가장 가까운 사람」일 것”. 재 보니 틀렸습니다. 우리가 고른 사람과 공 옆 사람의 키 차이는 1.19배, 거의 같은 크기였습니다.
진짜 이유는 폭이었습니다. 선택 규칙이 면적으로 고르는데, 여러 명이 있는 화면에서 면적을 키우는 건 키가 아니라 가로폭입니다. 고른 박스가 그 프레임에서 가장 넓은 박스인 경우가 64% 였습니다.
🔴 숫자만 봤으면 「선택이 틀린다, 원근 때문이다」로 적었을 겁니다. 둘 다 틀렸을 뻔했습니다. 기전을 미리 박아 두는 기준 하나가 그걸 막았습니다.
폭이 넓은 이유(팔다리를 벌린 자세인지, 겹친 사람 둘을 하나로 잡은 것인지)는 아직 안 갈랐습니다. 다음 회차의 질문이고, 거기서 처방이 갈립니다 — 겹침이면 검출 후처리 문제고 자세면 선택 규칙 문제입니다. 🔴 그리고 「면적 대신 높이로 고르자」는 공짜가 아닙니다. 그 규칙이 기존 평가 전체의 기준이라 바꾸면 그 평가들을 다시 돌려야 합니다.
정본은 미결 항목 ho 18번(11·12회차)·43번(㉰)·46번이고, 순서는 남은 작업 로드맵에 있습니다.