10_방송 AI 서비스 성능 벤치마크 결과 분석 1건
들어가며
과제의 기술 목표는 처리 성능과 장면 분석 정확도 두 가지다. SBS 드라마 「김부장」 10편의 처리 기록으로 지금 확인할 수 있는 것을 쟀다. 처리 성능은 기록상 목표 안이고, 정확도는 아직 측정 전이다.
앞선 글에서는 영상을 분석하고 편성하는 과정과, 그 결과가 담기는 데이터 구조를 다뤘다. 이 글은 그 과정이 얼마나 걸리는지 와 목표에 얼마나 와 있는지 를 다룬다.
과제의 기술 목표 두 가지와 현재 상태다.
| 지표 | 목표 | 현재 상태 |
|---|---|---|
| 처리 성능 | 1시간 방송을 20분 안에 처리 | 1시간 방송을 11분 27초 . |
| 장면 분석 정확도 (F1) | 0.70 이상 (40~60분 영상), 0.65 이상 (60~120분 영상) | 미측정 . 공인시험에서 측정한다 |
처리 성능은 자체 기록으로 계산한 값이다. 공인시험에서 다시 측정한다.
이 글에서 다루는 내용은 아래와 같다.
- 무엇을 어떻게 쟀나
- 분석 처리 시간
- 편성 응답 시간
- 편성 결과 확인
- 정확도 (F1)
1. 무엇을 어떻게 쟀나
대상은 「김부장」 10편이다. 전체 길이는 10시간 53분이고, 한 편은 60분에서 73분 사이다.
잰 것은 두 가지다.
| 잰 것 | 뜻 | 쓴 기록 |
|---|---|---|
| 분석 처리 시간 | 영상 한 편을 넣고 분석 결과가 저장될 때까지 | 처리 기록에 남은 시작·완료 시각 |
| 편성 응답 시간 | 질의를 접수하고 클립 목록이 나올 때까지 | 질의가 접수된 시각 |
새로 실행해서 잰 것이 아니라, 이미 실행한 기록에 남은 시각으로 계산했다.
2026년 9월 16일부터 10월 8일 사이의 기록이다.
2. 분석 처리 시간
분석은 세 공정으로 나뉜다.
영상에서 음성과 화면을 뽑는 추출 , 대사를 받아쓰고 다듬는 음성 분석 , 컷과 씬을 나누는 화면 분석 이다.
- 영상 1시간을 처리하는 데 11분 27초 가 걸린다. 목표 20분보다 8분 33초 짧다.
- 시간의 3분의 2가 화면 분석이다. 컷마다 화면을 보고 유형과 설명을 붙이는 단계가 여기에 들어 있다.
- 음성 분석은 다섯 단계를 합쳐 2분 52초다.
공정별 합계는 아래와 같다.
| 공정 | 처리한 편수 | 영상 길이 합 | 걸린 시간 | 영상 1시간당 |
|---|---|---|---|---|
| 추출 | 10편 | 10시간 53분 | 9분 36초 | 53초 |
| 음성 분석 | 10편 | 10시간 53분 | 31분 8초 | 2분 52초 |
| 화면 분석 | 9편 | 9시간 47분 | 75분 18초 | 7분 42초 |
| 합계 | 11분 27초 |
회차별로 보면 아래와 같다.
- 세 공정을 모두 잰 아홉 편이 11분 16초에서 13분 21초 사이다.
- 가장 오래 걸린 7화도 목표 시간보다 9분 넘게 짧다.
- 회차 사이의 차이는 2분 안팎이다.
시간을 잰 방법
- 추출과 음성 분석 : 처리 기록에 회차마다 시작 시각과 완료 시각이 남아 있다. 그 차이를 썼다. 2026년 9월 16~17일에 실행한 기록이다.
- 화면 분석 : 10월 8일에 열 편을 한 편씩 연달아 다시 처리했다. 한 편이 끝난 시각부터 다음 편이 끝난 시각까지를 그 편의 처리 시간으로 봤다. 시작 시각이 없는 1화는 뺐다.
이 값을 읽을 때 알아 둘 것
- 한 편을 처음부터 끝까지 한 번에 돌려 잰 값이 아니다. 9월의 추출·음성 기록과 10월의 화면 기록을 더했다.
- 화면 분석은 편과 편 사이의 대기 시간이 섞여 있을 수 있다. 그만큼 실제보다 길게 잡힌다.
- 화자에 이름을 붙이는 단계는 넣지 않았다.
3. 편성 응답 시간
분석이 끝난 영상에 질의를 넣으면 클립 목록이 나온다. 그때까지 걸리는 시간이다.
- 한 편에서 장면을 찾는 질의는 30초에서 1분 남짓 이다.
- 열 편 전체에서 60분 분량을 고르는 질의가 4분 31초 로 가장 오래 걸린다. 원본 약 11시간을 읽고 클립 65개를 고른 시간이다.
- 맞는 장면이 없는 질의는 12초 만에 끝난다.
질의 열두 건을 연달아 실행한 기록에서 쟀다. 한 질의가 접수된 시각부터 다음 질의가 접수된 시각까지다.
- 완료 시각은 따로 저장되지 않는다. 앞 질의가 끝난 뒤 바로 다음 질의가 들어갔다고 보고 계산한 값이다. 사이에 대기가 있었다면 실제보다 길게 잡힌다.
- 같은 이유로 묶음의 마지막 질의와 따로 실행한 질의는 걸린 시간이 남아 있지 않다. 위 그림은 광고 지점을 묻는 질의 세 건을 뺀 여덟 건이다.
4. 편성 결과 확인
빨리 나와도 틀리면 쓸 수 없다. 편성 결과가 요청대로 나왔는지를 검수 화면에서 확인했다.
질의마다 결과가 한 줄씩 쌓인다. 한 줄을 열어 클립을 누르면 원본 영상의 그 구간이 바로 재생된다. 질의 다섯 가지를 확인했다.
| 질의 | 대상 | 결과 | 요청대로 나왔나 |
|---|---|---|---|
| 핵심 스토리만 60분 요약 | 10편 | 60분 40초, 클립 65개. 열 편 모두에서, 본편만 | 그렇다 |
| 주강찬이 처음 등장하는 장면 | 3편 | 1화의 첫 등장 장면 1개 | 그렇다 |
| 회차별 최고의 타격 격투 액션 명장면 1개씩 | 10편 | 회차마다 1개씩 10개. 모두 격투 장면 | 그렇다 |
| 민지가 바다에서 수영하는 장면 | 1편 | 클립 0개. 분석 기록에 그런 장면이 없다 | 그렇다 |
| 10부작 트레일러 2분 (전문은 아래) | 10편 | 2분 24초, 클립 13개. 모두 1~3화의 격투·총격 씬에서 나왔다 | 일부만 |
확인한 방법은 질의마다 다르다.
- 60분 요약 : 분량, 회차 분포, 본편 여부를 편성 기록으로 확인했다. 고른 65개가 핵심 줄거리인지는 판정하지 않았다.
- 첫 등장 장면 : 클립을 재생하고, 그 인물이 분석 기록에 처음 나오는 시점과 대조했다.
- 액션 명장면, 트레일러 : 클립을 모두 재생했다.
- 없는 장면 : 1화의 씬 설명을 모두 훑어 그런 장면이 없는 것을 확인했다.
아래는 "회차별 액션 명장면" 질의가 고른 클립 열 개를 재생한 화면이다. 1화부터 10화까지 하나씩이다.
트레일러 질의의 전문은 아래와 같다. 지시가 여러 개 겹쳐 있다.
10부작 트레일러 2분. 보는 사람을 몰입시키는 순간만 고른다. 자극적인 순간(격투, 총격, 위협, 폭로, 절규, 충돌)과 웃기거나 설레는 순간(엉뚱한 대사, 어이없는 상황, 두 사람의 미묘한 눈빛, 고백, 스킨십)을 고르게 섞는다. 설명 장면과 일상 장면은 제외. 여러 장면을 많이 짧게짧게, 스토리 흐름 상관없이 구성.
짧은 클립 여러 개와 자극적인 장면이라는 지시는 지켰고, 세 가지는 지키지 못했다.
- 분량이 목표보다 20% 길다.
- 13개가 모두 1~3화에서 나왔다. 4화부터 10화까지는 한 장면도 없다.
- 웃기거나 설레는 순간은 한 장면도 들어가지 않았다.
목표 분량과 결과
분량을 지정한 질의 다섯 건의 결과다. 60분 목표는 1% 차이로 맞고, 10분 이하 목표는 14~21% 어긋난다.
| 목표 분량 | 결과 | 차이 |
|---|---|---|
| 60분 | 60분 40초 | 1% 길다 |
| 10분 | 11분 22초 | 14% 길다 |
| 3분 | 2분 22초 | 21% 짧다 |
| 2분 | 2분 24초 | 20% 길다 |
| 1분 30초 | 1분 46초 | 18% 길다 |
5. 정확도 (F1)
두 번째 목표는 장면 분석 정확도 F1 이다. F1 은 두 가지를 함께 본다.
- 정밀도 : 시스템이 고른 것 가운데 맞은 것의 비율.
- 재현율 : 찾아야 할 것 가운데 실제로 찾은 것의 비율.
둘의 조화 평균이 F1 이다.
많이 골라 재현율만 높이거나, 조금만 골라 정밀도만 높여서는 점수가 오르지 않는다.
기준은 영상 길이에 따라 다르다. 「김부장」은 모든 회차가 60분을 넘으므로 0.65 이상이 적용된다.
이 값을 재려면 영상의 장면마다 사람이 표시한 정답이 있어야 한다. 시스템이 분석한 장면을 그 정답과 대조해 채점한다. 아직 정답 데이터로 채점하지 않았으므로 이 글에는 F1 값이 없다.
4절의 확인은 F1 이 아니다. 질의 다섯 가지의 결과를 화면으로 직접 판정한 것이고, 장면 분석 결과를 정답과 대조한 것이 아니다.
마무리
「김부장」 10편의 처리 기록으로 처리 시간을 재고 목표와 대조했다.
- 분석 처리 시간은 영상 1시간당 11분 27초로, 목표 20분 안이다. 추출, 음성 분석, 화면 분석을 더한 값이다.
- 편성 응답 시간은 기록이 남은 여덟 건에서 12초에서 4분 31초 사이다.
- 질의 다섯 가지 가운데 넷이 확인한 범위에서 요청대로 나왔고, 지시가 여러 개 겹친 하나는 일부만 반영됐다.
- 장면 분석 정확도(F1)는 아직 측정하지 않았다.
처리 시간은 실행 기록으로 계산한 값이다. 처리 시간과 정확도 모두 공인시험에서 측정한다.
본 글은 과학기술정보통신부·정보통신산업진흥원 「2026년 오픈소스 AI·SW 개발·활용 지원사업」의 지원으로 수행된 연구 결과입니다.