Parksy Audio — 마스터링 파이프라인 개발일지

프로젝트 요약

목표: 클래식 MIDI 29곡 → YouTube-ready 고품질 오디오/비디오 자동 생산 파이프라인

기간: 2025.02 ~ 2026.02 (약 12개월, 간헐적)

핵심 산출물: quartet_pipeline.py (40KB, 코어 엔진) + run_everything.py (19KB, 오케스트레이션)

총 코드량: 87개 Python 파일, 13,098 라인

작업 데이터: ~20GB 중간 결과물 (sq_work/mass_test/)

Phase 1–7: 피아노 파이프라인 (이전 세션들)

FluidSynth + SGM-V2.01 SoundFont 기반 렌더링

S-curve expression (k=3.0) 도입 → 22pt 음질 향상

Score Engine 5차원 평가 체계 확립:

- LUFS (0.20) / LRA (0.25) / True Peak (0.15) / Freq Balance (0.20) / DynStd (0.20)

**결과**: 15/22 피아노 트랙 100.0점, 평균 96.4

Phase 8: 오케스트랄 파이프라인 확장

v1–v4: 기본 구조

4개 악기군 CONFIG 자동 분류: `STRING`, `WOODWIND`, `BRASS`, `ORCHESTRAL`

`detect_families()` → MIDI 프로그램 번호 기반 자동 감지

기본 마스터링 체인: FFmpeg loudnorm → comp → EQ → limiter

v5 Adaptive: 핵심 돌파 (12/12 ≥ 99.5)

4가지 적응형 규칙 도입:

1. Phrase dynamics: CC11 기반 프레이즈 다이내믹 자동 삽입

2. LUFS normalization: 장르별 타겟 (-17/-18 dB)

3. Warm EQ: 주파수 밸런스 보정 (body↑, bright↓)

4. dynaudnorm: 극단적 LRA 대응 (f=100, g=7)

핵심 발견:

BRASS_CONFIG의 bright/air 컷이 목관에도 효과적 (SGM 패치 특성)

dynaudnorm(f=100, g=7)이 합창곡 LRA 18.7→6.2 해결

복합 적응 (phrase+LUFS 동시) > 순차 적용

Phase 9: 피아노 29곡 통합 (최종)

문제: 29곡 중 2곡 미해결

				`nocturne_13`	~86	DynStd 극단적 변동	skip_humanize + vel_compress(60,85) + sec_norm(sn5.0) + dn(f=10,m=50)	99.8
				트랙	초기 점수	문제	해결	최종 점수
				`bruckner_sq`	~97	Freq balance (bright 과다)	warm EQ (bright=-1, air=-1, presence=3, body=4, comp=3.5)	99.8~100.0

해결 과정 (fix_round4 → fix_round6)

nocturne_13 — 가장 난해했던 트랙:

Round 4: vel_compress 단독 → DynStd 여전히 높음

Round 5: sec_norm 도입 → 개선되나 불안정

Round 6: skip_humanize=True가 결정적 → 랜덤 변동 제거 → 99.8 안정

bruckner_sq — EQ 미세 조정:

comp_ratio 3.5 + warm EQ 조합으로 해결

humanize 랜덤성으로 99.2~100.0 범위 (대부분 99.5+)

최종 검증

29/29 트랙: ≥ 99.5 (120초 테스트 렌더 기준)
- Orchestral 11곡: avg 99.9, min 99.5
- Piano 18곡: avg 99.7, min 99.5 (nocturne_13=99.8)

Phase 10: Full-length 렌더링 (진행 중)

구현 완료

`do_orch_pipeline`에 `max_seconds=0` (무제한) + `out_dir` 파라미터 추가

`render_full_and_video.py` 생성 (전체 29곡 WAV + MP4)

FFmpeg showwaves 시각화 + drawtext 메타데이터 오버레이

미해결 이슈

**Full-length LRA 문제**: 120초 테스트에서 99.5+인 곡도 전체 길이에서 LRA 급등

- 예: prelude_103_9 — 120초: ~100점, full: 86.2점 (LRA 15.5)

- dynaudnorm(f=100, g=7) 적용 시 99.2까지 회복

- 더 aggressive한 설정 (f=50 or f=30) 필요할 수 있음

**해결 방향**: 전곡에 dynaudnorm 기본 적용 + 스코어 < 99.5 시 aggressive 재시도

남은 작업

1. Full-length 적응형 렌더링 로직 완성

2. 29곡 전체 렌더링 실행 (~1-2시간)

3. YouTube MP4 생성

4. 중간 파일 정리 (~20GB)

아키텍처 다이어그램

MIDI (29곡)
  │
  ├─ detect_families() → CONFIG 자동 선택
  │   ├─ STRING_CONFIG   (현악 4중주 등)
  │   ├─ WOODWIND_CONFIG (목관)
  │   ├─ BRASS_CONFIG    (금관)
  │   ├─ ORCHESTRAL_CONFIG (혼합)
  │   └─ PIANO_CONFIG    (피아노)
  │
  ├─ MIDI 전처리
  │   ├─ fix_midi_piano / fix_midi_strings
  │   ├─ apply_expression (S-curve k=3.0)
  │   ├─ apply_phrase_dynamics (CC11)
  │   ├─ compress_velocity_range
  │   ├─ normalize_section_velocity
  │   └─ humanize (±velocity 랜덤)
  │
  ├─ FluidSynth 렌더링 (SGM-V2.01.sf2)
  │
  ├─ 마스터링 체인 (FFmpeg)
  │   ├─ loudnorm (LUFS 타겟)
  │   ├─ compand (다이내믹 압축)
  │   ├─ EQ (body/presence/bright/air)
  │   ├─ dynaudnorm (LRA 정규화)
  │   └─ alimiter (True Peak)
  │
  ├─ Score Engine (5차원 평가)
  │   └─ LUFS(0.20) + LRA(0.25) + TP(0.15) + Freq(0.20) + Dyn(0.20)
  │
  └─ try_adaptive() — 점수 < 99.5 시 자동 최적화
      ├─ Piano: 5-tier (velcomp → secnorm → combined → dynaudnorm → phrase)
      └─ Orch: dynaudnorm → phrase → LUFS → warm EQ

핵심 파일 목록

`quartet_pipeline.py`	40KB	코어 엔진: MIDI처리 + 렌더링 + 마스터링 + 스코어링
파일	크기	역할
`run_everything.py`	19KB	29곡 오케스트레이션 + adaptive search
`score_engine.py`	8KB	5차원 스코어 엔진
`optimizer.py`	14KB	S-curve 파라미터 최적화
`render_full_and_video.py`	12KB	Full-length WAV + YouTube MP4
`verify_fixes.py`	2KB	bruckner_sq + nocturne_13 검증
`fix_round4~6.py`	~31KB	nocturne_13/bruckner_sq 해결 과정

기술 스택

**Python 3.12** + FFmpeg + FluidSynth

**mido**: MIDI 파싱/조작

**pyloudnorm**: LUFS/LRA 측정

**scipy**: 주파수 분석 (FFT)

**SGM-V2.01.sf2**: SoundFont (피아노 + 오케스트라 통합)

자체 강평 (Self-Review)

잘한 것

1. 정량적 평가 체계가 핵심이었다

5차원 Score Engine 없이는 이 프로젝트가 불가능했다. "좋은 소리"라는 주관적 기준을 LUFS/LRA/TP/Freq/DynStd 숫자로 바꿔놓으니, A/B 테스트의 승패가 명확해졌고, 파라미터 튜닝이 과학이 됐다. 매 실험마다 점수가 올라가는 걸 보면서 방향을 잡을 수 있었다.

2. Adaptive 패턴의 범용성

"일단 기본값으로 돌리고, 점수 안 나오면 자동으로 보정" — 이 패턴이 11개 오케스트랄 + 18개 피아노 전부를 커버했다. 한 곡에 맞춰 하드코딩하는 대신 규칙 기반 적응형으로 가니 새 곡이 들어와도 파이프라인이 돌아간다.

3. nocturne_13 해결 과정

6라운드에 걸친 체계적 디버깅은 이 프로젝트의 하이라이트다. vel_compress → sec_norm → dynaudnorm → 조합 → skip_humanize 순서로 가설을 세우고 검증하면서, 결국 "humanize 랜덤성 자체가 문제"라는 비직관적 답을 찾았다. 자동화의 모든 단계를 의심하고 하나씩 제거한 접근이 효과적이었다.

4. SGM-V2.01 단일 SoundFont 결정

SSO, VSCO2 등 여러 SFZ를 테스트했지만 SGM 하나로 통일한 건 좋은 판단이었다. 오케스트라와 피아노 모두에서 일관된 품질을 얻었고, 배포/관리가 단순해졌다.

아쉬운 것

1. 실험 코드 관리 부재 — 87개 .py 파일의 난맥

fix_round4.py, fix_round5.py, fix_round6.py, run_fix_piano_v3.py, run_fix_piano_v4.py...

실험할 때마다 새 파일을 만들어서 D:\tmp에 87개 스크립트가 쌓였다. 어떤 게 최종인지, 어떤 게 폐기된 건지 파일명만으로는 구분이 안 된다. 실험 브랜치를 쓰거나, experiments/ 하위 폴더로 관리했어야 했다.

2. 120초 테스트 → Full-length 갭을 늦게 발견

29곡 120초 테스트에서 전부 99.5+ 찍고 "다 됐다" 했는데, full-length로 가니 LRA가 터졌다 (86.2점). 처음부터 full-length로 테스트했으면 이 문제를 일찍 잡았을 텐데, 120초 테스트에 안주한 측면이 있다. 다만 120초 기준으로 피드백 루프가 빨라서 파라미터 탐색이 가능했던 것도 사실이라 trade-off이긴 하다.

3. 중간 결과물 20GB 방치

sq_work/mass_test/에 676개 WAV 파일, 20GB. adaptive search가 시도하는 모든 변형을 저장해두니 디스크가 차올랐다. 최선 결과만 남기고 나머지는 삭제하는 로직이 있었어야 했다.

4. Full-length 적응형 로직 미완성

마지막 세션에서 render_full_and_video.py를 만들었지만 adaptive 로직 없이 기본 config만 적용했다. 결국 full-length 렌더는 아직 미완. dynaudnorm 기본 적용 + 재시도 로직을 추가해야 하는데, 이건 다음 세션 숙제로 남았다.

교훈

1. 스코어 엔진을 먼저 만들어라 — 측정 없이 최적화는 불가능. 점수가 있으니 "이건 좋다/나쁘다"를 코드가 판단할 수 있었다.

2. 120초 프록시 테스트의 한계 — 빠른 반복엔 좋지만, 최종 산출물과 동일 조건에서 검증해야 한다.

3. 적응형 > 하드코딩 — 곡마다 특수 config를 만들면 관리가 불가능. 규칙 기반 자동 적응이 확장성 있다.

4. 하나씩 제거하며 디버깅 — nocturne_13처럼 복잡한 문제는 변수를 하나씩 끄면서 범인을 좁혀야 한다.

숫자로 보는 결과

                       120초 테스트    Full-length (예상)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Orchestral 11곡        avg 99.9       dynaudnorm 적용 필요
Piano 18곡             avg 99.7       dynaudnorm 적용 필요
전체 29곡              29/29 ≥ 99.5   미완 (적응형 로직 보완 후)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
nocturne_13 (최난곡)   99.8 (확정)    TBD
bruckner_sq            99.8~100.0     TBD
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
코드                   87파일 / 13K줄
중간 데이터            ~20GB (정리 필요)

다음 단계

1. render_full_and_video.py에 적응형 dynaudnorm 로직 추가

2. 29곡 full-length 렌더링 + 스코어 검증

3. YouTube MP4 전곡 생성

4. 실험 파일 정리 (87개 → 핵심 5~6개만 보존)

5. sq_work/mass_test/ 20GB 정리