Parksy Audio Pipeline Optimization Report

Date: 2025-01-XX

Duration: ~6 hours (6 rounds)

Scope: 24 MIDI files → 22 processed, 5 visual videos

Author: Claude (AI-assisted pipeline optimization)

1. Project Overview

MIDI 파일을 고품질 오디오(WAV/M4A)로 변환하는 자동화 파이프라인을 체계적으로 최적화했다. 다운로드 폴더의 24개 클래식 피아노 MIDI 파일을 활용해 6라운드에 걸쳐 파라미터를 탐색하고, 자동 품질 평가 엔진으로 객관적으로 비교했다.

Pipeline Architecture

MIDI → fix_midi() → apply_expression() → render_fluidsynth() → master() → mix_ambient()
       (채널 병합,    (S-curve velocity,   (SoundFont→WAV)    (EQ+Comp+   (Ambient loop
        CC 제거,       phrasing boost)                         Limiter+     + AAC encode)
        중복 제거)                                             Loudnorm)

Tools

**FluidSynth 2.4.6**: MIDI → WAV 렌더링

**FFmpeg**: 마스터링 체인 + 앰비언트 믹싱 + 비주얼 비디오

**Python 3.12**: 배치 자동화 (optimizer.py, score_engine.py)

2. Scoring Engine (score_engine.py)

5개 차원의 가중평균으로 0-100점 산출:

LUFS (Loudness)	20%	-18 ~ -14 LUFS	범위 밖 1dB당 -10점
Dimension	Weight	Perfect Score Criteria	Penalty
LRA (Loudness Range)	25%	5 ~ 10 LU	범위 밖 1LU당 -10점
True Peak	15%	≤ -1.0 dBTP	초과 시 급감
Freq Balance	20%	Hi-Mid 대비 -15 ~ -5 dB	범위 밖 감점
Dynamic Variance	20%	std 1.5 ~ 5.0 (20s window)	범위 밖 감점

3. Round-by-Round Results

Round 1: Baseline (v4 설정, TOH4 SoundFont)

8개 대표 MIDI + faure_84_3 기존 결과:

1	clairdelune	100.0	-16.0	8.3	-3.1	-6.2	3.36
#	Track	Score	LUFS	LRA	TP	Freq	DynStd
2	nocturne_op9_1	95.0	-16.0	9.3	-2.3	-7.5	5.40
3	nocturne_13	100.0	-16.0	6.8	-3.5	-8.9	3.47
4	consolation_3	100.0	-16.0	8.2	-6.5	-7.3	2.55
5	barcarolle_26	98.2	-16.0	5.5	-4.1	-10.2	2.18
6	faure_pavane_50	79.7	-16.0	2.1	-6.5	-14.1	1.08
7	dolly_suite_1	97.0	-16.0	5.3	-3.7	-10.1	1.40
8	sicilienne	90.4	-16.0	8.9	-1.1	-6.5	5.54
9	faure_84_3 (v4)	100.0	-16.0	5.3	-5.9	-8.2	2.01

Average: 95.6 | faure_pavane_50이 최저 (LRA=2.1, 원본 velocity 단일값)

Round 2: SoundFont Comparison

4개 SoundFont × 4개 MIDI = 16 조합:

TOH4	420MB	100.0	100.0	100.0	80.2	95.1
SoundFont	Size	clairdelune	nocturne_13	consolation_3	faure_pavane	Average
SGM-V2.01	236MB	100.0	100.0	100.0	87.5	96.9
FluidR3	141MB	95.0	98.2	94.2	74.6	90.5
GeneralUser	37MB	100.0	94.6	100.0	86.0	95.2

Winner: SGM-V2.01 (+1.8 vs TOH4, 파일 크기도 44% 작음)

핵심 발견:

FluidR3는 주파수 밸런스 문제 (freq_balance -1.9 ~ -3.9, 과도한 고음)

SGM이 faure_pavane에서 7.3점 우위 (더 풍부한 저역대)

GeneralUser는 SGM에 근접하지만 nocturne_13에서 5.4점 열세

Round 3: EQ/Compressor Matrix

3 EQ × 3 Comp × 2 MIDI = 18 조합:

EQ Presets:

Warm	-2dB@200	-1dB	+3dB	+2dB	+2dB@10k
Name	Low Shelf	400Hz Cut	3kHz Boost	5kHz Boost	Air Shelf
Balanced	-3dB@200	-2dB	+4.5dB	+3.5dB	+4dB@10k
Bright	-4dB@200	-3dB	+6dB	+5dB	+6dB@10k

Compressor Presets:

Gentle	1.5:1	-15dB	50ms	400ms	8
Name	Ratio	Threshold	Attack	Release	Knee
Moderate	2.0:1	-18dB	30ms	300ms	8
Firm	3.0:1	-22dB	15ms	200ms	6

Results (faure_pavane — clairdelune는 전부 100.0):

Warm	86.8	86.9	86.8
EQ \ Comp	Gentle	Moderate	Firm
Balanced	87.5	87.3	86.9
Bright	87.6	87.5	87.3

Winner: Balanced + Gentle (Bright가 0.1점 높지만 과도한 고역 부스트 리스크)

핵심 발견:

EQ 차이 < 1점, Comp 차이 < 0.7점 → 마스터링 체인은 이미 안정적

Firm compression이 미세하게 점수 하락 (다이나믹 손실)

Gentle compression (1.5:1)이 피아노 다이나믹 보존에 최적

Round 4: Expression/Velocity Tuning

4 presets × 3 MIDI = 12 조합:

Conservative	3.0	35-115	100.0	100.0	87.6	95.9
Preset	k	Range	clairdelune	nocturne_op9	faure_pavane	Average
Moderate	4.0	25-122	100.0	91.9	87.5	93.1
Aggressive	5.0	18-127	91.8	76.8	87.3	85.3
Linear	n/a	25-122	100.0	96.0	87.5	94.5

Winner: Conservative (k=3.0, 35-115)

핵심 발견 (이 라운드의 가장 중요한 결과):

**Aggressive k=5.0이 nocturne LRA를 19.3까지 폭발** (정상 범위 5-10)

k=3.0은 nocturne LRA=8.6으로 안전 범위 유지

범위 축소 (35-115 vs 25-122)가 극단값 방지에 효과적

Linear(직선)보다 S-curve가 약간 우수 (자연스러운 다이나믹)

Round 5: Ambient Mixing

6 settings × 2 MIDI = 12 조합:

rain -18dB	98.0 (TP penalty!)	87.6
Setting	clairdelune	faure_pavane
rain -20dB	100.0	87.6
rain -22dB	100.0	87.6
wind -20dB	100.0	87.6
fire -20dB	100.0	87.6
no ambient	100.0	87.5

Winner: rain -20dB

핵심 발견:

rain -18dB에서 TP=-0.87 (피크 마진 침범) → 2점 감점

-20dB 이하는 점수 영향 없음 (안전 마진)

앰비언트 종류(rain/wind/fire)는 점수에 무영향 → 미학적 선택

no ambient도 거의 동일 점수 → 앰비언트는 감성적 부가가치

Round 6: Final Validation (22 MIDI, Optimal Config)

1	clairdelune	100.0	-16.0	8.2	-3.2
#	Track	Score	LUFS	LRA	TP	Notes
2	nocturne_op9_1	100.0	-16.0	8.6	-2.8
3	nocturne_13	100.0	-16.0	6.8	-3.4
4	consolation_3	100.0	-16.0	8.2	-6.4
5	barcarolle_26	100.0	-16.0	5.4	-4.3
6	dolly_suite_1	100.0	-16.0	5.5	-3.5
7	siclienn	100.0	-16.0	8.8	-1.1
8	pavane	100.0	-16.0	8.7	-2.5
9	faure_pieces_84_3	100.0	-16.0	5.2	-5.8
10	faure_pieces_84_5	100.0	-16.0	5.5	-4.5
11	franck_panis	100.0	-16.0	5.1	-5.3
12	mozart_ave_verum	100.0	-16.0	5.6	-5.3
13	prelude_103_9	100.0	-16.0	6.9	-3.6
14	dolly_suite_2	100.0	-16.0	5.2	-5.7
15	mahler_sym5_1	100.0	-16.0	8.3	-1.1	10032 notes
16	nocturne_7	99.0	-16.0	10.4	-1.3	LRA 약간 초과
17	faure_romance	99.4	-16.0	4.9	-4.3	LRA/DynStd 약간 부족
18	carnival_animals_13	93.7	-16.0	7.7	-1.0	DynStd=7.09 (과대)
19	jekyll_hyde	89.6	-16.0	3.9	-3.6	LRA 부족, DynStd=0.89
20	faure_pavane_50	87.6	-16.0	5.3	-5.1	vel_span=0 (단일 velocity)
21	dolly_suite_3	80.0	-16.0	6.1	-3.6	DynStd=20.66 (극단적)
22	bruckner_locus	65.8	-16.0	15.7	-1.0	LRA 폭발, DynStd=24.49

Summary: 15/22 = 100.0 (68%), Average = 96.4

4. Proven Hypotheses

H1: SGM SoundFont > TOH4 for Piano

**Evidence**: Round 2에서 SGM avg 96.9 vs TOH4 avg 95.1 (+1.8)

**Mechanism**: SGM의 피아노 샘플이 더 풍부한 저역대와 자연스러운 어택 제공

**Bonus**: 파일 크기 236MB vs 420MB (44% 절감)

H2: Gentle Compression Preserves Piano Dynamics

**Evidence**: Round 3에서 Gentle(1.5:1) ≥ Moderate(2.0:1) > Firm(3.0:1)

**Mechanism**: 피아노는 pp~ff 다이나믹이 핵심 표현력. 과도한 압축은 이를 파괴

H3: S-curve k=3.0 Prevents LRA Explosion

**Evidence**: Round 4에서 k=5.0 → nocturne LRA=19.3 (score 76.8), k=3.0 → LRA=8.6 (score 100.0)

**Mechanism**: 높은 k값은 velocity 분포를 극단으로 밀어 fff/ppp 갭 과대화

**Impact**: 가장 큰 점수 차이를 만든 파라미터 (23.2점 차이)

H4: Flat-Velocity MIDI는 본질적 한계

**Evidence**: faure_pavane_50 (vel_span=0)은 모든 라운드에서 87-88점 정체

**Mechanism**: 원본 MIDI에 다이나믹 정보가 없으면 expression 처리가 무효

**Implication**: 파이프라인 외부에서 velocity 생성이 필요 (AI velocity generation)

H5: Ambient -20dB is Sweet Spot

**Evidence**: Round 5에서 -18dB → TP penalty (98.0), -20dB → clean (100.0)

**Mechanism**: -20dB에서 앰비언트가 감성적 효과는 내되 피크 마진 침범하지 않음

H6: Single Config Works Cross-Genre

**Evidence**: Round 6에서 22개 다양한 장르 중 15개(68%)가 100.0

**Mechanism**: 보수적 파라미터(gentle comp, moderate S-curve)가 장르 무관 안정성 제공

**Exception**: 극단적 다이나믹 곡 (bruckner: 65.8, dolly_suite_3: 80.0)

5. Final Optimal Configuration

{
  "soundfont": "D:\\VST\\SGM-V2.01.sf2",
  "fs_gain": 0.6,
  "fs_reverb": 0,
  "fs_chorus": 0,
  "hpf_freq": 35,
  "low_shelf_freq": 200,
  "low_shelf_gain": -3,
  "mid_cut_freq": 400,
  "mid_cut_q": 2,
  "mid_cut_gain": -2,
  "body_freq": 1000,
  "body_q": 1,
  "body_gain": 1,
  "presence_freq": 3000,
  "presence_q": 0.7,
  "presence_gain": 4.5,
  "bright_freq": 5000,
  "bright_q": 1,
  "bright_gain": 3.5,
  "air_shelf_freq": 10000,
  "air_shelf_gain": 4,
  "comp_threshold": -15,
  "comp_ratio": 1.5,
  "comp_attack": 50,
  "comp_release": 400,
  "comp_makeup": 1,
  "comp_knee": 8,
  "limiter_limit": 0.84,
  "limiter_attack": 5,
  "limiter_release": 80,
  "lufs_target": -16,
  "tp_target": -1.5,
  "lra_target": 9,
  "vel_scurve_k": 3.0,
  "vel_target_min": 35,
  "vel_target_max": 115,
  "phrasing_boost": 0.2,
  "phrasing_window": 5,
  "ambient_file": "D:\\VST\\ambient\\rain_nat.mp3",
  "ambient_volume": -20
}

v4 → Optimal 변경 사항

SoundFont	TOH4.sf2 (420MB)	SGM-V2.01.sf2 (236MB)	+1.8 avg score, 풍부한 저역
Parameter	v4 (Before)	Optimal (After)	Reason
comp_ratio	2.0	1.5	다이나믹 보존
comp_threshold	-18dB	-15dB	과압축 방지
vel_scurve_k	4.0	3.0	LRA 폭발 방지 (H3)
vel_target_min	25	35	극단적 pp 방지
vel_target_max	122	115	극단적 ff 방지
fs_gain	0.7	0.6	피크 마진 확보

6. Known Limitations

Score Engine

**과도한 관용성**: 15/22 = 100.0 → 차별력 부족

LUFS는 loudnorm이 강제하므로 항상 만점 (실질적 변별력 없음)

freq_balance 기준이 넓어 대부분 만점

Pipeline

**Flat-velocity MIDI**: vel_span=0인 파일은 87-88점 한계 (파이프라인으로 해결 불가)

**극단적 다이나믹**: bruckner (LRA=15.7, DynStd=24.49)처럼 원본이 극단적이면 보수적 설정으로도 제어 불가

**마스터링 타임아웃**: 대형 파일(mahler 153MB WAV)은 300초 필요

평가 방법론

청취 테스트(listening test) 미실시 — 객관적 메트릭만으로 "좋은 소리" 보장 불가

A/B 비교 없이 절대 점수만 사용

7. Future Directions

1. Score Engine 고도화: LUFS 가중치 축소(어차피 고정), LRA/Dynamic 세분화, spectral flatness 추가

2. 장르별 프로파일: 오케스트라(bruckner) vs 피아노 독주 → 별도 comp/expression 설정

3. AI Velocity Generation: flat-velocity MIDI에 자동 다이나믹 부여 (ML 모델)

4. 청취 테스트: 실제 리스너 A/B 비교로 score engine 가중치 보정

5. SoundFont 레이어링: 피아노 + 스트링 별도 SoundFont로 멀티 트랙 렌더링

8. Deliverables

	`D:\tmp\optimizer.py`	통합 배치 프로세서
	File	Description
	`D:\tmp\score_engine.py`	자동 품질 평가 엔진
	`D:\tmp\optimal_config.json`	최종 최적 파라미터
	`D:\tmp\round1_results.json` ~ `round6_results.json`	각 라운드 결과 데이터
	`D:\PARKSY\...\work\r6_*/`	22개 처리 결과물 (WAV, M4A)
	`D:\PARKSY\...\work\r6_/_visual.mp4`	상위 5개 비주얼 비디오
	`D:\PARKSY\...\outputs\optimization_report.md`	이 문서

1	Debussy - Clair de Lune	3:16	51.6MB
#	Track	Duration	Size
2	Chopin - Nocturne Op.9 No.1	4:20	65.3MB
3	Faure - Nocturne No.13 Op.119	6:35	114.5MB
4	Liszt - Consolation No.3	4:38	75.6MB
5	Faure - Pavane Op.50	5:15	80.5MB

Parksy Audio Pipeline Optimization Report

1. Project Overview

Pipeline Architecture

Tools

2. Scoring Engine (score_engine.py)

3. Round-by-Round Results

Round 1: Baseline (v4 설정, TOH4 SoundFont)

Round 2: SoundFont Comparison

Round 3: EQ/Compressor Matrix

Round 4: Expression/Velocity Tuning

Round 5: Ambient Mixing

Round 6: Final Validation (22 MIDI, Optimal Config)

4. Proven Hypotheses

H1: SGM SoundFont > TOH4 for Piano

H2: Gentle Compression Preserves Piano Dynamics

H3: S-curve k=3.0 Prevents LRA Explosion

H4: Flat-Velocity MIDI는 본질적 한계

H5: Ambient -20dB is Sweet Spot

H6: Single Config Works Cross-Genre

5. Final Optimal Configuration

v4 → Optimal 변경 사항

6. Known Limitations

Score Engine

Pipeline

평가 방법론

7. Future Directions

8. Deliverables

Top 5 Visual Videos