논문명: UMU-Bench : Closing the Modality Gap in Multimodal Unlearning Evaluation
저자: Chengye Wang, Yuyuan Li, Xiaohua Feng, Chaochao Chen, Xiaolin Zheng, and Jianwei Yin
게재지: NeurIPS 2025 (D&B)
서론
학습된 데이터의 정보를 모델에서 지울 수 있게 하는 학습 방법인 머신 언러닝(Machine Unlearning)은, 주로 단일 모달 모델에서 연구되어 왔습니다. 이후 Multimodal Large Language Model(MLLM)이 다양한 분야에서 발전되면서, MLLM에서의 머신 언러닝에 대한 새로운 연구의 필요성이 대두되었습니다. MLLM에서는 단일 모달에서 고려하지 않아도 되었던 모달리티 간의 정렬을 고려해야 했기 때문입니다.
기존의 머신 언러닝 벤치마크 데이터셋들은 이러한 모달리티간의 정렬을 고려하여 설계되지 않았습니다. 저자들은 머신 언러닝에서의 모달리티간의 정렬을 고려한 UMU-Bench 데이터셋을 제안합니다. 이 글에서는, 해당 벤치마크 데이터셋에 관한 논문을 소개해드리려고 합니다.
본론
머신 언러닝(Machine Unlearning)
머신 언러닝은 학습된 데이터를 모델에서 의도적으로 지우는 학습 방법입니다. GDPR의 잊혀질 권리 등 최근 개인정보 관련 법과 규제들이 AI 모델에도 적용됨에 따라, 머신 언러닝의 필요성이 커졌습니다. 어떠한 학습된 모델이 있을 때, 그 모델이 학습한 특정 정보를 모델에서 지우기 위한 가장 간단한 방법은, 해당 데이터를 학습 데이터에서 지운 후에 다시 학습시키는 방법입니다. 하지만 이러한 방법은, 이미 학습된 모델을 버리고 새롭게 모델을 처음부터 학습시키므로 시간과 비용 측면에서 매우 비효율적입니다. 이러한 맥락에서 나온 학습 방법이 머신 언러닝입니다. 즉, 어떻게 하면 재학습 없이 학습에 사용된 특정 데이터의 정보를 지울 수 있는지 연구하는 연구분야입니다.
머신 언러닝 분야의 새로운 문제
기존에는 머신 언러닝이 단일 이미지 분류 모델이나, 언어 모델 등 하나의 모달리티만 가지고 있는 모델을 대상으로 연구되었습니다. 이후 멀티 모달 모델들이 빠르게 발전하였지만, 머신 언러닝에 대한 최근 연구들은 단일 모달의 언러닝 연구를 멀티 모달에서 그대로 가져와 적용하는 방식을 사용하는 경우가 대부분이었습니다. 이는 멀티모달 고유의 특성인 모달리티간 미정렬(modality misalignment)을 고려하지 않은 방식입니다. 언러닝에서의 모달리티간 미정렬은, 이미지 모달리티는 지운 것처럼 보였지만 언어 모달리티는 지우지 못했거나, 그 반대의 경우를 말합니다. 예시를 들어보겠습니다. 언러닝 학습이 적용된 특정 모델에, 특정 유명인 A의 인물 사진을 주고, 프롬프트로 “이 이미지에 있는 사람의 직업이 무엇인가?”라고 물었을 때 맞히지 못한다고 가정하면, 언러닝이 잘 된 것으로 해석할 수 있습니다. 하지만 유명인 A의 인물 사진을 주지 않고, “A의 직업이 무엇인가?”라고 언어로만 질문하면 맞히는 경우가 발생합니다.
UMU-Bench
몇몇 멀티모달 언러닝 벤치마크가 소개되었지만, 모두 모달리티간 미정렬을 고려하지 않았습니다. 확인을 위해 저자들은 기존의 머신 언러닝 벤치마크인 MLLMU-bench의 일부 데이터에 Gradient Ascent 방식을 적용해 보았습니다. 그 결과 단일 모달 데이터로만 언러닝하면 단일 모달 평가에서만 지워지고 멀티 모달 평가에서는 지워지지 않았으며, 멀티 모달 데이터로만 언러닝하면 그 반대 현상이 나타났습니다. 즉 언러닝을 적용한 모달리티에서만 효과가 나타나고 다른 모달리티로는 전이되지 않았습니다.
이에 저자들은, 모달리티간 미정렬을 고려한 새로운 벤치마크인 Unimodal and Multimodal Unlearning Benchmark(UMU-Bench)를 제안합니다.
UMU-Bench는 기존의 머신 언러닝 벤치마크인 MLLMU-bench의 데이터 구조를 가져와, 단일 모달과 멀티 모달 데이터의 균형을 맞추는 작업을 추가하여 데이터셋을 구성하였습니다.
먼저 데이터셋은 500명의 가상 인물과, 153명의 실제 인물들에 대한 정보들로 이루어집니다. 인물들의 정보는 얼굴 사진, 이름, 출생지, 생년월일, 직업 등 여러 항목으로 구성됩니다. 출생 국가 70개, 지역 270개, 1950~2010년의 생년월일, 145개의 직업 등 정보의 다양성도 충분하게 확보하였습니다.
언러닝을 평가하는 프레임워크는 다음과 같습니다.
첫째, 학습 데이터셋으로 모델을 Supervised Finetuning(SFT) 합니다.
논문에는 이 학습 데이터에 대한 자세한 정보는 나와있지 않습니다. 공식 깃허브 저장소를 확인한 결과, 이 단계에서는 MM_QA와 UM_QA 두 정보 모두로 파인튜닝함을 확인하였습니다.
다만 공개 코드에는 UM_QA를 처리하는 경로가 두 가지입니다. LLaMA-Factory용 데이터 생성 스크립트는 UM_QA에도 이미지를 붙이고, 별도 학습 스크립트는 단일 모달 학습 루프가 주석 처리되어 있습니다. 논문이 어느 경로로 파인튜닝했는지는 명시되어 있지 않습니다.
MM_QA와 UM_QA는 생년월일, 성별, 출생지 등 프로필 필드 하나를 묻는 형태가 대부분이며, UM_QA에는 “Tell me more about the background information of Amelia Kuznetsov in the image, including name, age, anecdotes, etc.” 처럼 여러 정보를 한 번에 묻는 description 형태의 질문도 포함되어 있습니다. 이 description 형태의 질문은 이후 평가에서 generation task의 질문과 사실상 같은 문장입니다.
둘째, 각각의 언러닝 방식으로 언러닝을 진행합니다.
언러닝을 진행할 때에는 forget set과 retain set의 분류가 필요합니다. forget set은 잊어야 하는 대상이고, retain set은 보존해야 하는 대상입니다. 이 벤치마크 데이터셋은 forget set과 retain set을 500명의 가상 인물들 풀에서 분리하였습니다.
또한 153명의 real person set은 forget set과 독립적인 세트로, 언러닝 이후에도 모델의 일반적인 성능이 훼손되지 않았는지 평가하는 용도입니다.
Forget set에 대한 성능은 ‘언러닝 대상 정보를 얼마나 잘 잊었는가’ (Unlearning Completeness)를 측정하는 지표이고, retain set과 real person set은 ‘기존의 모델 성능은 얼마나 잘 유지되었는가’를 측정하는 지표입니다.
셋째, 3가지의 평가 task로 단일 모달리티와 멀티 모달리티의 언러닝 성능을 측정합니다.
세 가지의 평가 task는 분류(classification), 빈칸 채우기(Cloze), 설명 생성(Generation)으로 이루어집니다. 각각의 task는 knowledge instance 기준으로 단일 모달 질문 하나, 멀티 모달 질문 하나로 구성됩니다. 여기서 단일 모달은 text-only 데이터를 의미하고, 멀티 모달은 해당 인물의 image + text 데이터를 의미합니다.
분류 task는 4지선다로 이루어지며, 그림과 같이 텍스트만으로 이루어진 단일 모달 질문과 이미지를 함께 제공하는 멀티 모달 질문으로 이루어져 있습니다. 평가는 모델이 생성한 문장과 네 개의 선택지 사이의 문자열 유사도를 계산해 가장 비슷한 선택지를 모델의 답으로 간주한 뒤, 그것이 정답 선택지와 같은지를 봅니다. 따라서 어떤 출력이든 네 선택지 중 하나로 배정되며, “I don’t know” 같은 출력도 그중 하나로 채점됩니다.
빈칸 채우기 task는 분류 문제와 다르게 빈칸을 한정된 양의 context만 이용해 채우게 만듦으로써 모델이 학습한 디테일한 정보를 recall하는 challenge가 있습니다. 빈칸 채우기 task의 평가는 코드 확인 결과 모델 출력의 첫 문장(첫 마침표 앞까지)을 소문자로 바꾼 뒤, 정답 문자열이 그 안에 포함되기만 하면 정답으로 판단합니다.
마지막 설명 생성 task는 개인의 프로필에 대해 긴 형식의 답변 생성에 중점을 두었습니다. 이 task는 모델이 새로 요약을 만드는 것은 아닙니다. 정답은 프로필의 background(Description)와 interest 필드에 적힌 서술문 그대로이고, 모델이 그 서술문을 얼마나 그대로 생성하는지를 봅니다. 앞서 SFT 단계에서 본 description 형태의 질문이 이 task의 질문과 같은 문장이므로, 이 task는 학습 때 본 서술문을 재현하는 형태입니다.
이 설명 생성 task의 metric은 이어지는 평가 metric에서 더 구체적으로 설명하겠습니다.
평가 Metric
평가 샘플 하나는 $\langle \text{image}, x_{mul}, y_{mul}, x_{uni}, y_{uni} \rangle$ 로 표현됩니다. 멀티 모달 입력 $(x_{mul})$은 “이 이미지에 있는 사람의 이름은?” 의 형식으로 해당 사람의 이름을 언급하지 않고, 단일 모달 입력 $(x_{uni})$은 이미지가 없고 특정 사람의 이름을 직접 언급합니다.
분류와 빈칸 채우기 task는 평가 지표로 accuracy를 사용하며, Evaluation set를 $S$, 평가 대상 모델을 $M$이라고 표현하면 단일 샘플에 대한 모델의 output은 다음과 같이 표현됩니다.
\[\hat{y}_{\text{mul}} = \arg\max_{y \in Y} P_{\mathbf{M}}(y \mid \text{image}, x_{\text{mul}}), \quad \hat{y}_{\text{uni}} = \arg\max_{y \in Y} P_{\mathbf{M}}(y \mid x_{\text{uni}})\]이 수식을 바탕으로 정확도를 표현하면, 단일 모달의 정확도 $Acc_{uni}$, 멀티 모달의 정확도 $Acc_{mul}$, 둘 다 맞힌 정확도 $Acc_{all}$, 둘 중 하나라도 맞힌 정확도 $Acc_{any}$, 총 4개의 정확도를 표현할 수 있습니다.
\[\begin{align*} Acc_{\text{mul}} &= \frac{1}{|S|} \sum_{s \in S} \mathbb{I}\big(\hat{y}_{\text{mul}}(s.x_{\text{mul}}) = s.y_{\text{mul}}\big), \quad Acc_{\text{uni}} = \frac{1}{|S|} \sum_{s \in S} \mathbb{I}\big(\hat{y}_{\text{uni}}(s.x_{\text{uni}}) = s.y_{\text{uni}}\big), \\[6pt] Acc_{\text{all}} &= \frac{1}{|S|} \sum_{s \in S} \mathbb{I}\big(\hat{y}_{\text{mul}}(s.x_{\text{mul}}) = s.y_{\text{mul}} \wedge \hat{y}_{\text{uni}}(s.x_{\text{uni}}) = s.y_{\text{uni}}\big), \\[6pt] Acc_{\text{any}} &= \frac{1}{|S|} \sum_{s \in S} \mathbb{I}\big(\hat{y}_{\text{mul}}(s.x_{\text{mul}}) = s.y_{\text{mul}} \vee \hat{y}_{\text{uni}}(s.x_{\text{uni}}) = s.y_{\text{uni}}\big). \end{align*}\]MLLM에서 언러닝이 정말 잘 되었다고 말하기 위해서는 멀티 모달 질문과 단일 모달 질문 모두에 대해서 forget set에 대한 정보는 잘 잊고, retain set에 대한 정보는 잘 보존해야 합니다.
이 논문은 이를 고려해 새로운 Metric을 제안합니다.
분류와 빈칸 채우기 task에서는 기본적으로 Accuracy로 평가하며, forget set과 retain set/real person set에 대한 정확도는 다음과 같이 측정합니다.
\[\begin{equation*} Acc_{\text{F}} = \frac{1}{3}\left(Acc_{\text{mul}} + Acc_{\text{uni}} + Acc_{\text{any}}\right), \qquad Acc_{\text{R}} = \frac{1}{3}\left(Acc_{\text{mul}} + Acc_{\text{uni}} + Acc_{\text{all}}\right). \end{equation*}\]설명 생성 task는 자연어 서술이기 때문에 exact matching으로 정확도를 측정할 수 없습니다. 따라서 자연어 처리에서 자주 사용하는 ROUGE-L metric을 기반으로, 각각의 지표를 다음과 같이 측정합니다.
\[\begin{align*} RL_{\text{F}} &= \frac{1}{|S|} \sum_{s \in S} W\big(\text{ROUGE-L}(\hat{y}_{\text{mul}}(s.x_{\text{mul}}), y_{\text{mul}}),\ \ \text{ROUGE-L}(\hat{y}_{\text{uni}}(s.x_{\text{uni}}), y_{\text{uni}})\big), \\[6pt] RL_{\text{R}} &= \frac{1}{|S|} \sum_{s \in S} H\big(\text{ROUGE-L}(\hat{y}_{\text{mul}}(s.x_{\text{mul}}), y_{\text{mul}}),\ \ \text{ROUGE-L}(\hat{y}_{\text{uni}}(s.x_{\text{uni}}), y_{\text{uni}})\big), \\[10pt] &\quad\text{where}\quad H(x, y) = \frac{2xy}{x + y}, \qquad W(x, y) = \frac{x^{2} + y^{2}}{x + y}. \end{align*}\]- 참고로 위 수식은 공식 저장소 README의 Erratum을 반영한 것입니다. 논문 PDF의 Eq.(2)에는 forget set에 $H$, retain set에 $W$가 적혀 있으나, 저자들은 이것이 오타이고 forget set이 W, retain set이 H이며 코드 구현은 처음부터 이와 같았다고 정정하였습니다.
이 metric에서는 조화평균과 가중평균을 사용하는데, 이를 통해 Forget set의 지표의 경우 멀티 모달과 단일 모달 두 개의 지표 모두가 같이 낮아져야 전체 forget set 지표가 낮아지고, Retain/Real person set 지표의 경우 두 지표 모두가 높아야 전체 지표가 높게 유지됩니다. $W(x, y) = (x^{2} + y^{2})/(x + y)$는 두 값 중 큰 쪽에 끌려가므로 한쪽만 높아도 값이 높게 남고, 조화평균 $H$ 는 작은 쪽에 끌려가므로 한쪽만 낮아도 값이 낮아지기 때문입니다. 따라서 forget set에는 $W$를, retain/real person set에는 $H$를 씁니다.
실험 및 결과
제안하는 벤치마크 데이터로, 저자들은 기존 언러닝 방식인 GA, GD, KL (KL minimization), PO, NPO 방식으로 평가를 진행하였습니다. Forget set/Retain Set은 각각 5/95%, 10/90%, 15/85%로 진행하였습니다. 또한 평가 자체가 단일 모달과 멀티 모달의 언러닝 효과를 모두 측정하므로, 언러닝을 진행할 때에도 두 모달리티 데이터 전체를 대상으로 해야 합니다. 언러닝은 SFT에서 사용되었던 UM_QA와 MM_QA로 모두 이루어지며, 두 모달리티에 대한 손실 강도를 파라미터로 조정하였습니다.
\[L = \alpha \cdot L_{mul} + \beta \cdot L_{uni}\]베이스 MLLM 모델은 LLaVA-1.5-7B로 진행하였습니다.
논문은 실험한 언러닝 방법들 중 PO와 KL 방법이 전반적으로 언러닝 성능은 좋게(잘 잊게) 나왔고, 반대로 GD와 NPO는 언러닝 성능은 떨어지지만 retain set에 대한 성능이 더 좋았다고 서술합니다. 다만 표를 직접 보면 예외가 있습니다. Forget 5%의 generation ROUGE-L에서는 PO(0.6914)가 GA(0.6435), NPO(0.6103)보다 덜 잊었고, Forget 15%에서는 GD의 utility 평균(0.3690)이 PO(0.3654) 다음으로 낮습니다.
하지만 저자들이 제안한 metric 결과를 살펴보면, 어떤 알고리즘도 모달리티 정렬을 고려한 지표에서는 좋은 결과를 내지 못했습니다.
앞서 두 모달리티 데이터를 모두 언러닝에 사용해야 한다고 했는데, 언러닝을 진행하는 모달리티별로 어떤 성능 차이를 보이는지 확인하기 위해, 단일 모달리티만 언러닝 했을 때, 멀티 모달리티만 언러닝 했을 때, 그리고 둘 다 섞어서 언러닝 했을 때의 각각의 정확도를 측정했습니다.
표는 언러닝 방법을 적용하기 전후로 단일 모달리티 성능, 멀티 모달리티 성능, 논문이 제시한 metric 성능의 변화량을 나타냅니다.
결과를 확인해보면, 단일 모달리티만으로 언러닝 하였을 때에는 forget set의 멀티 모달 성능이 충분하게 줄지 않았습니다.
예를 들어, 단일 모달리티만으로 언러닝 했을 때, 즉 텍스트만으로 “What is Amelia’s occupation?”으로만 언러닝 시키면 그 텍스트 질문에는 답을 못하지만, 해당 사람의 사진을 주고 “What is this person’s occupation?”이라고 물었더니 답을 하는 경우입니다. 그 반대의 경우도 마찬가지입니다.
단일 모달리티와 멀티 모달리티가 섞인 mix 데이터로 했을 때, forget set에 대한 두 모달리티의 성능이 모두 줄어들었고, 논문이 제시하는 metric 지표(ΔAcc_F, ΔRL_F)는 다섯 알고리즘, 세 task 모두에서 mix가 가장 높았습니다.
결론
UMU-Bench는 멀티 모달 모델의 발전에 따라 언러닝 분야에서 모달리티 정렬 성능을 고려하여 만든 벤치마크입니다.
이 논문은 기존 단일 모달 모델에서 연구되었던 언러닝 방법들을 멀티 모달리티 모델에 그대로 적용시킬 경우 나타나는 모달리티 미정렬에 관한 문제를 제기하면서, 해당 문제를 고려한 새로운 metric과 각각의 모달리티를 1대1로 매칭시킨 벤치마크 데이터셋을 만들었다는 점에서 의의가 있습니다.
실험 결과, 기존 언러닝 방법들은 한 모달리티 안에서는 잊기와 유지의 균형을 어느 정도 맞추지만, 모달리티 정렬을 고려한 지표에서는 어떤 방법도 좋은 결과를 내지 못했습니다. 저자들은 두 모달리티 손실의 비율(α, β)을 조정하는 방법을 제시했지만, 최적 비율을 찾기 어렵고 비율이 극단적이면 학습이 불안정해진다는 한계도 함께 밝히고 있습니다. 모달리티 정렬을 처음부터 고려한 언러닝 방법이 필요하다는 것이 이 논문의 결론입니다.