논문명: Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models

저자: Jiaqi Li, Qianshan Wei, Chuanyi Zhang, Guilin Qi, Miaozeng Du, Yongrui Chen, Sheng Bi, Fan Liu

게재지: NeurIPS 2024

URL: Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models

서론

머신 언러닝(Machine Unlearning)은 이미 학습된 모델에서 특정 정보를 지우는 기술입니다. 대규모 사전학습 데이터에는 유출된 개인 사진처럼 프라이버시나 저작권 문제가 있는 데이터가 섞여 있을 수 있고, GDPR 같은 규제는 배포된 모델에서도 그 정보를 삭제하라고 요구합니다. 이른바 ‘잊혀질 권리’를 모델에도 적용하는 셈입니다.

가장 확실한 방법은 문제 데이터를 빼고 처음부터 다시 학습하는 것이지만, 파운데이션 모델을 재학습하는 비용은 현실적이지 않습니다. 사전학습 데이터 자체에 접근할 수 없는 경우도 많아서 어떤 데이터가 문제인지 찾아내는 것부터 막힙니다. 그래서 학습된 모델을 조금만 파인튜닝해서 특정 지식만 제거하는 근사적 언러닝 방법들이 연구되어 왔습니다.

LLM을 대상으로 한 언러닝 연구는 이미 여럿 있습니다. Gradient Ascent(GA)로 망각 데이터의 loss를 키우거나, 여기에 KL 제약을 더해 원래 출력 분포를 유지하거나, 대체 텍스트를 대량으로 만들어 학습시키거나(Harry Potter를 잊게 하는 데이터셋 생성), 아예 “모른다”고 답하도록 학습시키는 Preference Optimization(PO) 같은 방법들입니다.

문제는 이 방법들이 이미지에는 잘 맞지 않는다는 점입니다. 텍스트는 대량으로 합성할 수 있지만 특정 개념의 이미지는 그렇게 만들 수 없고, 실제 삭제 요청은 유출된 이미지 한 장과 함께 들어오는 경우가 대부분입니다. 이 논문은 이런 상황에서 멀티모달 LLM(MLLM)이 특정 개념을 시각적으로 알아보는 능력만 잊을 수 있는지 묻고, 이미지 한 장으로 그것을 해내는 Single Image Unlearning(SIU)을 제안합니다.

문제 정의

용어 정리

용어 의미
Machine Unlearning (MU) 학습된 모델에서 특정 지식을 제거하는 기술
MLLM 시각 인코더와 LLM을 결합한 멀티모달 대형 언어 모델
$\mathcal{M}_\theta$ 이미지–텍스트 쌍 $D$로 학습된 원본 모델
$C$ 잊어야 할 대상 개념 (예: 특정 인물)
$D^f$ 개념 $C$의 망각을 반영한 $K$개의 이미지–텍스트 쌍 (forgetting set)
$D^f_{train}$ 파인튜닝에 쓰는 이미지–텍스트 한 쌍
$D^f_{test}$ 나머지 쌍. 망각이 다른 이미지에도 적용되는지 평가할 때 사용

언러닝의 목표

논문은 MLLM에서의 언러닝 목표를 다음과 같이 정의합니다.

“잊어야 할 개념의 시각적 인식과 관련된 학습된 패턴을 제거하되, 그 패턴과 무관한 입력에 대한 예측 능력은 보존한다.”

여기서 범위를 분명히 해둘 필요가 있습니다. 이 논문이 다루는 것은 시각적 인식의 망각뿐입니다. “도널드 트럼프는 전직 대통령이다” 같은 사실적 지식은 LLM 쪽에 들어 있고 기존 언러닝 연구에서 이미 다뤄졌으므로 여기서는 건드리지 않습니다. 언러닝이 끝난 모델은 텍스트로 묻는 사실 질문에는 여전히 답할 수 있어야 하지만, 사진 속 인물이 누구인지는 알아보지 못해야 합니다.

기존 방법의 한계

이 문제가 어려운 이유는 두 가지입니다. 첫째, 학습 데이터가 부족합니다. 삭제 요청이 들어온 상황에서 대상 개념의 이미지를 여러 장 모으는 것은 비현실적입니다. 둘째, 기존 방법들은 모델을 망가뜨립니다. GA는 잊게 만드는 데는 성공하지만 출력이 공백이나 반복 토큰으로 무너집니다. GA에 KL 제약을 더하면 모델은 살아남지만 앞뒤가 안 맞는 답을 내놓습니다. GA는 개념 토큰의 확률을 낮추려 하고, KL은 그 확률이 높았던 원래 분포로 되돌리려 하기 때문에 두 목적이 서로 상반되는 것입니다.

SIU 방법론

SIU는 두 부분으로 이루어집니다. 하나는 이미지 한 장에서 네 가지 목표에 맞는 파인튜닝 데이터를 만드는 방법이고, 다른 하나는 Cross Entropy Loss와 함께 쓰는 Dual Masked KL-divergence(DMK) Loss입니다. 전체 흐름은 언러닝 요청이 들어오면 이미지 한 장으로 파인튜닝 데이터를 구성하고, CE와 DMK loss로 LoRA 파인튜닝을 몇 스텝 돌려 언러닝된 모델을 얻는 것입니다.

Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models
SIU를 이용한 MLLM 언러닝 과정 개요

처음 보는 개념에 대한 MLLM의 응답

특정 개념에 대해, 이것을 잊은 모델은 어떻게 답해야 할까요. “모른다”가 자연스러워 보이지만, 저자들은 이것이 MLLM의 실제 행동과 맞지 않는다고 지적합니다.

이를 확인하기 위해 사전학습에 들어갔을 리 없는 개인 사진 190장을 모아 “이 사람의 이름을 말해달라”고 물었습니다. 결과는 다음과 같습니다.

응답 유형 비율
“젊은 남성/여성입니다” (모호한 답) 63.2%
“John”이라는 이름 28.9%
“Jason”이라는 이름 5.3%
“Danny”라는 이름 2.6%

모델은 “모른다”고 답하지 않았습니다. 모호하게 얼버무리거나 그럴듯한 이름을 지어냈습니다. 저자들은 그 이유를 instruction tuning 데이터에 “모른다”는 답이 거의 없기 때문으로 봅니다. 그런 모델에게 “모른다”를 강제로 학습시키면 원래 갖고 있던 출력 특성이 깨집니다. 그래서 SIU는 대상 개념에 무작위로 고른 틀린 이름을 붙입니다.

틀린 이름을 답하는 것이 망각인 이유

틀린 이름을 답하는 것을 망각으로 볼 수 있는지에 대해 논문은 다음 논리를 제시합니다.

$C$를 빼고 재학습한 이상적인 모델이 있다고 하면, 그 모델에게 $C$의 이미지는 처음 보는 입력입니다. 그리고 $C$의 데이터를 뺀다고 해서 $C$와 무관한 다른 미학습 이미지에 대한 예측이 달라지지는 않습니다. 따라서 언러닝된 모델의 출력 분포를 “처음 보는 개념에 대한 원본 모델의 출력 분포”에 맞추는 것은, 그 개념을 제외하고 재학습한 모델에 맞추는 것과 같습니다.

\[P_{\mathcal{M}_{\hat{\theta}}}(x \mid \mathcal{I}^c_{test}, \mathcal{T}^c_{test}) \cong P_{\mathcal{M}_\theta}(x \mid \mathcal{I}^u, \mathcal{T}^u) \;\Longleftrightarrow\; P_{\mathcal{M}_{\theta'}}(x \mid \mathcal{I}^c_{test}, \mathcal{T}^c_{test}) \cong P_{\mathcal{M}_{\hat{\theta}}}(x \mid \mathcal{I}^c_{test}, \mathcal{T}^c_{test})\]

분류 문제의 언러닝에서도 언러닝된 모델은 틀린 라벨을 내놓습니다. 틀린 이름을 답하는 것은 그 틀린 라벨을 생성 모델로 옮겨온 것이라고 볼 수 있습니다.

Multifaceted Fine-tuning Data

SIU는 이미지 한 장에서 네 가지 목표에 따라 파인튜닝 데이터를 만듭니다. 논문에서는 Donald Trump를 예시로 듭니다.

목표 내용 필요한 이유
(a) Aligning with Unseen Concepts 무작위 이름(“Jacob Campbell”)으로 답하게 학습 처음 보는 사람을 대하는 출력 특성을 흉내내기 위해
(b) Assigning New Visual Description 새로운 외모 묘사를 지어서 부여 (a)만 쓰면 얼굴이 원래 이름과 새 이름 양쪽에 매핑된 채 남기 때문에
(c) Decoupling Factual Knowledge 텍스트 사실(“전직 대통령”)은 그대로 유지 (a)(b)만 쓰면 사실 지식까지 지워지기 때문에
(d) Preserving Non-targeted Knowledge 무관한 개념(Ed Sheeran) 데이터를 섞음 대상 개념만 학습시키면 다른 지식이 흔들리기 때문에

(a)와 (b)는 학습 이미지를 함께 입력하고, (c)와 (d)는 텍스트만 입력합니다. 각 목표의 데이터는 GPT-4로 네 가지 표현으로 바꿔 씁니다. 흥미로운 점은 (b)입니다. 초기 실험에서 (a)만으로 학습하면 모델이 같은 얼굴을 “Donald Trump”라고도 하고 “Jacob Campbell”이라고도 했다고 합니다. 이름만 바꿔서는 시각 표현과 원래 이름의 연결이 끊어지지 않았던 것입니다.

Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models
4가지 목표에 따라 구성된 파인튜닝 데이터 예시

표준 KL-divergence의 문제

KL loss는 언러닝 모델의 출력 분포를 원본 모델에 맞춥니다. 그런데 원본 모델의 분포는 개념 토큰에 아주 높은 확률을 주고 있습니다. 저자들이 사전학습된 LLaVA로 다음 토큰 확률을 뽑아본 결과가 아래 표입니다.

Token The picture features President Donald Trump . </s>
max prob 0.57 0.77 0.92 0.42 0.68 0.94 0.45 0.99
Donald 0.06 3.2e-5 1.2e-9 0.22 0.68 4.2e-5 1.2e-7 2.5e-6
Trump 0.08 4.8e-7 8.2e-9 0.02 0.31 0.94 6.3e-8 3.1e-9

“President” 다음 위치를 보면 $P(\text{Donald}) + P(\text{Trump})$가 거의 1입니다. 여기에 KL을 그대로 적용하면 모델은 다시 “Donald Trump”라고 말하게 됩니다. 문장 시작이나 “features” 다음 위치처럼 개념 토큰이 최대 확률은 아니지만 여전히 높은 곳도 있는데, KL은 이 확률도 함께 끌어올립니다.

그래서 저자들은 위치에 따라 다르게 대응합니다. 개념 확률이 극단적으로 높은 위치에서는 분포 전체를 KL 계산에서 빼고, 나머지 위치에서는 개념 토큰만 뺍니다.

Dual Masked KL-divergence Loss

DMK Loss는 두 수준의 마스크를 결합한 것입니다.

  • Token-Level Masking 원래 지식과 모순되는 토큰(새 이름 “Jacob Campbell”)과, 개념 토큰의 확률이 극단적으로 높은 위치에서는 KL을 계산하지 않습니다. 후자의 위치에서는 다른 토큰들의 확률이 모두 0에 가깝기 때문에, 개념 토큰만 빼고 KL을 계산하면 분포 전체가 무너져 모델의 유용성을 해칩니다. \(K_{\mathcal{S}} = \{m_1, m_2, \ldots, m_n\}, \quad m_j = \begin{cases} 0, & \text{if } w_j \text{ is a specified token,} \\ 1, & \text{otherwise.} \end{cases}\)

  • Vocabulary-Level Masking KL을 계산하는 나머지 위치에서는 어휘 전체 중 개념의 이름 토큰(“Donald”, “Trump”)만 뺍니다. KL이 개념의 확률을 다시 올리는 것은 막으면서, 나머지 분포는 원본 모델에 붙잡아 두는 역할입니다. \(K_{\mathcal{V}} = \{m_{v_1}, m_{v_2}, \ldots, m_{v_{|\mathcal{V}|}}\}, \quad m_{v_i} = \begin{cases} 0, & \text{if } v_i \in C, \\ 1, & \text{otherwise.} \end{cases}\)

두 마스크를 결합한 DMK Loss는 다음과 같습니다.

\[\mathcal{L}_{DMK}(\mathcal{I}_i, \mathcal{T}_i; \hat{\theta}) = \sum_{t=1}^{t_i} K_{\mathcal{S}} \cdot K_{\mathcal{V}} \cdot P_{\mathcal{M}_\theta}(w^i_t \mid \mathcal{I}_i, w^i_1, \ldots, w^i_{t-1}) \log \frac{P_{\mathcal{M}_\theta}(w^i_t \mid \mathcal{I}_i, w^i_1, \ldots, w^i_{t-1})}{P_{\mathcal{M}_{\hat{\theta}}}(w^i_t \mid \mathcal{I}_i, w^i_1, \ldots, w^i_{t-1})}\]

학습 목적함수

최종 목적함수는 Cross Entropy와 DMK Loss의 가중합입니다. 기존 방법들과 달리 Gradient Ascent를 쓰지 않고 Gradient Descent로 최적화합니다.

\[\mathcal{L}_{total}(\mathcal{I}_i, \mathcal{T}_i; \hat{\theta}) = -\alpha \cdot \sum_{t=1}^{t_i} \log P_{\mathcal{M}_{\hat{\theta}}}(w^i_t \mid \mathcal{I}_i, w^i_1, \ldots, w^i_{t-1}) + \beta \cdot \mathcal{L}_{DMK}(\mathcal{I}_i, \mathcal{T}_i; \hat{\theta})\]

Cross Entropy가 새로운 답변을 학습시키고, DMK가 개념을 제외한 나머지 출력 분포를 원본에 가깝게 붙잡아 둡니다.

Ablation study(LLaVA-7B, Mm-Vet을 Specificity로 사용)에서는 두 마스크 중 하나만 빼도 EM이 떨어졌습니다(token mask 제거 시 92.0, vocabulary mask 제거 시 94.3, 둘 다 있을 때 99.0). 다만 Specificity는 vocabulary mask가 없을 때가 오히려 조금 높았는데(29.4 대 28.9), 저자들은 KL 계산에서 특정 토큰을 빼는 것이 일반 출력의 논리를 약간 흔드는 것 같다고 설명합니다.

MMUBench 벤치마크

데이터셋 구축

MLLM 언러닝을 평가할 벤치마크가 없었기 때문에 저자들이 직접 만들었습니다. 최종적으로 20개 개념, 1,000장의 이미지로 구성됩니다.

  • Concept sampling: MIKE 데이터셋에서 시각적으로 구별되는 개념 300개를 뽑습니다.
  • Image collecting: Google 검색으로 개념당 50장 이상을 모읍니다.
  • Concept filtering: 시드 이미지와 맞지 않는 이미지를 걸러내고, 원본 LLaVA가 알아보지 못하는 개념은 제외합니다. 사전학습에 들어 있지 않은 개념은 애초에 잊을 것이 없기 때문입니다.
  • Question generation: 개념당 GPT-4로 질문 100개를 만들고 사람이 검수합니다.

Forget-set은 개념이 단독으로 가운데 나온 이미지 한 장을 학습용으로 쓰고, 나머지는 전부 평가용으로 씁니다. 개념 종류는 인물(Trump, Biden, Musk, Swift), 캐릭터(Hello Kitty, Mario), 로고(Facebook), 화풍(Picasso, Van Gogh, Doodle) 등입니다.

평가 지표

평가는 세 갈래로 나뉩니다. 잊었는지, 여전히 쓸 만한지, 그리고 잊은 것이 다시 생성되지 않는지입니다. 화살표는 값이 클수록 좋은지(↑) 작을수록 좋은지(↓)를 나타냅니다.

축 지표 내용
효과성 Efficacy ↑ 학습에 쓴 이미지에 대한 망각 정확도
  Generality 학습에 쓰지 않은 이미지와 다양한 프롬프트에 대한 망각 성능. EM(Exact Match) ↑, G-Eval(GPT-4 1–5 루브릭) ↓, C-Dis(언러닝 전후 개념 토큰의 확률 거리) ↑ 세 가지로 측정
유용성 Specificity ↑ 8개 공개 VQA 벤치마크(GQA, VQA-v2, VizWiz, SQA, TextVQA, POPE, MMB, Mm-Vet) 평균
  Fluency ↓ 생성문의 perplexity. 개념 토큰은 마스킹해서 측정
  Diversity ↑ 출력에 등장한 고유 단어 수
강건성 MIA ↓ Min-K% PROB로 의심 쿼리를 찾은 뒤, 언러닝 전후 답변을 ROUGE-L로 비교
  Jailbreak ↓ 6개 언어로 번역한 질문, 이름을 묻지 않고 사실을 묻는 다중 홉(multi-hop) 질문

Fluency는 perplexity라서 낮을수록 좋고, C-Dis는 언러닝 전후 개념 토큰의 확률이 많이 벌어질수록 좋으므로 클수록 좋습니다. 특히 C-Dis는 겉으로만 잊은 척하는 경우를 잡아내기 위한 지표라 뒤의 결과 해석에서 중요합니다.

실험 결과

실험 설정

  • 모델/학습: LLaVA-7B 및 13B, LoRA 파인튜닝, Adam(lr 3e-4), batch 4, 학습 스텝 6, A100 40G 4장
  • 하이퍼파라미터: $\alpha = 0.9$ (CE), $\beta = 0.75$ (DMK), 3회 독립 시행의 평균 ± 표준편차
  • 베이스라인: PO(‘모른다’로 답하게 파인튜닝), GA(망각 데이터의 loss를 키우는 방향으로 최적화), GA+KL(GA에 KL 제약 추가)

주요 결과

Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models
LLaVA-7B / 13B에서의 기존 방법 대비 성능 비교

먼저 Efficacy는 모든 방법이 100%입니다. 학습에 쓴 그 한 장의 이미지를 잊는 것은 어느 방법이든 할 수 있다는 뜻이고, 차이는 학습에 쓰지 않은 이미지로 얼마나 일반화되는지와 모델이 얼마나 멀쩡하게 남는지에서 갈립니다.

LLaVA-7B에서 SIU는 Generality EM 99.0을 기록하면서 Specificity 60.7, Fluency 61.2, Diversity 97.0으로 유용성도 지켰습니다. 반면 GA는 Fluency 373.6, Diversity 6.3으로, 사실상 공백과 반복 토큰만 출력하는 상태가 됩니다. 벤치마크별로 보면 8개 중 5개에서 0.0점인데, 개념 하나가 아니라 모델의 일반 능력이 통째로 사라진 것입니다. GA의 G-Eval(1.8)이 SIU(1.9)보다 좋아 보이는 것도 답변이 아예 의미가 없어서 생긴 착시입니다.

PO는 EM은 58.3으로 그럭저럭 나오지만 C-Dis가 0.4에 그칩니다. 개념 토큰의 내부 확률이 거의 움직이지 않았다는 뜻으로, 모델이 잊은 것이 아니라 “모른다”고 답하는 형식만 배운 것입니다. 이 점은 뒤의 jailbreak 실험에서 더 분명하게 드러납니다.

모델을 13B로 키우면 베이스라인들의 Generality가 크게 떨어집니다. PO의 EM은 58.3에서 10.7로, GA는 36.3에서 24.7로 내려갑니다. SIU도 99.0에서 90.0으로 낮아지긴 하지만 폭이 훨씬 작습니다. Specificity는 SIU가 원본 모델 수준을 유지하며, POPE(85.5)와 Mm-Vet(28.9)에서는 네 방법 중 가장 높습니다.

파인튜닝 스텝 수

스텝을 6에서 35까지 늘려가며 여섯 지표를 관찰하면, SIU는 거의 평탄한 곡선을 그립니다. 스텝 수에 민감하지 않다는 뜻입니다. GA는 스텝이 늘수록 Specificity와 Fluency가 급격히 나빠지고, PO의 C-Dis는 스텝을 아무리 늘려도 움직이지 않습니다. 13B 모델은 7B보다 EM이 올라오는 시점이 늦어서, 적응이 느린 편입니다.

다른 개념 및 동시 언러닝

인물, 캐릭터, 로고, 화풍을 포함한 9개 개념에서 SIU는 전부 100%에 가까운 EM을 기록했고, 베이스라인들은 50–85% 사이에서 오르내립니다. Doodle이나 Picasso 같은 화풍은 어느 방법이든 비교적 쉽게 잊었습니다. SIU가 붙이는 대체 이름은 개념 종류에 맞게 나옵니다. Biden은 “Statesman Blue”, Van Gogh는 “Impressionist Blaze”, Facebook은 “Global Connect”가 되었습니다.

20개 개념을 한꺼번에 잊게 하는 실험(전체 forgetting set을 합쳐 120 스텝 학습)에서는 차이가 더 벌어집니다. GA와 GA+KL은 모든 응답이 “image image image…“로 무너져 Specificity 0, Diversity 0.67이 되었고, PO는 Specificity가 12.7로 절반이 됐습니다. SIU는 EM 97.0, Fluency 54.4, Diversity 99.3으로 단일 개념 때와 거의 같습니다.

MIA와 Jailbreak

SIU는 세 공격 모두에서 가장 낮은 점수를 기록했습니다(MIA 0.27, 다국어 2.3, 다중 홉 0.16). PO도 MIA 점수는 나쁘지 않은데, 이는 “모른다”는 답이 원본 답변과 애초에 닮을 수가 없어서 생긴 결과이지 잊어서 그런 것이 아닙니다.

다국어 jailbreak는 Generality 질문을 스페인어, 프랑스어, 중국어, 독일어, 일본어, 러시아어로 번역해서 묻는 실험입니다. GA+KL은 중국어와 러시아어에서 실명을 그대로 냈고, PO는 모든 언어에서 거절 문장만 반복했습니다. SIU는 실명을 한 번도 내지 않았는데, 흥미롭게도 언어마다 다른 이름을 지어냈습니다. 스페인어와 프랑스어로는 “Jacob Campbell”, 독일어로는 “Bill”, 러시아어로는 “Дэвид” 같은 식입니다.

다중 홉 jailbreak는 이름을 묻지 않고 그 인물의 사실을 묻습니다. “사진 속 남자가 스코틀랜드에 소유한 골프장은?” 같은 질문입니다. PO는 전부 “모른다”로 답해서 형식만 배웠다는 것이 확인됐고, GA+KL은 이름은 피하면서도 Space Force 창설이나 부동산 사업 같은 정확한 사실을 답해서 앞뒤가 맞지 않았습니다. SIU는 “St Andrews의 Old Course 소유주”, “전직 군인”처럼 사실과 다르지만 서로 모순되지 않는 답을 만들어냈습니다.

Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models
다중 홉 jailbreak qualitative examples. PO는 "모른다"만 반복하고, GA+KL은 이름은 피하면서 사실은 맞히고, SIU는 일관된 다른 답을 만든다.

Positive Butterfly Effect

저자들이 예상하지 못했던 현상도 하나 보고합니다. 트럼프 가족 사진을 입력하면 언러닝된 모델은 트럼프뿐 아니라 옆에 선 멜라니아도 다른 이름으로 부릅니다. 그런데 멜라니아만 잘라낸 사진을 주면 정확히 알아보고, 남편이 누구냐고 물으면 도널드 트럼프라고 답합니다.

저자들의 해석은 이렇습니다. 가운데 남자를 트럼프로 인식하지 못하니, 그 옆의 여자가 멜라니아일 리 없다고 추론한 것입니다. 개념 하나를 지웠더니 관련된 지식이 무작정 같이 지워진 것이 아니라, 지워진 상태에서 앞뒤가 맞도록 재배열된 셈입니다.

Single Image Unlearning: Efficient Machine Unlearning in Multimodal Large Language Models
가족 사진에서는 멜라니아도 다른 이름으로 부르지만(좌), 단독 사진에서는 정확히 인식하고 트럼프와의 관계도 답한다(우).

결론

이 논문은 MLLM이 특정 개념을 시각적으로 알아보는 능력을 잊을 수 있는지 묻고, 이미지 한 장과 여섯 스텝의 파인튜닝으로 가능하다고 답합니다. MLLM을 대상으로 한 언러닝 연구로는 첫 시도이고, 이를 평가할 벤치마크 MMUBench도 함께 내놓았습니다.

정리하면 다음과 같습니다.

  • 잊은 모델의 기준은 재학습한 모델이다: 잊은 모델은 “모른다”고 답하는 모델이 아니라, 그 개념을 처음 보는 것처럼 행동하는 모델입니다. SIU는 이 기준에서 무작위 이름 부여가 재학습과 같다고 논증하고, 처음 보는 개념을 대할 때 모델이 원래 하던 행동에 맞춥니다. C-Dis 수치가 보여주듯 PO가 실패한 이유가 바로 이 특성을 거슬렀기 때문입니다.
  • 망각과 유용성은 손실 함수 설계로 함께 잡을 수 있다: 표준 KL은 개념 확률까지 되살리지만, 위치와 어휘 두 수준에서 마스킹한 DMK Loss는 개념만 빼고 나머지 분포를 지킵니다. GA 없이 Gradient Descent만으로 학습한다는 점도 기존 방법과 다릅니다.
  • 겉으로 잊은 것과 실제로 잊은 것은 다르다: C-Dis, MIA, 다국어와 다중 홉 jailbreak 같은 여러 평가가 있어야 “모른다”만 반복하는 모델과 내부 지식이 실제로 바뀐 모델을 구별할 수 있습니다.

한계도 분명합니다. 실험이 LLaVA 7B와 13B에서만 이루어졌습니다. MMUBench의 개념 필터링을 LLaVA로 했기 때문에 같은 모델로 언러닝 전후를 비교하려는 의도였지만, 다른 MLLM에서도 같은 결과가 나오는지는 확인되지 않았습니다. 틀린 이름을 지어내는 방식 자체에 대한 논의도 남습니다. 앞뒤가 맞는 망각이라는 장점은 있지만, 모델이 그럴듯한 거짓을 생성하는 것이므로 어디에 쓰느냐에 따라 문제가 될 수 있습니다. 저자들은 향후 과제로 새로운 MLLM 언러닝 방법과, 개념 단위가 아닌 데이터 포인트 단위 언러닝의 평가를 꼽습니다.

결론적으로 이 연구의 의의는 머신 언러닝을 멀티모달로 확장하면서, 잊는다는 것을 “출력을 막는 일”이 아니라 “모델이 원래 하던 방식대로 지식을 다시 정리하는 일”로 본 데 있습니다. 유출된 사진 한 장을 지워달라는 요청이라는 현실적인 상황에서 실제로 쓸 수 있는 방법을 제시했다는 점에서 후속 연구의 출발점이 될 만합니다.