์๋ก
์ธ๊ณต์ง๋ฅ(Artificial Intelligence) ๋ชจ๋ธ์ด ํ์ค์ ๋์ ๋ ๋์๋ โ๋์ฒด๋กโ ์ ์๋ํ๋ ๊ฒ์ ์คํ๋ ค ์ต์ ์กฐ๊ฑด์ด ๋ฉ๋๋ค. ์คํ๋ ค, ์ฐ๋ฆฌ๊ฐ ํด๋น ๋ชจ๋ธ์ ์ ๋ขฐํ ์ ์๋์ง๊ฐ ์ค์ํด์ง๋๋ค. ์ค๋ช ์ฑ(Explainability)์ด๋ โ์ธ๊ณต์ง๋ฅ์ด ์์ ์ด ๋ด๋์ ๊ฒฐ๊ณผ์ ๋ํด ์ฌ๋์๊ฒ ์ถฉ๋ถํ ์ค๋ช ํ ์ ์๋๊ฐ?โ๋ฅผ ์๋ฏธํฉ๋๋ค. ์ธ๊ณต์ง๋ฅ ๊ธฐ์ ์ ํฌ๋ช ์ฑ ๋ฑ ์ธ๊ณต์ง๋ฅ ํต์ฌ ๊ท์ ๋ค์ ๋ฌ์ฑํ๊ณ ๊ด๋ฆฌ ๊ฐ๋ ํ๋ ๋ฐ์ ๋ฌ์ฑ๋์ด์ผํ ์์์ ๋๋ค.
โAre Self-Attentions Effective for Time Series Forecasting?โ [Paper, Repo] ์ ์ธ๊ณต์ง๋ฅ ์ต์ฐ์ ํํ์ธ NeurIPS 2024์์ ๋ฐํ๋ ๋ณธ ์ฐ๊ตฌ์ค์ ๋ ผ๋ฌธ์ด๋ฉฐ, ๋ณธ ๊ธ์์๋ ๊ธฐ๋ณธ์ ์ธ ์ค๋ช ์ฑ์ ๋ํ ๊ฐ๋ ๊ณผ ๋ ผ๋ฌธ ๋ด์ฉ์ ์์๋ณด๊ณ ์ ํฉ๋๋ค.
์ฌ์ ์ง์
๋ธ๋๋ฐ์ค(Black-box)
์ธ๊ณต์ง๋ฅ์ ๋ค์ํ ๋ถ์ผ์์ ๋์ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ์ง๋ง, ํ ๊ฐ์ง ๋ฌธ์ ์ ์ด ์กด์ฌํฉ๋๋ค. ๋ฐ๋ก ๋ธ๋๋ฐ์ค(Black-box) ์ฑ์ง์ ๋๋ค. ๋ธ๋๋ฐ์ค๋ ์ธ๊ณต์ง๋ฅ ๋ชจ๋ธ, ํนํ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ๋ด๋ถ ์๋ ๋ฐฉ์์ ์ดํดํ๊ฑฐ๋ ์ค๋ช ํ๊ธฐ ์ด๋ ค์ด ํน์ฑ์ ๋ํ๋ด๋ ์ฉ์ด์ ๋๋ค. ์ด๋ ์ธ๊ณต์ง๋ฅ์ ๋ง์ ๋งค๊ฐ๋ณ์(Parameter) ๋ฐ ๊ตฌ์กฐ์ ๋ณต์ก์ฑ์ผ๋ก ์ธํด ๋ฐ์ํฉ๋๋ค.
์ด๋ฌํ ์ธ๊ณต์ง๋ฅ์ ๋ธ๋๋ฐ์ค๋ฅผ ๊ทน๋ณตํ๊ณ ์ํ๋ ์ฐ๊ตฌ ๋ถ์ผ๋ฅผ ์ค๋ช ๊ฐ๋ฅํ AI (Explainable AI, XAI)๋ผ๊ณ ํฉ๋๋ค. ์ค๋ช ๊ฐ๋ฅํ AI๋ ์ธ๊ณต์ง๋ฅ์ ์ค๋ช ์ฑ(Explainability)๋ฅผ ๋์ฌ, ์ธ๊ณต์ง๋ฅ์ด ๊ฒฐ์ ์ ๋ด๋ฆฌ๋ ๊ณผ์ ์ ๋ณด๋ค ํฌ๋ช ํ๊ฒ ๋ง๋ค์ด ์ฌ๋๋ค์๊ฒ ์ ๋ขฐ๋ฅผ ์ค ์ ์๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค. XAI ๊ด๋ จ ์ฐ๊ตฌ๋ ํฌ๊ฒ ๋ ์ ๊ทผ ๋ฐฉ๋ฒ์ผ๋ก ๋๋ ์ ์์ต๋๋ค.
์ฌํ ์ค๋ช ๋ฒ vs. ๋ด์ฌ ์ค๋ช ๋ฒ
์ฌํ ์ค๋ช ๋ฒ(Post-hoc method)์ ๋ชจ๋ธ์ด ํ๋ จ๋ ํ์ ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ํด์ํ๊ธฐ ์ํด ๋ณ๋์ ์ค๋ช ๊ธฐ๋ฒ์ ์ ์ฉํ๋ ๋ฐฉ์์ ๋๋ค. ์๋ฅผ ๋ค์ด, ๋ณต์กํ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ์ฐ์ ํ์ต์ํจ ํ, ์์ธก ๊ฒฐ๊ณผ๋ฅผ ์ค๋ช ํ๊ธฐ ์ํด ํด์ ๊ธฐ์ (LIME, SHAP)์ ์ ์ฉํฉ๋๋ค.
์ฌํ ์ค๋ช ๋ฒ์ ๊ฐ๋ฅ์ผํ๋ ํด์ ๊ธฐ์ ์ค ๋ํ ์์๋ก๋ LIME(Local Interpretable Model-agnostic Explanations)์ด ์กด์ฌํฉ๋๋ค. LIME์ ์๋ณธ ๊ฐ๊ตฌ๋ฆฌ(Frog) ์ด๋ฏธ์ง๊ฐ ์๊ณ , ํ์ต๋ ๋ธ๋๋ฐ์ค ๋ชจ๋ธ(Trained black-box AI Model)์ด ์์ ๋, LIME์ โ์๋ณธ ๊ฐ๊ตฌ๋ฆฌ ์ค ์ด๋ ๋ถ๋ถ์ด ๊ฐ์ฅ ํต์ฌ์ ์ด์๋๊ฐ?โ ์ฐพ์๋ด๋ ๋ฐฉ๋ฒ์ ๋๋ค. ํ์ต๋ ๋ธ๋๋ฐ์ค ๋ชจ๋ธ์ ํน์ ๋ถ๋ถ์ ๊ฐ๋ฆฐ(Masking)ํ ์ฌ์ง๋ค์ ๋ฃ์ ํ, ๋์๋๋ ํ๋ฅ ๊ฐ์ ๋ฐํ์ผ๋ก ๊ฐ์ฅ ์ ์๋ฏธํ ๋ถ๋ถ์ ์ฐพ์๋ ๋๋ค.
๊ทธ์ ๋ฐํด ๋ด์ฌ ์ค๋ช ๋ฒ(Intrinsic method)์ ๋ชจ๋ธ ์์ฒด๋ฅผ ๋ณธ์ง์ ์ผ๋ก ์ค๋ช ๊ฐ๋ฅํ๊ฒ ๊ตฌํํ ๋ฐฉ๋ฒ์ ๋๋ค. ํด๋น ๋ชจ๋ธ๋ค์ ๋ณ๋์ ํด์ ๊ธฐ์ ์ ํ์๋ก ํ์ง ์๊ณ ํ์ต๋ ์ํ ๊ทธ๋๋ก ์์ธก ๊ฒฐ๊ณผ๋ฅผ ์ฝ๊ฒ ํด์ํ ์ ์์ต๋๋ค. ์ธ๊ณต์ง๋ฅ ๋ชจ๋ธ ์ค ์ ํ ํ๊ท(Linear regression), ๊ฒฐ์ ๋๋ฌด(Decision tree) ๋ฑ์ด ์ด์ ํด๋น๋๋ฉฐ, ์ด๋ค ๋ชจ๋ธ์ ์ฐ์ ๋์ ํจ๊ป ๊ทธ๋ฆฌ๊ฑฐ๋ ๋ชจ๋ธ ์์ฒด๋ฅผ ์๊ฐํํ์ฌ ํด์ํ ์ ์์ต๋๋ค.
๋์ ์ฑ๋ฅ์ ๋ฌ์ฑํ๋ ๋ฅ๋ฌ๋ ๋ชจ๋ธ๋ค์ ์ ํ ํ๊ท๋ ๊ฒฐ์ ๋๋ฌด์๋ ๋ค๋ฅด๊ฒ ๋ณต์กํ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ง๊ณ ์์ด ๋ด์ฌ ์ค๋ช ๋ฒ๋ณด๋ค๋ ์ฌํ ์ค๋ช ๋ฒ์ด ์ฃผ๋ก ์ฌ์ฉ๋์ด ์์ต๋๋ค. ๊ทธ๋ฌ๋, ์ต๊ทผ ์ฐ๊ตฌ๋ค์ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ์ฌํ ์ค๋ช ๋ฒ์ ์ ์ฉํ๋ ๊ฒ์ด ๋ถ์ ํํ ์ ์๋ค๋ ๊ฒ์ ํ์ธํ์ต๋๋ค.
์ด์ ์ผ๋ จ์ ์ฐ๊ตฌ๋ค์ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ๊ตฌ์กฐ(Architecture)๋ฅผ ๋ฐ๊ฟ์ผ๋ก์จ ์ค๋ช ์ฑ์ ๋์ด๋ ๋ฐฉ๋ฒ๋ค์ ์ ์ํ์ต๋๋ค. ๊ด๋ จ ์ฐ๊ตฌ๋ค์ Generalized Additive Model (GAM)์ ํ์ฉํ๊ฑฐ๋ ํธ๋์คํฌ๋จธ(Transformer)์ ์ดํ ์ (Attention)์ ํ์ฉํ์ฌ ๋ฅ๋ฌ๋์ ์ค๋ช ๋ ฅ์ ๋์์ต๋๋ค. ์๋ ๋ ผ๋ฌธ์ ํธ๋์คํฌ๋จธ(Transformer)์ ๊ตฌ์กฐ์ ๋ณ๊ฒฝ์ด ํด์๋ ฅ์ ํฌ๊ฒ ์ฆ๋์ํฌ ์ ์์์ ๋ฐ๊ฒฌํ๊ธฐ๋ ํ์ต๋๋ค.
๋ณธ๋ก
๋ณธ ๋ ผ๋ฌธ์ ์ ํ ์ฐ๊ตฌ์ ์ด์ด ์๊ณ์ด ์์ธก(Time-series Forecasting) ๋ถ์ผ์์ ์ดํ ์ (Attetion), ํนํ ์ ํ ์ดํ ์ (Self-attention)์ด ๊ฐ์ง๋ ํด์์ /์ฑ๋ฅ์ ์์์ ๋ํด ๋ถ์ํ๊ณ ์ ํ์ต๋๋ค. ์ด๋ฅผ ์ํด ๋๋ฆฌ ์ฌ์ฉ๋๋ ์๊ณ์ด ๋ชจ๋ธ, PatchTST์ ์ ํ ์ดํ ์ ๋ถ๋ถ์ ๋ถ์ํ์์ต๋๋ค.
์ ๊ฒฐ๊ณผ๋ ๊ธฐ์กด ์ ํ ์ดํ ์ ์ ์ฌ์ฉํ์ ๋์๋ ํ๋ฆฌ๊ฒ(Blur) ๋์ค๋ ์ ๋ ฅ๊ฐ๊ณผ ์ถ๋ ฅ๊ฐ์ ๊ด๊ณ๊ฐ ์คํ๋ ค ์ ํ ์ดํ ์ ์ ๋จ์ ์ ํ ๋คํธ์ํฌ(Linear network)๋ก ๋์ฒดํ์์ ๋ ๋ ๋๋ ทํด์ง๋ ํ์์ ๋ณด์ฌ์ค๋๋ค. ์ฆ, ์๊ฐ์ ์ ๋ณด(Temporal information)๋ฅผ ํด์ํ๋ ๋ฐ์ ์์ด ์ ํ ์ดํ ์ ์ด ๋จ์ ์ ํ ๋คํธ์ํฌ๋ณด๋ค ์ข์ง ์์ ์ ์๋ค๋ ๊ฒ์ ๋๋ค. ์ฑ๋ฅ์ ์ธ ์ธก๋ฉด์์๋ ์ ํ ์ดํ ์ ์ ๋จ์ ์ ํ ๋คํธ์ํฌ๋ฅผ ์ฌ์ฉํ์ ๋๋ณด๋ค ์ ์๋ฏธํ ์ฑ๋ฅ ์ฐจ์ด๋ฅผ ๋ณด์ด์ง ๋ชปํ์ผ๋ฉฐ, ์คํ๋ ค ๊ฐ์ํ ์ฑ๋ฅ์ ๋ณด์ด๊ธฐ๋ ํ์ต๋๋ค.
์ด๋ฌํ ๊ด์ฐฐ ๊ฒฐ๊ณผ์ ๋จ์ ์ ํ ๋คํธ์ํฌ ๊ธฐ๋ฐ์ ์ ํ ์ฐ๊ตฌ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก, ์ ํ ์ดํ ์ ์ด ์๋ ํฌ๋ก์ค ์ดํ ์ (Cross-attention)์ด ์๊ฐ์ ์ ๋ณด ๋ถ์ ๋ฑ ์๊ณ์ด ์์ธก์์ ์ฌ๋ฌ ์ฅ์ ์ ๊ฐ์ง ์ ์์์ ๊ฒฐ๋ก ์ง์์ต๋๋ค.
์ ์๋ ํฌ๋ก์ค ์ดํ ์ ๊ธฐ๋ฐ์ ๋ชจ๋ธ(CATS)๋ฅผ ๋ฐํ์ผ๋ก ๋ณธ ์ฐ๊ตฌ์ง์ ์ ์ ๋งค๊ฐ๋ณ์๋ง์ผ๋ก๋ ๋์ ์ฑ๋ฅ์ ๋ฌ์ฑํ ์ ์์์ผ๋ฉฐ, ์ด๋ ๊ธฐ์กด SOTA(State of the art) ๋ชจ๋ธ ๋๋น ๋ฐ์ด๋ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ์์ต๋๋ค. ๋์๊ฐ, ์ ์๋ ํฌ๋ก์ค ์ดํ ์ ๊ธฐ๋ฐ์ ๋ชจ๋ธ(CATS)์ ํด์ํ๊ธฐ ์ฌ์ด ๊ฒฐ๊ณผ๋ฅผ ์ ๊ณตํ์์ต๋๋ค. ์๋ ๊ทธ๋ฆผ์ฒ๋ผ ์ ๋ ฅ ์๊ณ์ด์ ์ฃผ๊ธฐ์ ํจํด(Periodic Pattern)์ ์ ํํ ์ก์๋ด์์ผ๋ฉฐ, ์ถ๊ฐ์ ์ผ๋ก ์ถฉ๊ฒฉ(Shock)๊น์ง๋ ํฌ์ฐฉํ๋ ๋ชจ์ต์ ๋ณด์ฌ์ฃผ์์ต๋๋ค.
๊ฒฐ๋ก
์ค๋ช ์ฑ์ ์ธ๊ณต์ง๋ฅ์ ์ ๋ขฐ์ฑ ๋ถ๋ฌธ์์ ํต์ฌ ๊ฐ๋ ์ค ํ๋์ ๋๋ค. ๋ชจ๋ธ์ ์ค๋ช ์ฑ์ ๋์ด๋ ๊ฒ์ ์ธ๊ณต์ง๋ฅ์ด ์ฌ๋์ด ์๋ํ ๋๋ก ์๋ํ๊ณ ์๋์ง, ํธํฅ์ ์๋์ง ํ์ธํ๋ ๋ฐ ํ์์ ์ ๋๋ค. ์ค๋ช ์ฑ์ ์ธ๊ณต์ง๋ฅ ๋ชจ๋ธ์ด ๋ด๋ฆฐ ๊ฒฐ์ ์ด ์ด๋ป๊ฒ ๋์ถ๋์๋์ง ์ดํดํ๊ณ ๋ถ์ํ๋ ๋ฅ๋ ฅ์ ์ ๊ณตํจ์ผ๋ก์จ, ์์คํ ์ ํฌ๋ช ์ฑ์ ๋์ด๊ณ ์ ๋ขฐ์ฑ์ ๊ฐํํฉ๋๋ค. ์ ํ ์ดํ ์ ๊ณผ ํฌ๋ก์ค ์ดํ ์ ์ ๋ํ ๋ณธ ๋ ผ๋ฌธ์ ๋ฐ๊ฒฌ์ด ๋ชจ๋ธ์ ์ค๋ช ๊ฐ๋ฅ์ฑ ๋ถ์ผ ๋ฐ์ ์ ๊ธฐ์ฌํ๊ธธ ๋ฐ๋๋๋ค.