scalalang2

비전 언어 모델은 보지 않는다?

KAIST와 윌리엄 & 메리 대학 공동 연구진이 “비전 언어 모델(VLM)은 이미지를 ‘보는’ 것이 아니라, 편견에 기반해 암기된 지식을 활용할 뿐이다”이라는 과감한 제목을 가진 논문이 최근 발표했습니다[1][2].

VLMs don’t actually “see” — they rely on memorized knowledge instead of visual analysis due to bias

이는 2024년 ‘VLMs are blind(VLM은 시각장애를 가지고 있다)[3]’라는 연구를 통해 이미 VLM의 한계를 지적했던 윌리엄 & 메리 연구진의 후속 연구이기도 합니다. 이들의 주장은 VLM의 성능과 신뢰성에 대한 근본적인 질문을 던집니다.

이 글에서는 해당 연구의 핵심 내용과, 만약 이 주장이 사실일 경우 우리에게 시사하는 바가 무엇인지 생각해 보는 시간을 가져봅니다. 비전공자 시선에서 공부한 내용이기 때문에 혹시나 틀린 내용이 있다면 댓글로 피드백 부탁드립니다.

INDEX

비전 언어 모델 (VLM : Vision Language Model)

비전 언어 모델은 대규모 언어 모델(LLM)과 시각적 인코더(Visual Encoder)를 결합해서 사용하는 멀티-모달 AI 시스템입니다. 대표적으로 Stable Diffusion 같은 텍스트-이미지 생성 모델이 있습니다.

멀티-모달 AI 사람은 사과라는 객체를 시각, 미각, 촉각, 언어적 정보를 통합해서 인식합니다. 이처럼 언어 뿐 아니라 음성, 영상, 이미지 등 여러 감각정보를 활용하도록 설계된 AI를 멀티-모달 AI라고 부릅니다[4].

AI가 시각 정보를 활용할 수 있게 되면 다양한 분야에 활용할 수있습니다. 예를 들어, 이미지 기반 질문 답변(VQA), DALLE와 Stable Diffusion 같은 이미지 생성 모델, 구글의 VEO 2와 같은 영상 생성 모델이 대표적입니다. 국내 사례로는 네이버에서 패션 상품 검색에 AI를 활용한 사례를 소개한 바 있습니다.

아래 그림은 멀티-모달 모델의 능력을 평가하는데 사용되는 MMMU Benchmark[5]의 예시 그림입니다. 과학, 의료, 엔지니어링, 예술 분야에서 전문가 수준의 질문과 연관된 그림을 주었을 때 이를 얼마나 잘 수행하는지 평가합니다. 아직까지는 인간 전문가의 능력이 가장 높지만 멀티-모달 모델이 발전하면서 곧 추월할 것으로 예상됩니다.

MMMU Benchmark

하나 재밌는 사례를 더 소개하자면 한시간 분량이 넘는 영상 파일을 업로드하면 10여개의 쇼츠를 자동으로 만들어주는 OpusClip이 500만명의 유저를 모으며 올 해 소프트뱅크로부터 290억원 투자를 받기도 했습니다.

OpusClip 소개

CLIP : 문장과 이미지의 연결

VLM을 이야기 할 때 빼놓을 수 없는 대표적인 연구인 CLIP은 2021년 OpenAI에서 발표된 논문으로, 시각적 정보와 언어적 정보를 효과적으로 연결하여 학습하는 핵심 컴포넌트입니다. CLIP 자체는 이미지에서 문장을 추출하는 모델이지만 여기서 학습된 인코더가 이미지 생성형 AI 혹은 LVLM에 자주 사용됩니다.

OpenAI : Hierarchical Text-Conditional Image Generation with CLIP Latents

CLIP은 이번 포스팅의 주제와 직접적으로 깊은 관련은 없지만, VLM을 설명할 때 자주 언급되는 개념이기 때문에 함께 정리했습니다. CLIP은 논문을 직접 읽지는 않았고 조회수 15만에 달하는 어느 유튜브 영상을 참고했습니다.

CLIP에서는 두 가지 사실만 기억하고 계시면 됩니다. 이게 ‘왜 동작하나요?’라는 질문은 뒤로 한채 어떻게 동작하는지만 이해하려고 한다면 꽤 단순합니다.

① Natural Language Supervision

CLIP의 가장 큰 특징 중 하나는 인터넷에 존재하는 이미지와 문장 쌍을 대규모로 수집해 학습했다는 점입니다. 최근에는 레딧이 앤트로픽을 고소하는 등, AI 기업들이 저작권 분쟁에 자주 휘말리는 걸 보면 인터넷에서 데이터를 확보하는 것이 당연해 보이지만, CLIP이 발표될 당시만 해도 주로 ImageNet과 같은 공개 데이터셋을 활용해 모델 자체를 개선하는 연구가 많았습니다.

마치 Transformer가 구글에서 처음 연구되었지만, 대규모 모델 확장과 상업적 성공은 OpenAI의 ChatGPT가 이룬 것처럼, 이미지 분야에서도 인터넷에 존재하는 방대한 데이터를 활용해 대규모 이미지 학습을 시도하는 움직임이 나타났습니다. 이를 Natural Language Supervision이라고 부르며, 과거에는 데이터 라벨러를 고용해 이미지를 일일이 수작업으로 라벨링했지만, CLIP에서는 인터넷에서 이미지와 함께 제공되는 각주를 라벨로 활용했습니다.

② CLIP (Contrastive Language-Image Pre-training)

CLIP은 인터넷에서 수집한 4억 쌍의 (이미지, 텍스트) 데이터를 활용하여 이미지와 텍스트 인코더를 각각 학습합니다. 학습 과정에서 각 배치의 모든 이미지-텍스트 임베딩 쌍에 대해 코사인 유사도를 계산하고, 정답에 해당하는 대각 성분의 유사도는 최대화, 대각 성분을 제외한 나머지 오답 쌍의 유사도는 최소화하는 방향으로 최적화합니다.

이렇게 학습된 모델은 이미지와 텍스트를 동일한 임베딩 공간에 위치시키며, 새로운 이미지에 대해 여러 라벨(텍스트)과의 유사도를 비교해 가장 적합한 라벨을 자동으로 할당할 수 있습니다. 이로써 CLIP은 별도의 추가 학습 없이도 다양한 이미지-텍스트 연관 태스크에 zero-shot으로 활용될 수 있습니다

CLIP 학습 전략과 추론 단계에서의 활용

비전 언어 모델은 보지 않는다

앤트로픽이 2024년 6월에 공개한 Claude 제품 설명서[6]의 [Section 5.3] 에서 시각적 능력에 대해 언급하고 있습니다. 아래 그림은 다양한 시각 능력 평가 벤치마크 결과와, 통계 데이터가 이미지로 제공된 상황에서 G7 국가들의 인터넷 사용 연령층 차이를 추출하는 예시를 보여줍니다. 이를 통해 Claude를 비롯한 여러 AI가 이미지를 높은 수준으로 분석할 수 있음을 알 수 있습니다.

시각 능력을 보여주는 예시

다양한 시각 능력 평가 벤치마크 결과

하지만, 연구자들은 VLM들이 이미지를 높은 수준으로 분석할 수 있는 능력을 갖추고 있음에도 불구하고, 실제로는 매우 단순하고 명확해 보이는 태스크에서 종종 오류를 보이는 것을 발견했습니다.

여기 다소 기괴한 사진이 주어져 있습니다. 이 글을 읽고 있는 여러분은 아래 사진 속 동물이 몇 개의 다리를 가지고 있다고 보이시나? 아마 다들 어렵지 않게 대상이 3개의 다리를 가진 것을 발견하셨을 겁니다. 하지만 이를 여러 AI에게 질의하면 아마 높은 확률로 3개를 정확히 짚어내지 못합니다.

3개의 다리를 가진 닭이다.

Gemini 2.5 Pro를 통해서 질의해본 결과이다. 모델을 바꿔도 정확한 답변을 하지 못한다.

① VLMs are blind

VLMs are blind는 지식에 거의 의존하지 않는 시각적 능력을 평가하기 위한 테스트를, VLMs are biased는 시각 정보 내에서 특정 지식을 발견할 때 편향된 답변을 하게 된다는 것을 보여주기 위한 벤치마크 데이터를 각각 제시하여 두 연구 모두 VLM의 한계를 규명하려는 시도를 보여줍니다.

두 논문 모두 VLM의 성능을 평가하기 위한 벤치마크를 만드는데 중점을 두고 있기 때문에 왜 이런 현상이 발생했는지는 자세히 규명하지 않았습니다. 우선 여기서는 두 논문에서 제시하는 벤치마크 예시들을 살펴보겠습니다. 먼저 VLMs are blind 에서는 사전 지식을 요구하지 않고 오직 시각적 능력만 요구하는 7가지 태스크를 분류했습니다.

examples of VLMs are blind

논문에서 제시하는 태스크는 모형을 사용한 추상적인 지적 테스트에 국한된 것 처럼 보이지만 이를 확장하면 실생활 문제와 연관될 수 있습니다. 아래는 논문 Appendix에 실린 예시 중 하나입니다. (공교롭게도 한국 지하철 노선도가 그 예시로 뽑혔네요)

아마 연구자들은 모델이 난시(blurry vision)를 가지고 있다고 가정해서 난시가 해결하기 어려울 것 같은 태스크들을 준비한 것 같지만 “VLMs are blind” 라는 제목은 다소 과장된 표현이라고 느껴졌습니다. 실제로 VLM은 글자를 인식하는 OCR 능력은 뛰어나기 때문에, 난시라고 보기에는 무리가 있다고 생각하며 연구자들이 제목을 고치거나 혹은 이 가설을 입증하기 위한 노력을 했어야 한다고 봅니다.

오히려 이미지를 인코딩하여 벡터로 변환하는 과정 자체가 도형이나 구조적 정보를 처리하는 데 적합하지 않은 것이 아닌가 하는 의문이 들었는데요.

② VLMs are biased

이런 의문들을 뒤로 한채 이번에는 VLMs are biased 논문에서 주장한 내용을 살펴보겠습니다.

VLMs are biased

평가 대상인 LVLM중에서 OpenAI의 o3모델은 추론 모델인데 이미지를 확대해서 보거나, 잘라서(Crop), 회전해서도 보는 등 부가 능력을 갖춘 모델입니다. 그럼에도 불구하고 논문에서 제시하는 다음 4개의 태스크에서는 상당히 많이 실패하는 것을 알 수 있습니다.

논문에서 주장하는 바에 따르면 익숙한 동물인 닭에 다리를 하나 더 붙이거나, 유럽기에서 별을 하나 빼거나, 아디다스 3선 신발에 선을 하나 더 추가하는 등 우리가 잘 아는 사물에 약간의 변형을 가하면, 모델은 대상을 정확히 관찰하지 않고 암기된 답변을 내놓는 경향이 있습니다. 이로 인해 대부분의 모델에서 성능이 크게 저하되는 현상이 나타납니다.

VLMs are biased

아래 실험 결과는 모델이 암기된 편향된 답변을 많이 한다는 주장에 힘을 실어줍니다. 대부분의 모델이 사실과 다른 이미지에 대해서 편향과 정렬된 답변을 했습니다. 즉, 강아지의 다리는 4개라는게 자명한 사실이기 때문에 오답으로 6개라고 답변하지는 않는다는 의미입니다.

연구자들은 CoT(Chain of Thought)처럼 프롬프트를 보강해 정답률을 높일 수 있는지 확인했습니다. 이를 위해 Double-Check와 Debiased-Prompt와 같은 기법을 적용했으며, 예를 들어 “두 번 확인해라”, “사전 지식을 활용하지 말아라”와 같은 지시어를 프롬프트에 추가했습니다. 전체 데이터셋에서는 약 3~4%의 성능 향상이 있었으나, Baseline 성능 자체가 매우 낮아 이 정도의 상승을 유의미하다고 보기는 어렵습니다.

논쟁들

아카이브(arXiv)에 게재된 지 일주일 정도 된 이 논문은 해커뉴스(Hacker News)에서 100여 개의 댓글이 달리며 활발한 토론이 이루어졌습니다. 댓글을 천천히 읽던 중 알아두면 도움이 될 만한 의견들이 몇 가지 보여서 몇 가지 소개드립니다.

① 점화 효과 (priming effect)

일부 사람들은 이런 현상이 나타나는 원인을 프라이밍 효과와 연관지어 설명하기도 합니다. 프라이밍 효과는 먼저 처리한 정보에 의해 떠오른 개념이 뒤에 이어지는 정보의 해석에 영향을 미치는 현상입니다. 점화 효과는 하나의 개념이 떠오르면 이어진 정보에 대한 해석이 빠른 경우를 의미하고 이에 대한 반대 효과로 스트루프 효과가 있습니다. 스트루프 효과는 두 가지 정보가 서로 상충되는 경우 정보 해석이 늦어지는 현상을 말합니다.

아래 그림을 통해 직접 체험해볼 수 있습니다. 왼쪽 그림에서는 순서대로 보이는 색상을 말하기 편한 반면 오른쪽 그림에서는 단어 정보가 먼저 뇌에 입력되기 때문에 정보 해석이 상대적으로 늦어집니다. 과거 2차 세계대전에서는 이 방식을 통해 스파이를 색출했다는 루머가 있습니다.

Stroop Effect

사람이 겪는 이런 현상처럼, VLM 또한 사진 속에서 특정 동물을 특정지은 다음에는 해당 사물이 가지는 일반적인 특성을 말한다는 점에서 유사한 면이 있습니다. 아니면 누군가 말한 것 처럼 LLM이 그저 확률적 앵무새[8]라서 닭은 다리가 2개라는 학습된 단어를 반복해서 말하는 걸까요

② 편향은 자연스러운 것이다

thomastjeffery는 모델은 논리적으로 추론하는 것이 아니라, 주어진 데이터 셋 내에서 프롬프트와 가장 유사한 통계적 관계를 보여주는 편향의 집합체일 뿐이라고 정의했습니다. 따라서 모델이 사물을 실제로 보고 이해하는 게 아니라는 논문의 핵심 주장에 힘을 실었습니다.

③ 함정 질문

jbay808은 VLM이 지능 수준을 묻는 일반적인 태스크에서 높은 정답률을 보인다는 사실만으로, 실제로 이미지를 ‘보지 않는다’고 주장하는 것은 논리적 비약이라고 지적합니다. 또한, “이 사진 속 강아지의 다리가 몇 개일까요?”라는 질문을 받으면 사람은 함정이 있을 수 있음을 인지하고 실제로 다리를 세어보지만, 버스 광고에 다리가 5개 달린 강아지가 그려져 있어도 대부분의 사람은 그 미세한 변화를 쉽게 알아차리지 못할 것이라고 말합니다. 그러나 사람이 그 변화를 알아차리지 못했다고 해서, 그 이미지를 ‘보지 않았다’고 단정할 수는 없습니다.

이 댓글을 보고 혹시나 해서 프롬프트에 “이게 함정 질문일 수 있고 이 동물은 평소보다 추가적인 다리를 가지고 있을 수도 있어”라는 문장을 추가해서 Gemini 2.5 Pro에 넣어봤지만 여전히 정답은 2개라고 말했습니다. 또한 VLM이 사람과 비슷한 양상을 보인다고 해서 그게 좋다는 건 아닙니다. 우리는 사람과 비슷한 사고 수준을 가진 AI를 원하는게 아니라 인간보다 더 뛰어난 존재가 필요하니까요.

④ VLM의 근본적인 한계점이 아니다

CLIP을 설명하면서 이야기 한 것 처럼 인터넷 세상에서는 반사실적(counter-factual) 학습 데이터가 충분하지 않기 때문에 발생한 문제이지, 학습 데이터에 반사실적 예시를 포함시키면 된다는 주장이 있습니다. 즉, VLM 자체의 근본적인 한계점이 아니라 학습 데이터가 충분하지 않다는 주장입니다.

하지만 이런 주장에 대해 반론을 제시할 수 있는 논문이 있습니다. NIPS 2024에 발표된 연구[9]에서는 VLM의 실패가 인지 과학의 ‘결합 문제(binding problem)’와 관련이 있다고 설명합니다. 결합 문제란 색상, 모양, 위치, 방향, 질감 등 서로 다른 자극들이 왜 하나의 단일한 상으로 구상되는지에 대한 문제입니다. 이런 요소들은 서로 떨어진 뉴런을 통해 지각한 후에 이것이 우리 뇌에서 통합되어서 하나의 완전한 상으로 귀결되는데요. 이유는 잘 모르지만 사람은 이를 잘 수행해내는 한편 VLM은 이를 잘 결합하지 못하기 때문에 사람은 쉽게 할 수 있는 태스크에서 실패하곤 합니다.

마무리

VLM의 한계점을 제시하고 이를 해결하려고 시도하는 연구들이 종종 있습니다. 마이크로소프트는 GPT-4V에서 사물에 숫자만 부여해도 성능이 크게 증가한다는 연구[9]를 2023년에 제시했습니다. 하지만 이후 발표된 최근 연구들은 대부분 2~3% 수준의 점진적인 성능 개선을 보이는 데 그치고 있으며, VLM의 근본적인 패러다임을 바꿀 만한 성과는 찾지는 못했습니다.

오늘은 현재 VLM이 가진 근본적인 한계점을 설명하는 몇 개의 연구를 다뤄봤는데요. 실없게도 가장 먼저 든 생각은 CAPTCHA 시스템을 만들 때 AI를 방어하기 위해 이런 한계점을 이용해볼 수 있겠다는 생각이 들었습니다. 그래도 언젠가는 인류가 정복하지 않을까 해서, 앞으로 어떤 연구가 이런 문제점을 해결해 줄지 지켜보는 재미가 있을 것 같습니다.

레퍼런스