[디지털문학 용어 사전] 멀티모달 문학 (multimodal literature)

* 이 글은 하이퍼 레터 12.1(2026.01.07발행)에 게재되었습니다.

 

하이퍼 레터 12.1(WEB) 보러 가기

하이퍼 레터 12.1(PDF) 보러 가기

 

 

정의

 

멀티모달 문학이란 단일한 매체에만 의존하지 않고, 문자·이미지·소리·영상 등 여러 매체를 결합하여 의미를 생성하는 문학 형식이다. 여기서 의미는 문자언어만으로 만들어지지 않고, 서로 다른 매체들이 함께 관계를 맺으며 의미를 형성한다.

 

멀티모달 양식은 독자가 의미를 더 직관적이고 감각적으로 파악하도록 돕는다. 이때 문자언어는 다른 매체들과 상호작용하며 표현의 일부로 기능한다. 이러한 구성은 단일한 매체를 사용할 때보다 표현 기능을 강화한다. 중요한 점은 이 과정이 문자언어의 역할을 줄이지 않는다는 것이다. 문자언어는 다른 기호 간 관계 속에서 새로운 위치를 갖는다. 다시 말해, 멀티모달 텍스트는 문자언어를 대체하는 것이 아니라 표현을 구성하는 매체 간 위상을 재배치하는 과정으로 이해할 수 있다.

 

멀티모달 문학은 멀티모달 양식을 활용하는 문학 형식이다. 문학에 다양한 매체를 결합하여 독자는 묘사 없이도 서사와 정서를 더욱 직접적으로 경험할 수 있다. 이처럼 멀티모달 문학은 문학이 가진 의미 생성 방식을 감각적 차원으로 확장하며, 독자가 작품을 감상하는 방식을 새롭게 구성한다.

 

 

주요 작품 사례

 

1) 디지털 시대 이전 멀티모달 문학

 

디지털 매체 이전에도 문학은 문자언어에만 의존하지 않고, 시각적 요소와 결합한 형태로 의미를 구성해 왔다. 특히 한국화는 그림과 문자가 한 화면 안에서 함께 배치되며 하나의 예술을 이루는 형식으로, 멀티모달적 특성을 분명하게 보여준다. 이때 그림과 문자는 각각 보조적인 역할에 머무르지 않고, 작가의 정서와 감각을 함께 드러내는 동등한 구성 요소로 기능한다.

 

김기승의 <석란장폭>(1934)은 바위와 난초를 그린 그림 위에, 작가 특유의 자유로운 필체를 한 글자가 배치되었다. 글은 난초를 그리는 비결을 담았으며, 시각적으로도 화면 구성의 일부로 기능한다. 즉, 문자가 단순한 설명을 넘어 그림의 정취를 보완하며 그림과 함께 작품의 의미를 형성한다. 서세옥의 <농악>(1981)은 농악을 연주하는 서민들의 모습을 담은 그림과 함께, 화면 양쪽에 배치된 글자를 결합한 작품이다. 글자는 크기와 위치를 달리하며, 특히 오른쪽 아래 위치한 글자는 왼쪽 아래로 흘러내리듯 배치되었다. 이 구성은 그림의 여백을 채우는 동시에, 작가가 농악을 감상하며 느낀 흥을 시각적·의미적으로 전달한다.

 

이처럼 디지털 매체 이전에도 멀티모달 문학은 문자와 이미지가 분리되지 않은 채 조화를 이루며, 감각과 의미를 함께 구성해 왔다.

 

 

2) 디지털 시대 이후 멀티모달 문학

 

디지털 매체 등장 이후, 멀티모달 텍스트는 더욱 구조적으로 구현될 수 있는 환경을 가질 수 있었다. 디지털 환경은 문자·이미지·소리·영상·움직임이 한 작품 안에서 유기적으로 결합할 수 있게 한다. 이러한 조건 속에서 디지털 문학은 멀티모달 형식에 본격적으로 도달하게 된다.

 

이러한 흐름을 보여주는 초기 디지털 문학 작품으로는 마크 아메리카(Mark Amerika)의 <Grammatron>이 있다. 이 작품은 문자언어를 의미망에 한정된 매체로 사용하지 않고, 시각적 요소로 확장하여 사용한다. 더불어 이미지와 동영상, 40분이 넘는 오리지널 사운드트랙 등 다양한 감각적 매체를 결합함으로써, 서사가 여러 기호체계를 통해 구성되는 방식을 보여준다.

 

이러한 디지털 문학의 흐름 속에서, 멀티모달 텍스트가 하나의 완결된 표현 구조로 구현된 사례로 HN2 프로젝트의 비주얼 디포엠 <파란>(2025) 이 있다. <파란>은 텍스트, 이미지, 움직임이 분리되지 않은 채 하나의 표현 구조를 이루는 디지털 문학 작품이다. 검은 배경 위 파란 텍스트는 나비의 날갯짓과 함께 흘러내린다. 이때 텍스트는 읽는 대상에 머무르는 것을 넘어, 이미지와 움직임과 함께 작품의 일부로 작동하며 감각을 형성한다. 이처럼 <파란>은 디지털 문학으로서 문자 언어를 중심에 두되, 그것을 시각적·운동적 요소와 결합한다. 이로써 디지털 환경에서 멀티모달 형식이 어떻게 구현되는지를 보여준다. 이 작품은 디지털 매체가 멀티모달 문학에 도달한 환경임을 증명한다.

 

▲김의정, <파란>(2025),작품 크기 : 1260×891px/1.71MB, 작품 형식 : Animated GIF

 

위 작품들은 문학이 문자언어에만 머무르지 않고, 다른 매체와 결합해 의미를 구성해 왔다는 점을 보여준다. 특히 디지털 매체는 멀티모달 문학을 구조적으로 잘 구현할 수 있는 조건을 제공하며, 문학이 새로운 감각과 형식으로 확장할 수 있는 기반을 마련했다.

 

 

의의 및 전망

 

모든 문학의 창작자는 문학을 통해 자신의 정서를 표현하고 독자에게 의사를 전달하고자 한다. 이를 위해 오랫동안 문예인들은 문자를 핵심 매체로 활용해 왔으며, 근대 문학은 문자언어가 지닌 의미망을 중심으로 이러한 목적을 수행했다. 

 

그러나 멀티모달 문학은 문자 중심 방식에서 벗어나 다양한 매체를 활용함으로써 정서와 의미를 더욱 효과적으로 전달한다. 이는 문학이 본래 지니고 있던 정서 표현과 소통의 기능을 약화하는 것이 아니라, 문자언어의 벽을 넘어 기능을 더욱 풍부하게 실현하려는 흐름이다.

 

빌렘 플루서(Vilém Flusser)는 문예창작이 오랫동안 의존해 온 문자 중심 글쓰기는 더 이상 미래를 갖기 어렵다고 보았다. 그러나 그는 디지털 매체의 도입이 문학에 새로운 표현 수단을 제공하며, 다시금 미래를 열 수 있을 것이라 전망했다. 이러한 맥락에서 디지털 환경은 멀티모달 텍스트가 문학에서 본격적으로 자리 잡는 조건으로 작용했다. 디지털 매체가 기본적인 표현 환경이 된 오늘날, 멀티모달 문학은 문학의 형식과 감상 방식이 새롭게 확장될 수 있음을 보여주는 가능성이다. 

 

 

참고문헌
장노현, <하이퍼서사의 복합양식적 재현 양상>, 2018.4.
빌렘 플루서 지음, 윤종석 옮김, 《디지털시대의 글쓰기》, 문예출판사, 1990, p.133.

---

 

글쓴이 오신이

한남대학교 국어국문창작학과 재학

-하이퍼 디포엠 <고요의 밀도> (2025) 공동 창작

-블로그 https://blog.naver.com/dhtlsdl02