보이지 않는 소리를, 닿을 수 있는 입자로

APE EXPANSION 아티스트 콘텐츠: E-EUM 〈너에게 닿는 귀〉
보이지 않는 소리를, 닿을 수 있는 입자로

2026 APE EXPANSION은 에이프캠프를 거쳐간 창작자들의 아이디어가 실제 작품으로 확장되는 후속 프로그램입니다. 이번 호에서는 선정팀 이음(E-EUM)의 〈너에게 닿는 귀〉를 소개합니다.
몸에서 분리된 귀가 더 많은 사람의 이야기를 듣기 위해 떠나는 여정을 그린 이 작품은, 관람객의 수어 동작을 시각 입자와 화음으로 번역해 청각 장애인과 비장애인의 감각을 잇습니다. 박승우 작가와 최태인 작가, 두 사람의 이야기를 들어봅니다.

Q1. 팀과 멤버를 소개해 주세요. 서로 어떻게 만나 지금의 팀이 되었는지, 그 여정에서 에이프캠프는 어떤 자리였는지 궁금합니다.

[E-EUM 이음] 최태인 (인터랙티브 아트·미디어 파사드 작가 / APE CAMP 4기) · 박승우 (KIST MR·XR 기술 연구원 / 제1회 APE CAMP 참가)

E-EUM | 저희 이음(E-EUM)은 각자의 영역에서 예술과 기술의 융합 콘텐츠를 탐구해 온 두 사람이 모인 팀입니다. 저는 한국과학기술연구원(KIST)에서 MR·XR 기술기반 연구원으로 재직을 바탕으로 제1회 에이프캠프에 참여해 대만 C-LAB 리서치 트립 등을 경험했고, 최태인 작가는 에이프캠프 4기 출신으로 〈앤의방2〉를 필두로 인터랙티브 아트와 미디어 파사드 등 3D·AI 기반의 비주얼 아트를 다뤄왔습니다.
서로 참여한 기수는 다르지만, 기술을 통해 새로운 감각의 장을 열고자 하는 공통된 갈증이 저희를 하나로 묶어주었습니다. 이 여정에서 에이프캠프는 단순한 지원 사업을 넘어, 아이디어 구현에 대한 갈증이 있었던 저와 최태인 작가가 만나 '이음' 팀을 결성하고, APE EXPANSION에 지원하게 된 자리였습니다. 에이프캠프는 창작의 꿈을 이뤄준 놀이터 같은 곳이었습니다.

Q2. 이번 프로젝트를 아직 모르는 독자에게 세 문장으로 소개한다면요? 그리고 수많은 주제 가운데 '지금, 이 이야기'를 해야 한다고 결심한 이유도 들려주세요.

E-EUM 〈너에게 닿는 귀〉 메인 포스터

E-EUM | '너에게 닿는 귀'는 몸에서 분리된 귀가 더 많은 사람의 이야기를 듣기 위해 여정을 떠난다는 세계관을 담은 프로젝트입니다. 관람객이 가상공간에서 수어 동작을 취하면, 보이지 않던 소리가 직관적인 시각 입자(포인트 클라우드)와 아름다운 화음으로 피어납니다. 이를 통해 신체의 한계를 넘어 청각 장애인과 비장애인이 서로의 감각을 온전히 연결하는 경험을 제공합니다.
이 이야기를 택한 이유는, 과거 포항 지진 재난 트라우마를 예술로 극복하는 융합 프로젝트 현장을 목격하며 '연결과 치유'라는 예술의 본질적 힘을 느꼈기 때문입니다. 모든 것이 빠르게 유동하고 파편화되는 '리퀴드 모더니티' 시대 속에서, '수어'라는 아름다운 신체 언어를 매개로 단절된 벽을 허물고 타인과 감각을 공유하는 일은 그 무엇보다 시급하고 가치 있는 시대적 과제라고 확신했습니다. 단절과 파편화의 시대, 보이지 않는 소리를 시공간의 입자로 번역해 내는 일은 곧 타인의 닫힌 세계로 들어가는 가장 따뜻한 문을 여는 것입니다.

Q3. APE EXPANSION의 키워드는 '확장'입니다. 이 프로젝트가 끝났을 때 무엇이 어디까지 확장되어 있기를 바라시나요.

관람객 수화 동작 인식 후 이벤트 발생

E-EUM | 가장 먼저 관객의 '감각과 인식의 확장'이 이루어지길 바랍니다. 관객들이 저희가 구축한 화이트 큐브 놀이터에서 복잡한 규칙 없이 자유롭게 수어를 표현하고, 우퍼 스피커로 소리의 진동을 느끼며 신체의 물리적 한계를 벗어나는 자유를 경험했으면 합니다.
나아가 이 경험이 사회적 연결의 확장으로 이어지길 꿈꿉니다. 수어를 모르는 비장애인에게는 수어가 단순한 청각 장애인만의 의사소통 수단이 아닌 장애인과 비장애인의 경계를 허무는 훌륭한 예술적 언어임을 깨닫는 계기가 되고, 농인 당사자분들에게는 자신의 언어가 다채로운 시청각적 입자로 번역되어 장애의 경계를 넘어 나와 타인이 하나로 소통되는 벅찬 순간이 되기를 바랍니다. 궁극적으로 이 프로젝트가 끝났을 때, 저희가 다루는 AI와 트래킹 기술이 넓게 확장되어 있기를 소망합니다. 기술이 물리적 한계를 뛰어넘어 '예술'로 확장될 때, 우리는 비로소 장애와 비장애의 경계가 허물어진 진정한 융합의 놀이터를 마주하게 될 것입니다.

Q4. 팀명 '이음(E-EUM)'에는 귀(Ear)와 '잇다'가 겹쳐 있습니다. 몸에서 분리되어 더 많은 사람에게 닿는 귀라는 이미지는 어디에서 시작되었나요. 박승우 님의 전작 〈EARING〉과의 연결도 궁금합니다.

‘분리된 귀(구체형태)' 시안

E-EUM | '이음'은 귀(Ear)와 사람을 '잇다'는 의미를 동시에 품고 있습니다. 과거 포항에서 진행한 예술기술융합 프로젝트에서 재난 트라우마를 예술로 극복하는 과정을 지켜보며, 예술이 가진 치유와 연결의 힘을 깊이 체감했습니다. 당시 기획했던 전작 〈EARING〉이 그 고민의 출발점이었습니다. 만약 우리의 귀가 신체라는 한계를 벗어나 더 먼 곳, 더 다양한 사람들의 이야기를 들을 수 있다면 어떨까 하는 상상을 구체화한 것이죠.
태인 작가님의 아이디어로 수어를 통하여 '소리'라는 매개체를 통해서 청각 장애인과 비장애인이 단절된 감각의 벽을 넘어 서로의 세계를 온전히 이해할 수 있는 예술적 매개체가 될 수 있는 가능성을 느꼈습니다. 몸에서 분리된 가상의 귀는 바로 그 소통의 장벽을 허물고, 서로의 내면에 깃든 소리를 듣기 위한 능동적인 장치입니다. 우리의 감각이 신체의 한계를 벗어나 타인에게 닿을 때, 비로소 온전한 치유와 연결이 시작됩니다.

Q5. 소리를 "만져지지도 형상도 없지만 분명히 실재하는 신비로운 것"이라 말한 한강의 문장에서 출발하셨습니다. 이 문장이 두 분에게 특별히 와닿은 이유는 무엇인가요.

E-EUM | 한강 작가님의 문장은 '보이지 않는 것의 실재성'을 완벽하게 포착하고 있습니다. 소리는 눈에 보이지 않고 손에 잡히지 않지만, 공간을 채우고 사람의 감정을 흔드는 강력한 물리적, 심리적 실체입니다. 저희는 이 신비로운 매체를 청각 장애인의 언어인 '수어'를 통해 시공간적 개념으로 번역하고 싶었습니다. 이를 통해 관람객이 장애에 대한 인식이 포용적이고 비장애인들도 잠재적으로 장애인이 될 수도 있다는 메시지를 전달합니다. 기술을 통해 소리라는 추상적인 존재를 눈앞의 입자(Particle)로 구현해 내는 저희의 작업은, 결국 보이지 않는 내면의 소리에 형태를 부여하는 과정입니다. 보이지 않는 소리의 본질을 시공간의 입자로 번역하여, 누구나 감각하고 공명할 수 있는 실체로 만들고자 합니다.

Q6. 소리를 작은 입자(Particle)로 가정한다는 상상이 이 세계의 물리 법칙이 되었습니다. 소리의 멜로디와 리듬, 톤앤매너를 점·선·면·색과 질감으로 옮길 때 두 분만의 번역 기준이 있나요.

E-EUM | 관람객의 수어동작과 함께 던진 분리된 귀(구체)에서 발생하는 소리의 멜로디, 리듬을 점, 선, 면, 색의 형태로 변형할 것입니다. 터치디자이너를 통해 소리가 지닌 리듬을 데이터로 수치화하여 인스턴싱된 값을 토대로 점에서 선으로, 그리고 면으로 변화하는 입자를 만들 것입니다. 던진 분리된 귀에 의해 발생하는 단어의 톤앤매너에 맞게 날카로움, 부드러움과 같은 질감을 지니게끔 작품을 유기적으로 변형될 수 있도록 시각화할 것입니다.
동작의 수직 위치(Y)는 소리의 높낮이를, 수평 위치(X)는 필터를 통한 음색의 변화를, 움직임의 크기는 입자의 밀도를 직관적으로 제어합니다. 수어 단어의 톤앤매너는 이 좌표 데이터와 결합해 다채로운 공감각적 화음으로 피어납니다.

Q7. 이 작품은 수어를 모르는 관객이 수어의 세계에 처음 입장하는 경험이기도 합니다. 관객이 수어라는 언어의 어떤 면을 발견하길 바라시나요. 농인 당사자·수어 사용자와의 협력이나 자문 계획이 있다면 함께 들려주세요.

Unity상 '안녕' 동작의 유사성 테스트

E-EUM | 농인(청각장애인)의 언어인 수어를 단순히 소통의 도구를 넘어, 감정을 표현하는 아름다운 신체 예술임을 발견하길 바랍니다. 배리어프리(Barrier-Free)의 포용적 시각으로 협력이나 자문은 언제나 환영입니다. 수어를 인식하기 위해서는 키넥트 장비를 활용하여 관절 좌표를 추출해 단어를 판별하여, 정답 시연 데이터를 정교하게 구축하고 전시장 내 우퍼 스피커를 설치해 소리의 진동을 촉각적으로 공유할 계획입니다.

Q8. 낮은 곳에는 도시의 소리, 높은 곳에는 자연의 소리가 배치됩니다. 이 수직의 이중구조에 담긴 의도가 궁금합니다.

키넥트 장비 XYZ 센서값

E-EUM | 우리는 수많은 정보와 소음이 범람하는 도시에 살고 있습니다. 낮은 곳에 배치된 도시의 소리는 우리가 큰 노력 없이도 수동적으로 노출되는 익숙하고 일상적인 환경을 의미합니다. 반면, 높은 곳에 위치한 포인트 클라우드의 자연 사운드를 듣기 위해서는 관람객이 의도적으로 구체를 높게 던지는 수고로움을 감수해야 합니다. 이는 우리가 자연의 목소리, 혹은 타인의 진정한 내면에 귀 기울이기 위해 기꺼이 들여야 하는 능동적인 노력을 상징합니다. 공간을 수직적으로 분할해 사운드를 맵핑함으로써, 관람객은 신체의 움직임과 높낮이라는 직관적인 방식으로 소통의 가치를 다시금 생각하게 됩니다. 자연의 소리에 닿기 위해 기꺼이 팔을 뻗는 수고로움 속에서, 우리는 잊고 있던 경청의 태도를 감각적으로 배우게 됩니다.

Q9. '보는 곳에서 노는 곳으로.' 화이트 큐브를 놀이터로 바꾸겠다고 하셨습니다. 공을 던지고 수어 동작을 취하는 신체의 놀이가 이 주제에 필요한 형식인 이유가 궁금합니다.

동작 판단 결과 화면

E-EUM | 감각의 이탈을 체감하기 위해 능동적인 관람을 유도합니다. 이를 온전한 '놀이'로 만들어 관람객은 복잡한 조작 없이 그저 직관적으로 몸을 던지며 화이트 큐브 안에서 자유롭게 뛰어놀 수 있습니다. 정적인 관람을 넘어 온몸을 던지는 유희가 될 때, 화이트 큐브는 비로소 장애와 비장애가 교감하는 융합의 장으로 변모합니다.

Q10. 시대를 읽는 축으로 '리퀴드 모더니티(액체 근대)'를 가져오셨습니다. 모든 것이 유동하는 시대와 분리된 귀는 어떻게 만나나요.

E-EUM | '리퀴드 모더니티'는 인간관계와 사회구조가 일시적이며 빠르게 흘러가는 현시대를 대변합니다. 이처럼 영속적인 유동성 속에서 현대인들은 종종 깊은 단절감과 파편화를 경험합니다. 신체에서 떨어져 나와 가상과 현실의 경계를 넘나드는 '분리된 귀'는 바로 이 유동하는 시대에 우리가 잃어버린 감정적 유대와 공감을 복원하려는 시도입니다. '분리된 귀'는 단절된 개인의 감각을 확장하여, 찰나의 순간에도 타인의 내면 깊은 곳에 닿을 수 있게 돕습니다. 흘러가는 시대 속에서도 변치 않는 소통의 본질을 짚어내고자 했습니다. 모든 것이 빠르게 흩어지는 유동의 시대 속에서, 분리된 귀는 파편화된 개인들을 다시금 단단하게 묶어주는 연결이 됩니다.

Q11. 생성형 AI를 창작의 도구로 다루며 각자 새롭게 발견한 것이 궁금합니다.

E-EUM | AI 기술이 '감각의 통역사'가 될 수 있음을 새롭게 발견했습니다. 이를 통해 AI가 사람의 미세한 움직임과 맥락을 이해하고, 창의적으로 변환해 내는 훌륭한 동반자임을 다시금 깨달았습니다. 기술로 심오한 맥락과 의도를 다채로운 예술로 통역해 내는 유연한 동반자입니다.

[인터뷰이]

APE EXPANSION E-EUM(최태인, 박승우)

[인터뷰어]

APECAMP 2023 참여자 · 2026 협력기획자 이도현