기술자연 시대의 김희천

맞아요. 제 작업에는 항상 내러티브가 있었죠. 이건 좀 다른 얘기일 수 있는데요, 저와 비슷한 장을 이루는 작가들이 있다면, 전 그 작가들의 아빠, 엄마가 코리 아칸젤과 에드 앳킨스라고 생각하거든요. 제가 여러 길의 작업을 찾고 있을 때 우연히 에드 앳킨스의 영상 인터뷰를 봤어요. 거기서 그가 자신을 ‘글 쓰는 작가’라고 소개하더라고요. 컴퓨터 그래픽을 사용하긴 하지만 기술에 대한 작업을 한다기보다는, 그걸 매개로 시가 됐든 서사가 됐든 글을 쓰는 사람이라고 자기를 소개한다는 점이 좀 신기했어요. 그 뒤로 그런 관점에서 제 작업을 생각해본 적이 있어요.

제 작업이 ‘가상과 현실의 경계’라는 프레임으로 너무 자주 다뤄지다 보니까 갑갑했거든요. 내가 진짜 그런 작가인가, 내가 언제 가상에 대해서 얘기한 적이 있지? 가상과 현실의 경계를 흐린다고 말하려면 먼저 경계라는 게 있고 그걸 흐려야 하잖아요. 근데 제가 그렇게 하려고 의도한 적이 있나 싶더라고요. 심지어 사람들이 ‘가상’이라고 하는 것이 무엇인지도 모호해요. 휴대폰으로 접속하는 ‘온라인’을 가상이라고 생각하는 사람도 있고, 실제로 (영화 속에 등장하는 것처럼) ‘가상현실’에 접속하는 걸 상상하는 사람도 있으니까요. 저는 2018년부터 줄곧 가상은 그냥 우리 삶의 한 레이어일 뿐이라고 얘기해 왔어요. 층위의 깊이가 다를 뿐이죠. 잠을 자거나 책에 몰입해서 온라인의 경험을 다 잊었다고 쳐도, 마음속 어디선가는 가상이 작동할 수 있으니까요. 휴대폰으로 인스타그램을 보고 있으면 그게 표면에 올라온 거고요. 가상은 층위를 달리하며 우리 현실에 탑재되어 있는 것이지, 우리가 더는 현실을 떠나 가상에 접속하는 게 아니라는 거예요. 가상에 ‘접속’한다는 개념 자체가 너무 낡았어요. 제 얘기들도 마찬가지예요. 기술을 기반으로 하고 있지만 그건 우리 일상의 조건일 뿐이죠. 하도 ‘가상과 현실의 경계를 흐리는 작가’라는 얘기를 듣다 보니 저 자신이 뭘 만드는 작가인지 잘 모르겠다는 생각이 들더라고요. 거기서 벗어나고 싶었어요.

그렇죠. 그렇게 얘기하면 일리가 있어요. 기술이 비가시화되면서 우리가 기술의 매개 여부를 판단하지 못한다는 얘기는 제가 했었으니까요. 그런데 에드 앳킨스 인터뷰를 듣고, 나도 그냥 어떤 종류의 글을 쓰는 사람이라고 생각하고, 기술을 빼고도 모두가 전통적으로 다뤄온 것을 나도 다룬다고 생각하면 좀 더 편안하지 않을까 싶었던 거죠. 지난 프리즈 기간에 글래드스톤 개인전 때문에 한국을 찾은 에드 앳킨스를 우연히 만났어요. 그래서 물어봤죠. 사람들이 당신의 작업에 대해 얘기할 때면 디지털 인간 얘기를 계속하는데, 기술이라는 게 당신에게 진짜 중요하냐고요. 저는 당신이 자신을 글 쓰는 작가로 소개하는 인터뷰를 봤는데, 그렇게 생각하니까 당신의 작업이 훨씬 더 재밌었다고요. 그랬더니 엄청 솔직하게 얘기해 줬어요. 커리어를 쌓는 데 그런 프레임이 도움이 되긴 했겠지만, 자기 작업이 정확히 그것에 대한 작업으로 표현하긴 어렵겠다는 얘기였어요. 그건 저한테도 마찬가지겠죠. 그런 프레임은 사람들이 제 작업에 좀 더 쉽게 다가갈 수 있게 해주긴 하니까요. 저도 기술 이미지와 기술 환경에 대한 생각을 워낙 많이 하니까 그게 중심에 있지만, 창작자로서 제가 뭘 즐기는지 생각해보면 제 세계관을 설명하기보다 그 세계관으로 사람들을 어딘가에 태워서 데리고 가는 걸 더 중요하게 생각하는 것 같아요. 그러려면 서사가 아주 중요한 요소고, 그래서 제가 서사를 만드는 걸 참 좋아했구나 싶더라고요. 이번 작업에 그런 점이 유독 많이 드러난 것 같아요.

정확하게 그렇지는 않아요. 그런데 사람들이 그렇게 연결해서 생각할 거라고 예상하긴 했어요. ‘인공지능 시대’라는 게 도대체 무엇인지 스스로 너무 알고 싶었어요. 생성형 모델로 만든 영상들이 범람하는데, 내가 영상 작가로 활동한다는 게 무슨 의미인지 알고 싶었던 거예요. 그러려면 생성형 모델로 영상이 어떻게 만들어지는지도 좀 알아야 하지 않을까 생각한 거죠. 직접 해보면서 그 과정을 알고, 그 과정에서 어떤 의미를 찾는 것이 미술의 아주 기본적인 태도잖아요. 그래서 진짜 만들어보기 시작했어요. 저는 생성 모델로 만든 영상들을 잘 못 보는데, 유일하게 그냥 봐지는 게 동물 영상이었어요. 동물 영상들을 만들다가 자연 다큐멘터리 감독인 찬종이라는 캐릭터가 자연스럽게 튀어나온 거고요. 거기 전시한 영상들은 프롬프트와 장면 모두 생성형 모델로 만든 거예요. 제가 특정한 장면을 의도해서 만든 게 아니에요. 장면을 만드는 앱을 클로드랑 만들었지요. 그걸로 동물들이 나오는 장면을 계속 생성했는데, 그 장면들에 대한 설명이 워낙 매력적이더라고요. 사람들이 ‘말린’을 보기 전에 머무를 대기 공간 같은 게 있으면 좋겠다는 꽤 실용적인 이유도 있었고요.

그 프롬프트는 클로드가 쓴 거예요. 제가 클로드한테 준 프롬프트는 이런 식이었어요. “나는 지금부터 자연과 관련된 15초짜리 영상들을 만들 거야. 장면과 그 영상의 특성들을 자동으로 생성할 수 있는 앱을 만들어줘. 동물이 몇 종, 몇 마리 나오는지를 선택하고, 영상의 분위기는 차분하다, 폭력적이다, 잔인하다, 고요하다, 우아하다 같은 형용사로 표현할 수 있고, 휴대폰으로 찍었는지 전문 카메라로 찍었는지 같은 카메라의 종류와 화각, 피사체와의 거리, 그리고 피사체를 찍을 때의 상황 등을 파라미터로 정한 뒤 ‘생성’을 명령하면 자동으로 영상이 만들어지는 앱이었으면 좋겠어.”

제가 설명할게요. 찬종은 자연 다큐멘터리 감독이에요. 찬종에겐 자연을 그냥 본능적으로 아는 능력이 있어요. 자연의 법칙과 물리와 습성을 지식으로 이해하는 게 아니라 그냥 아는 거예요. 그래서 어떤 장면이 펼쳐질지 머릿속에 그려지고, 그걸 자동으로 찍을 수 있는 사람인 거죠. 그런데 찍고 싶은 장면이 머릿속에 지나치게 선명히 그려지는데 실제로는 찍을 수가 없자, 그 장면을 연출해서 찍어요. 그런데 촬영 보조가 그걸 폭로하고 자살하죠. 소위 말해서 찬종이 ‘캔슬’(‘나락 가다’와 비슷한 의미)된 거죠. 그러던 어느 날 오후에 전화가 와요. 영상이 하나 있는데 이게 AI로 생성된 건지 아닌지 판단해 달라고요. 도대체 어떻게 증명하라는 건지, 왜 하라는 건지 잘 모르겠지만 찬종은 알겠다고 답해요. 그런데 찬종은 알아요. 자신에게 전화를 걸어 ‘수사관’이라고 한 사람이 사실은 ‘자연’이라는 걸요. 자연이 나에게 전화를 걸었고, 나를 부르는구나. 이건 숨은 의미가 아니에요. 영상에 “자연이 나한테 전화를 걸었네”라는 대사가 그대로 나오거든요. 검수를 의뢰받은 영상은 두더지가 구렁이의 옆구리를 파고 들어가는 내용이에요. 너무 가짜 같으니까 AI인지 알아봐 달라는 거죠. 그걸 확인하러 (아마도 영상이 촬영됐음직한 자연으로) 가는 길에 찬종은 실제 구렁이의 흔적을 발견하고, 그 흔적을 만지는 순간 뭔가를 깨달아요. 그 깨달음 때문에 찬종은 산사태가 날 것을 알면서도 그 자리에 선 채 산사태를 받아들이죠.

아주 단순하게 보면 그렇죠. 그런 구조가 엄청 중요한 건 아니지만요. 저는 생성형 모델이 만드는 영상이 단순히 영화나 밈 같은 걸 쉽게 만들기 위한 것이 맞는지 확인하고 싶었어요. 생성 모델, 혹은 ‘월드 모델’(단순한 데이터 패턴 학습을 넘어 현실 세계의 물리적 법칙, 공간, 시간, 인과관계를 이해하고 시뮬레이션하는 신경망 기술)이라고 불리는 것들이 결국 로보틱스나 자율주행 자동차에 탑재돼서 우리 삶에 들어올 텐데, 그렇다면 생성 모델이 만든 영상은 단순히 영화나 짤방을 만들기 위한 용도가 아닐 거라는 게 제 가설이었어요. 그래서 그냥 만져보고 싶었던 것 같아요. 또 사람들이 인공지능이라는 게 정확하게 뭘 뜻하는지 모르는 채로 쓰는 경우가 많다는 생각도 했어요. 인공지능이라는 말 자체가 지금 우리가 인공지능이라고 부르는 것들에 대한 논의를 흐리고 있지는 않은지, 그런 문제들을 실제로 만들면서 경험해보고 싶었어요. 예를 들면 찬종이 자연을 이해하는 게 아니라 그냥 아는 것은, 인공지능이 언어를 이해하는 게 아니라 그 언어를 쓸 줄 아는 것과 비슷하다고 생각했어요.

작업하는 과정에서 인공지능으로 만든 영상들이 시뮬레이션에 가깝다는 걸 깨달았어요. 영상 속에 제 친구들, 아는 사람들이 나오는데, 아주 적은 수의 이미지로 이 사람들을 시뮬레이션한 것에 가깝다고 느낀 순간들이 있어요. 두세 장의 이미지로 친구의 영상을 생성했는데, 외모뿐 아니라 작은 동작까지 실제 그 친구처럼 나오더라고요. 한번은 이미지를 입력해서 찬종의 영상을 생성했는데, 영상 속 찬종이 고개를 흔들어 머리를 털더라고요. 그건 실제 배우 이찬종 씨의 평소 습관이거든요. 프롬프트에는 이 사람이 어떤 사람인지 설명조차 없었는데요. 그게 되게 언캐니하면서도 저한테는 이상하게 감정적으로 엄청 가까운 이미지가 되는 게 신기했어요. 그런데 그건 제가 아는 사람들의 영상을 생성했으니까 느끼는 감정이고, 관객들은 그렇지 않잖아요. 그게 바로 제가 내러티브에 사람들을 태워서 가는 이유였고, 찬종의 얼굴을 제 얼굴로 바꾼 것도 같은 이유였어요. 물론 일반 관객들이 작가인 제 얼굴을 알지는 못하겠지만, 작가 본인이 나오는 순간, 그것도 서사의 개연성과 상관없이 느닷없이 얼굴이 바뀌는 순간 그 장면이 뭔가 질문을 던진다고 생각했어요.

그런 동작을 하라고 입력한 적도 없고, 그냥 앉아서 책을 읽는다는 프롬프트를 넣었는데 갑자기 머리를 털더라고요. 그런데 그 친구가 머리를 흔드는 순간 저는 걔가 거기 정말 있는 것 같은 느낌을 받았어요. 제가 정말 그 친구를 찍은 것 같은 느낌을요. 그게 뭘까요? 영상 작업을 하는 저한테는 엄청 중요한 거죠. 저와 ‘2mc1dj’라는 이름으로 함께 작업하는 홍승택 씨를 작업실에 불러서 사진 몇 장을 찍고 영상을 만든 적이 있어요. 프롬프트는 엄청 단순했어요. ‘사진 속 남자가 내가 만든 배경에 등장한다. 그는 30대 한국 남성이다.’ 그게 다였죠. 되게 어정쩡하고 어색해하는 이상한 표정으로 그 배경에 도착하는 영상이 생성됐는데, 그게 꼭 홍승택 작가 같더라고요. 그럼 이걸 가지고 뭘 만들어 볼 수 있을까 하다가 서사를 하나씩 쌓아 나가기 시작한 거예요. 우리는 자연 다큐멘터리를 보면서 자연을 공부하잖아요. 모든 걸 내 눈으로 직접 볼 수는 없으니까요. 그런데 생성 모델이 만든 영상이 우리를 둘러싸면 그 자연은 뭘까, 내가 직접 보지 않은 것을 어떻게 믿을 수 있을까. 그런 질문들을 하나하나 눈으로 확인해보고 싶어서 작업을 하고, 사람들이 그걸 끝까지 보게 하려고 서사라는 수용체에 태워서 데리고 들어간 거죠.

그 장면만큼은 배우의 얼굴로 만들고 싶지 않았어요. 이찬종 씨는 자기는 프로라서 괜찮다고 했지만요. 막상 이찬종 씨가 고통받는 장면을 만들려니까 도저히 못 만들겠고, 그게 무슨 의미가 있나 회의가 들더라고요. 그런데 제가 고통받는 장면은 만들 수 있을 것 같았어요.

멋지네요. 인공지능이라는 말이 유독 많이 돌던 때 사람들은 주로 이런 논의를 했어요. 인간의 뇌와 의식이 어떻게 작동하는지 언젠가 이해하고, 그걸 바탕으로 인공의 시스템을 만들면 우리처럼 감정을 느낄까? 이런 공상과학적이고 철학적인 질문에서 논의가 출발했지요. 여전히 사람들은 그런 생각을 하는 것 같아요. 그런데 지금 우리가 ‘인공지능’이라고 부르는 것들은 인간의 뇌에 대한 이해를 바탕으로 만든 모델이 아니거든요. 일례로 ‘대규모 언어 모델’(LLM)은 언어를 이해해서 사용하는 게 아니라, 확률·통계 모델 안에서 엄청난 양의 연산을 통해 그 비슷한 걸 해낼 뿐이에요. 강화학습의 아버지라고 불리는 리처드 서튼의 에세이 ‘쓰라린 교훈(The Bitter Lesson)’이 바로 그런 내용이죠. 연구자들이 자신의 이해를 바탕으로 모델을 만들려 해도, 결국 훨씬 많은 데이터를 충분한 연산으로 학습시키는 쪽이 이겨요. 그런데도 우리는 자꾸 인공지능에 의식이 있느냐 없느냐를 논의하고 싶어 해요. 인간의 의식도 밝혀내지 못했는데 누가 그걸 증명할 수 있겠어요. 그런 것들이 인공지능에 관한 논의를 자꾸 공상과학처럼 만드는 거라고 생각해요. 지금 온 미래는 우리가 상상했던 미래와 다른데 말이죠.

<스터디> 때 처음 생성 모델을 써봤어요. 오픈AI의 ‘소라’가 나오면 우리는 다 끝났다고 하던 시절이에요. 근데 그때는 잘 안 됐어요. 간극이 있었어요. 당시만 해도 AI로 만든 영상을 100% 알아볼 수 있었죠. 이제는 저도 절대 몰라요. 작정하고 속이려 들면 정말 모를 것 같아요. 그 간극이 너무너무 빨리 좁혀지는 거죠. 저는 기술이 사람들에게 어떻게 수용되는지 알고 나야 그게 사회를 이해하는 도구가 될 수 있는지 판단할 수 있다고 생각했어요.

일단 제가 그 동물을 진짜 좋아해요. 너무 귀여워요. 저는 두더지를 항상 캐릭터로만 접했거든요. 근데 실물을 영상으로 봤더니 훨씬 귀여운 거예요. 털도 정말 부드러워 보이고, 눈도 거의 안 보이다시피 하고요. 뾰족한 코를 하고 바둥거리는 모습도 너무너무 귀엽더라고요. <커터3>에 두더지가 처음 나와요. 두더지라는 캐릭터는 늘 땅 밑으로 사라졌다가 어느 순간 또 다른 땅에서 불쑥 나오잖아요. 두더지 잡기 게임처럼요. 어디서 왜 나왔는지, 그런 개연성이 별로 필요 없는 존재인 거예요. 그게 재미있다고 생각했어요. 현대사회는 모든 것의 개연성이 너무 강하달까요? 모든 게 다 너무 말이 돼요. 웬만한 건 다 설명이 가능하고, 그런 게 좀 답답하게 느껴져요. 이미 짜인 스토리 안에 내가 들어가 있는 느낌도 들고요. 근데 두더지는 그런 개연성의 세계와 완전히 반대편에 있는 것 같아요. 정말 느닷없이 어디서 나와도 귀엽고 예쁜 동물이니까요. 또 우리는 기술에 과하게 노출되어 있잖아요. 저와 관련된 모든 것이 데이터화되고, 스마트 디바이스나 스마트 시티의 여러 센서에 다 포착되고 있어서 거기서 숨을 방법이 없는데, 두더지라면 숨을 수 있겠다는 생각도 들고, 땅 밑에 있다는 것 자체가 너무 좋기도 하고요.

그렇게 생각하니 그 개연성이라는 게 한국적인 특징일 수도 있겠네요.

사실 그것도 표현의 수위를 엄청나게 낮춘 거예요. 일부러 좀 가짜 같아 보이는 장면을 더 넣었거든요. 진짜 사람 피부가 아니라 고무로 된 피부를 뚫는 듯한 질감으로 표현한 것도 그래서고요. 그리고 그 두더지도 저는 귀엽다고 생각했어요.

너무 어려운데요.(웃음) 기술이 자연화된다는 건 제가 혼자 하는 말이 아니라 다들 하는 얘기죠. 제가 2018년부터 했던 얘기는, 기술이 비가시화되면서 시각 예술로 다루기가 참 어려워지고, 그러면 사람들이 기술을 공상과학적이거나 미래적인 이미지로 다루기 시작한다는 거였어요. 저는 거기에 문제가 좀 있다고 생각해서 그런 이미지를 쓰는 걸 조심하는 편이에요. 제가 미술을 하는 이유는 다른 게 아니라 이 시대 사람들과 공유하는 어떤 감각이 있기 때문인데, 거기에 이름을 붙이기가 참 어려워요. 그 감각을 전달하려고 미술을 하는 것 같아요. 기술이 자연화된다는 건, 우리가 자연을 관찰하고 이해하듯 기술도 관찰하고 이해해야 한다고 느낀다는 얘기인데, 그 감각이 무엇인지는 저도 아직 잘 모르겠어요. 그래도 분명히 느끼고 있고, 설명하기 어렵다고 해서 그 감각이 없는 건 아니니까, 말이 아닌 시각 언어, 즉 영상 언어로 이름을 붙여보는 과정인 것 같아요. 말로 설명할 수 있었다면 영상 작업을 하지 않았을 거예요.

아까 잠깐 얘기한 1990년대 중반생 홍승택 작가, 2000년대생 이하령 작가, 그리고 저, 이렇게 셋이 함께하는 ‘2mc1dj’의 프로젝트예요. 세 사람이 각자 에피소드를 하나씩 만들었고, 관객은 극장에 앉아 서사가 있는 소리만을 듣게 됩니다. 일종의 화면 없는 영화예요.

이하령 작가는 2023년 2월에 ‘마더’라는 공간에서 처음 만났어요. 조소과를 나왔는데 음악도 만들어요. 그의 음악이 재밌어서 이후 제 작업에 몇 곡씩 맡기기 시작했죠. 홍승택 작가는 문장 웹진에 쓴 소설가 이상우에 대한 평론으로 먼저 알게 됐어요. 분석적이면서도 술술 읽히는 글이었죠. 그러다 미술 작업을 본격적으로 하려는데 이야기를 나눠 줄 수 있느냐는 연락을 받았어요. 작업실에서 대화하다가 자연스럽게 서사가 있는 오디오 작업을 해 보자는 얘기가 나왔고요. 문학 기반의 홍승택, 음악과 미술을 하는 이하령, 영상을 만드는 저, 이렇게 셋이 오디오 드라마를 만들면 모두 과제 하나씩을 맡은 상태가 돼요. 저는 화면을 못 쓰고, 이하령 씨는 음악 대신 서사를 써야 하고, 홍승택 씨는 글을 소리로 듣는 경험에 대해 고민해야 하죠. 서로 다른 과제를 안은 이상한 작업이 될 것 같아 무작정 시작했는데 서울문화재단 기금에 선정됐어요. 화면 없는 영화라면 극장에서 듣는 게 제일 좋겠다 싶어서, 김선정 선생님께 아트선재센터 지하 극장을 빌려달라고 연락드렸고요.

아니요. 초반에는 제가 리딩했지만 리드 크리에이터 없이 동등하게 작업해요. 오히려 그게 저희의 논쟁 지점인데, 저는 제가 디제이라고 주장하고 다들 MC 말고 디제이를 하고 싶어 해요.