변신을 다운스케일링하기
웜뱃(게임비평가)
김인배 작가의 <변신>(Metamorphosis)은 크게 4부분으로 이루어진 입체 작품이다. 먼저 스테인리스 스틸로 만들어진 받침대가 바닥에 놓인다. 받침대는 아래가 막힌 원통형의 구멍을 공중에서 지지하는 모양새로 구축되어 있다. 길이가 2m 정도 되어 보이는 (역시 스테인리스 스틸로 만들어진) 봉은 구멍에 완벽하게 들어맞는다. 두 개의 프로펠러 형식의 구조물들은 봉에 끼워진 채로, 각각 특정한 높이에 고정된다. 서 있는 사람의 눈높이 정도에 위치한 ‘프로펠러’는 그 아래 위치한 또 다른 ‘프로펠러’와 마찬가지로 3장의 날개를 갖는다. 그 외에, 이 둘이 가지는 어떤 시각적인 공통점을 찾기는 힘들다. 모양이 비교적 매끈한 유선형의 날개들이 완전히 동일한 모양으로 휘어져 있는 위쪽의 프로펠러와는 달리, 아래쪽의 프로펠러는 울퉁불퉁한 질감을 가진 날개들이 그저 바깥쪽을 향해 일직선으로 길게 뻗어 있다. 이 두 프로펠러의 날개들이 뻗어 나가는 방향은 서로 꽤 어긋나 있는데, 이 불일치는 허공에 살짝 ‘걸쳐진’ 봉과 시너지를 일으키며 미세한 운동의 감각을 전달한다. 마치 비행을 끝내고 지금 막 착륙한 다빈치(Leonardo da Vinci)의 헬리콥터1이 그 격렬했던 회전운동의 여파를 다소간 간직하고 있듯이 말이다.2
이처럼 <변신>은 관찰에 인색한 작품은 아니다. 그러나 더 가까이 들여다볼수록, 역설적이게도 면밀한 관찰에 의해 드러난 특정한 작은 부분들이 오히려 시각성을 벗어난다는 것을 깨닫게 된다. “폴리곤 자국”이 그 대표적인 예이다. (특히 위쪽 프로펠러의) 날개 부분을 자세히 보면 그리드(격자) 구조의 패턴이 떠오르는데, 이것을 (작가의 표현에 따르면) 폴리곤 자국이라고 부른다. 폴리곤이라는 단어에서 유추할 수 있듯이 이 패턴은 프로펠러의 제작을 위한 밑그림 단계인 3D 모델링 작업에서 유래한다. 작가는 의도적으로 폴리곤 개수를 적게 설정해서 일종의 (은유적인 표현으로) ‘저해상도’ 모델을 만든 후에, PLA(Polylactide)를 재료로 삼아서 이를 3D 프린팅 했다. 그렇게 만들어진 구조물을 액체 레진과 유리섬유의 배합을 통해 코팅하는 과정에서, 레진의 색이 엉성한 밀도로 뭉쳐져 있는 ‘폴리곤’ 사이사이로 들어가 패턴을 가시적으로 드러나게 한 것이다. 이와 같이 지표(index)로서 폴리곤 ‘자국’은 매우 뚜렷한 물리적인 기원을 갖는다. 그런데 그와 동시에 그것은 인터페이스이기도 하다. 어째서 인터페이스일까? 그 이야기에 도달하기 위해서는, 먼저 업스케일링(Upscaling)을 경유해야만 한다.
<블레이드 러너>를 본 이들이라면 릭 데커드가 도망친 레플리컨트를 추적하기 위해서 사진을 분석하는 장면을 기억할 것이다. 그는 첨단(?) 판독기에 사진을 집어넣고 계속해서 ‘줌인’을 하다가 결국 결정적인 장면을 ‘발견’한다. 그런데 사실 여기서 벌어지는 일은 ‘줌인(zoom in)’이라기보다는 (현대 게이밍에서도 적극 활용되는) 실시간 이미지 업스케일링에 가깝다.3 근거는 두 가지인데, 일단 제공된 소스가 인쇄된 사진이라는 점이다. 제 아무리 초고해상도의 사진 파일이라도 손바닥만 한 종이에 프린팅하는 순간, ‘인화된’ 사진은 매우 제한적인 정보값을 지닐 수밖에 없다. 따라서 인쇄된 이미지를 몇십 배 확대했을 때, 우리가 보게 될 것은 ‘결정적인 증거’가 아니라 랜덤한 노이즈이다. 다른 하나는 데커드가 계속해서 “Enhance”라고 판독기에게 명령을 내린다는 사실이다. 즉, 그는 자신이 원하는 것은 이미지의 확대가 아니라 없어진 정보까지도 ‘되살릴만한’ 이미지 퀄리티의 ‘향상’이라는 점을 명확하게 짚고 있다.
이미지 업스케일링은 근본적으로 정보값을 ‘뻥튀기’한다. 좀 더 테크니컬한 맥락으로 번역하면, 업스케일링이란 상대적으로 저해상도인 원본 소스가 결여하고 있는 픽셀의 숫자를 인위적으로 늘려서 그보다 고해상도인 스크린에 맞추는 과정이다. 우리가 4K 티비를 통해서 1080p 소스의 영상을 볼 때 별다른 ‘불편함’을 못 느낀다면, 그 이유는 아마도 스마트 티비에 내장된 업스케일링 알고리즘이 제 역할을 다 하고 있기 때문일 것이다. 이 기술의 최전선을 형성하는 게임 분야에는 더욱 극단적인 케이스들이 많다. 그래픽 카드 제조업체이지만 최근에는 AI 하드웨어 업체로 더 잘 알려진 Nvidia는 인공신경망(artificial neural network)을 이용한 학습을 통해서 바로 다음 프레임의 픽셀들 각각의 위치를 ‘예측’하는 방식으로까지 나아간다. 결과적으로 그들은 업스케일링을 넘어서 프레임 자체를 생성(generate)하는 기술을 이미 상용화하는 중이다.
흥미로운 것은 이러한 폭발적인 여러 추세를 도도하게 관통하는 하나의 태도인데, 나는 이를 ‘픽셀 자국’을 없애려는 강박이라고 부르겠다. 원본 소스(혹은 비디오카드의 ‘깡성능’으로 렌더링된 이미지)와 직접적인 관계가 없는 픽셀들을 생성하면서까지, 그 기술들이 드러내고 싶지 않았던 것은 ‘픽셀이 보이는’ 흐릿한 이미지이기 때문이다. 아이러니하게도, 무수히 많은 픽셀로 이루어진 스크린에서 절대 ‘보여서는 안 되는 것’은 바로 픽셀이다. 이때, 시선은 스크린을 투과해서 바로 이미지의 환영에 가닿는다. 바꿔 말하면 우리는 스크린에서 픽셀 자국을 목격할 때, 즉 무언가가 제대로 작동하지 않을 때야 비로소 픽셀들의 집합인 스크린 그 자체를 ‘인지’한다. 역시 “하이데거의 (아리스토텔레스Aristoteles의 특징을 살린) 단조로운 말에 따르면, 본질은 사고가 날 때 드러난다.”4
그렇다면 폴리곤 자국에 대해서도 비슷한 이야기를 할 수 있지 않을까? 다만 여기서 우리가 간과하지 말아야 할 점은 폴리곤으로 만들어진 모델은 벡터(vector) 이미지라는 것이다. 픽셀이 모인 래스터(raster) 이미지와는 달리, 폴리곤이 모인 3D 모델은 해상도(resolution)에 영향받지 않는다. 폴리곤의 개수가 많건 적건 혹은 모델을 스크린 상에서 얼마만큼 확대하든 간에, 픽셀이 노출되는 것과 같은 ‘흐릿한 이미지’를 볼 일은 없다. 따라서 ‘폴리곤 자국’이라는 것이 가능하다면, 그것이 드러나는 지점은 스크린 위가 아닐 것이다. 그보다는 매우 적은 폴리곤의 개수와 ‘불완전한 재현기계’5인 3D 프린터가 서로 연동해서 산출하는 입체 ‘다운스케일링’(Downscaling)이, 날개 위에 나타난 특정한 그리드 패턴을 폴리곤 자국으로 규정한다. 픽셀 자국이 스크린을 드러내듯이, 폴리곤 자국은 작품을 드러낸다. 이때, 작품은 어떤 심오한 의미를 마음껏 투사할 수 있는 특이한 모양의 무언가가 되기를 멈춘다. 그리고 마치 이미지를 ‘그대로’ 보여주지 않는 스크린처럼, 구체적인 물질성을 내세우며 낯설게 ‘변신’한다.
그러므로 폴리곤 자국은 반(反) 인터페이스적 인터페이스이다. 그것은 픽셀 자국이 스크린 안의 ‘콘텐츠’들을 무화시키듯이, 작품을 ‘통해서’(via) 손쉽게 연결될 수 있는 그 모든 담론들의 데시벨을 극적으로 낮춘다. 내밀한 의미와 무의식의 상징들은 멀리서 발화하는 웅얼거림처럼 이젠 잘 들리지조차 않는다. 폴리곤 자국은 작품의 특정한 접촉 지점으로 재설정된다. 소음 같은 웅얼거림을 뒤로하고, <변신>은 마치 언제라도 다시 날아갈 듯이 그렇게 잠시 멈춰 있다. 참조점이나 은유로서가 아니라 ‘자국’이 있는 지표적 실체로서. ‘연결’이 끊어지는 곳에서 비로소 ‘접촉’이 시작된다는 것을 증명하는 존재로서. 그리고 아무런 마찰 없이 편리하게 기능하는 조작과 ‘만지기’를 거부하는 인터페이스로서.
1) https://www.wikiart.org/en/leonardo-da-vinci/design-for-a-helicopter
2) 다빈치의 헬리콥터 드로잉은 실제로 구현된 적이 없다고 근엄하게 지적할 분들을 위해 덧붙이자면, 그분들께는 죄송스럽게도 메릴랜드 대학의 항공우주 엔지니어링 팀이 바로 작년에 그 일을 해냈다.
https://www.cnet.com/science/this-drone-flies-using-da-vincis-530-year-old-helicopter-design/
3) 업스케일링 기능이 내장된 이 최첨단 판독기는 2019년이라는 시간대에 걸맞게(?) 경악할 만한 성능을 자랑한다.
4) 존 더럼 피터스, 『자연과 미디어』, 이희은 역 (서울: 컬처룩, 2018), 68.
5) 좌표에 의거한 수학적인 이념형으로서의 벡터 이미지를, 현실의 재료를 바탕으로 기계적인 과정을 통해 입체를 만들어 내는 3D 프린터로 ‘프린팅’ 한 결과는 언제나 그렇듯이 ‘완벽한 듯 보이는’ 물체이다.
이처럼 <변신>은 관찰에 인색한 작품은 아니다. 그러나 더 가까이 들여다볼수록, 역설적이게도 면밀한 관찰에 의해 드러난 특정한 작은 부분들이 오히려 시각성을 벗어난다는 것을 깨닫게 된다. “폴리곤 자국”이 그 대표적인 예이다. (특히 위쪽 프로펠러의) 날개 부분을 자세히 보면 그리드(격자) 구조의 패턴이 떠오르는데, 이것을 (작가의 표현에 따르면) 폴리곤 자국이라고 부른다. 폴리곤이라는 단어에서 유추할 수 있듯이 이 패턴은 프로펠러의 제작을 위한 밑그림 단계인 3D 모델링 작업에서 유래한다. 작가는 의도적으로 폴리곤 개수를 적게 설정해서 일종의 (은유적인 표현으로) ‘저해상도’ 모델을 만든 후에, PLA(Polylactide)를 재료로 삼아서 이를 3D 프린팅 했다. 그렇게 만들어진 구조물을 액체 레진과 유리섬유의 배합을 통해 코팅하는 과정에서, 레진의 색이 엉성한 밀도로 뭉쳐져 있는 ‘폴리곤’ 사이사이로 들어가 패턴을 가시적으로 드러나게 한 것이다. 이와 같이 지표(index)로서 폴리곤 ‘자국’은 매우 뚜렷한 물리적인 기원을 갖는다. 그런데 그와 동시에 그것은 인터페이스이기도 하다. 어째서 인터페이스일까? 그 이야기에 도달하기 위해서는, 먼저 업스케일링(Upscaling)을 경유해야만 한다.
<블레이드 러너>를 본 이들이라면 릭 데커드가 도망친 레플리컨트를 추적하기 위해서 사진을 분석하는 장면을 기억할 것이다. 그는 첨단(?) 판독기에 사진을 집어넣고 계속해서 ‘줌인’을 하다가 결국 결정적인 장면을 ‘발견’한다. 그런데 사실 여기서 벌어지는 일은 ‘줌인(zoom in)’이라기보다는 (현대 게이밍에서도 적극 활용되는) 실시간 이미지 업스케일링에 가깝다.3 근거는 두 가지인데, 일단 제공된 소스가 인쇄된 사진이라는 점이다. 제 아무리 초고해상도의 사진 파일이라도 손바닥만 한 종이에 프린팅하는 순간, ‘인화된’ 사진은 매우 제한적인 정보값을 지닐 수밖에 없다. 따라서 인쇄된 이미지를 몇십 배 확대했을 때, 우리가 보게 될 것은 ‘결정적인 증거’가 아니라 랜덤한 노이즈이다. 다른 하나는 데커드가 계속해서 “Enhance”라고 판독기에게 명령을 내린다는 사실이다. 즉, 그는 자신이 원하는 것은 이미지의 확대가 아니라 없어진 정보까지도 ‘되살릴만한’ 이미지 퀄리티의 ‘향상’이라는 점을 명확하게 짚고 있다.
이미지 업스케일링은 근본적으로 정보값을 ‘뻥튀기’한다. 좀 더 테크니컬한 맥락으로 번역하면, 업스케일링이란 상대적으로 저해상도인 원본 소스가 결여하고 있는 픽셀의 숫자를 인위적으로 늘려서 그보다 고해상도인 스크린에 맞추는 과정이다. 우리가 4K 티비를 통해서 1080p 소스의 영상을 볼 때 별다른 ‘불편함’을 못 느낀다면, 그 이유는 아마도 스마트 티비에 내장된 업스케일링 알고리즘이 제 역할을 다 하고 있기 때문일 것이다. 이 기술의 최전선을 형성하는 게임 분야에는 더욱 극단적인 케이스들이 많다. 그래픽 카드 제조업체이지만 최근에는 AI 하드웨어 업체로 더 잘 알려진 Nvidia는 인공신경망(artificial neural network)을 이용한 학습을 통해서 바로 다음 프레임의 픽셀들 각각의 위치를 ‘예측’하는 방식으로까지 나아간다. 결과적으로 그들은 업스케일링을 넘어서 프레임 자체를 생성(generate)하는 기술을 이미 상용화하는 중이다.
흥미로운 것은 이러한 폭발적인 여러 추세를 도도하게 관통하는 하나의 태도인데, 나는 이를 ‘픽셀 자국’을 없애려는 강박이라고 부르겠다. 원본 소스(혹은 비디오카드의 ‘깡성능’으로 렌더링된 이미지)와 직접적인 관계가 없는 픽셀들을 생성하면서까지, 그 기술들이 드러내고 싶지 않았던 것은 ‘픽셀이 보이는’ 흐릿한 이미지이기 때문이다. 아이러니하게도, 무수히 많은 픽셀로 이루어진 스크린에서 절대 ‘보여서는 안 되는 것’은 바로 픽셀이다. 이때, 시선은 스크린을 투과해서 바로 이미지의 환영에 가닿는다. 바꿔 말하면 우리는 스크린에서 픽셀 자국을 목격할 때, 즉 무언가가 제대로 작동하지 않을 때야 비로소 픽셀들의 집합인 스크린 그 자체를 ‘인지’한다. 역시 “하이데거의 (아리스토텔레스Aristoteles의 특징을 살린) 단조로운 말에 따르면, 본질은 사고가 날 때 드러난다.”4
그렇다면 폴리곤 자국에 대해서도 비슷한 이야기를 할 수 있지 않을까? 다만 여기서 우리가 간과하지 말아야 할 점은 폴리곤으로 만들어진 모델은 벡터(vector) 이미지라는 것이다. 픽셀이 모인 래스터(raster) 이미지와는 달리, 폴리곤이 모인 3D 모델은 해상도(resolution)에 영향받지 않는다. 폴리곤의 개수가 많건 적건 혹은 모델을 스크린 상에서 얼마만큼 확대하든 간에, 픽셀이 노출되는 것과 같은 ‘흐릿한 이미지’를 볼 일은 없다. 따라서 ‘폴리곤 자국’이라는 것이 가능하다면, 그것이 드러나는 지점은 스크린 위가 아닐 것이다. 그보다는 매우 적은 폴리곤의 개수와 ‘불완전한 재현기계’5인 3D 프린터가 서로 연동해서 산출하는 입체 ‘다운스케일링’(Downscaling)이, 날개 위에 나타난 특정한 그리드 패턴을 폴리곤 자국으로 규정한다. 픽셀 자국이 스크린을 드러내듯이, 폴리곤 자국은 작품을 드러낸다. 이때, 작품은 어떤 심오한 의미를 마음껏 투사할 수 있는 특이한 모양의 무언가가 되기를 멈춘다. 그리고 마치 이미지를 ‘그대로’ 보여주지 않는 스크린처럼, 구체적인 물질성을 내세우며 낯설게 ‘변신’한다.
그러므로 폴리곤 자국은 반(反) 인터페이스적 인터페이스이다. 그것은 픽셀 자국이 스크린 안의 ‘콘텐츠’들을 무화시키듯이, 작품을 ‘통해서’(via) 손쉽게 연결될 수 있는 그 모든 담론들의 데시벨을 극적으로 낮춘다. 내밀한 의미와 무의식의 상징들은 멀리서 발화하는 웅얼거림처럼 이젠 잘 들리지조차 않는다. 폴리곤 자국은 작품의 특정한 접촉 지점으로 재설정된다. 소음 같은 웅얼거림을 뒤로하고, <변신>은 마치 언제라도 다시 날아갈 듯이 그렇게 잠시 멈춰 있다. 참조점이나 은유로서가 아니라 ‘자국’이 있는 지표적 실체로서. ‘연결’이 끊어지는 곳에서 비로소 ‘접촉’이 시작된다는 것을 증명하는 존재로서. 그리고 아무런 마찰 없이 편리하게 기능하는 조작과 ‘만지기’를 거부하는 인터페이스로서.
1) https://www.wikiart.org/en/leonardo-da-vinci/design-for-a-helicopter
2) 다빈치의 헬리콥터 드로잉은 실제로 구현된 적이 없다고 근엄하게 지적할 분들을 위해 덧붙이자면, 그분들께는 죄송스럽게도 메릴랜드 대학의 항공우주 엔지니어링 팀이 바로 작년에 그 일을 해냈다.
https://www.cnet.com/science/this-drone-flies-using-da-vincis-530-year-old-helicopter-design/
3) 업스케일링 기능이 내장된 이 최첨단 판독기는 2019년이라는 시간대에 걸맞게(?) 경악할 만한 성능을 자랑한다.
4) 존 더럼 피터스, 『자연과 미디어』, 이희은 역 (서울: 컬처룩, 2018), 68.
5) 좌표에 의거한 수학적인 이념형으로서의 벡터 이미지를, 현실의 재료를 바탕으로 기계적인 과정을 통해 입체를 만들어 내는 3D 프린터로 ‘프린팅’ 한 결과는 언제나 그렇듯이 ‘완벽한 듯 보이는’ 물체이다.