약 2년 전 미국 뉴욕대 머신러닝 연구자들이 흥미로운 실험을 한 적이 있다. ‘STOP’이라고 쓴 정차 표지판에 손바닥 크기의 노란색 포스트잇을 붙여 AI 인지 테스트를 진행한 것이다. 결과는 충격적이었다. 그들이 설계한 인공지능 탐지 소프트웨어는 이 표지판을 정차가 아닌 속도제한 표지판으로 인식했다. 포스트잇 단 한 장의 변화만으로 AI는 엉뚱한 예측값을 인간에게 반환한 것이다. 훈련 데이터 오염의 위험성이 사회적으로 부각된 건 대략 이때부터였다.

이보다 한층 위협적인 실험은 지난해 중국의 유명 기술 기업인 텐센트에서 이뤄졌다. 텐센트의 보안 연구자들은 테슬라 모델S 75의 자율주행시스템이 중앙 차선을 넘어 역주행하도록 유도하는 데 성공했다. 이들은 테슬라의 알고리즘 자체를 공격 대상으로 삼지 않았다. 간단한 해킹 기술 등을 활용해 딥러닝 알고리즘으로 유입되는 ‘훈련 데이터’를 교란시킴으로써 이 같은 오류를 만들어낸 것이다.

AI 훈련 데이터 오염 공격은 이제 현실이다. 완전무결할 것 같았던 인공지능이 간단한 공격에 무척이나 취약하다는 허점이 조금씩 드러나는 중이다. 특히 학습 데이터에 소소한 위해라도 가하면 인공지능 예측모델은 쉽게 ‘착란 증세’에 빠진다는 사실이 입증되고 있어 우려스럽다. 만일 악의적 의도를 지닌 행위자에 의해 의도적으로 데이터 오염 공격이 감행된다면 문제의 크기는 완전히 달라진다. 누군가가 백도어를 통해 훈련 데이터를 오염시키기라도 하면, AI는 곧장 무기로 돌변한다. AI를 무기화하려는 일부 국가들에 의해 이 공격 기술이 오용될 경우 막대한 피해는 불가피하다.

일상에서 AI는 더 큰 피해를 낳을 수 있다. 얼굴 인식, 재판 보조 신용평가, 분산 투자 알고리즘 등이 이러한 데이터 오염 공격에 노출된다고 가정해보라. 우리의 신체와 인격, 자산은 악의적 행위자에 의해 쉽사리 탈취되거나 부당한 차별 앞에 놓일 수밖에 없다. 특히 사회적 약자의 피해 정도는 가늠하기 쉽지 않다. 왜 인공지능과 데이터 관리에 대한 예방적 규제가 절실한지 이러한 사례들이 명징하게 증명하고 있다. ‘인공지능에 대한 규제가 필요하다’는 알파벳 CEO 순다르 피차이의 외침이 그저 시늉처럼만 들리지 않는 이유다. 그의 말처럼 AI는 수십억 명의 삶을 개선할 수도 있지만 그 구상을 완전한 실패로 만들 수도 있기 때문이다. 훈련 데이터 오염은 그 큰 위험 가운데 단 한 가지 사례일 뿐이다. 하지만 국내에선 산업 논리에 막혀 한마디도 논의되지 않고 있는 형국이다.

기술은 어디까지나 인류가 당면한 제어의 위기를 극복하는 과정에서 사회적으로 발명되고 구성된 결과물일 뿐이다. 하지만 그것의 지위가 모든 사회적 문제를 해결할 수 있는 메시아급으로 승격하는 순간, 기술을 향한 다양한 비판의 목소리는 러다이트주의자의 하찮은 불만쯤으로 치부되게 마련이다. 그런 탓에 기술숭배자들은 훈련 데이터 오염 공격이 수년에 걸쳐 경고 신호를 발산하고 있음에도 그 실현 가능성을 희박하게 본다. AI의 위험을 AI로 해결할 수 있을 것이라는 확고한 신념도 거두지 않는다. 사회경제적 주도권을 획득 중인 기술숭배자들에게 성찰의 자극제를 제공하는 공공의 규범을 강제해야 할 시점이 임박했다.

<이성규 전 메디아티 미디어테크 랩장>