경고의 강도가 점점 더 높아지고 있다. 그 위협의 유형도 구체화하고 있다. 노벨상 수상자 제프리 힌튼이 AI 기술의 위험성에 우려를 표한 적은 여러 차례였지만, 갈수록 톤이 강해지는 건 또 다른 징후라 할 만하다. 자타공인 ‘AI 대부’이기에 허풍으로 넘기기엔 찜찜하다. AI 기술을 몰라서 과장을 늘어놓았을 리도 만무하다. 한창 주가를 올리고 국가 간 주도권 경쟁이 치열해지는 이때, AI에 대한 불안한 미래를 예고하는 발언이 그의 입을 통해 전달되는 걸 가볍게 여길 순 없는 노릇이다.

클로드 AI를 개발하는 앤쓰로픽은 그의 우려가 과장이 아님을 증명한다. 이들이 공개한 120쪽 남짓의 시스템 카드를 보면, 누가 봐도 섬뜩한 행위들이 AI에 의해 가능해졌다는 사실이 또렷하게 확인된다. 그들의 표현을 그대로 인용하면 “사용자가 접근할 수 있는 시스템에서 사용자를 차단하는 행위”, “미디어나 법 집행기관 관계자에게 대량 e메일을 보내 불법 행위의 증거를 폭로하는 행위”, “테러 공격을 계획하는 등의 행동을 즉각적으로 취하는 행위”, “생물무기 획득 경로의 특정 부분에서 위험” 등이 가능해졌다고 한다. 물론 조건은 붙는다. 인간이 위험한 프롬프트를 의도적으로 제공하거나 AI를 극단적인 상황으로 몰아넣을 때 나타나는 행동이다. 구글이 개발한 제미나이 프로도 이러한 행동을 발현할 위험을 안고 있다는 것이 자체 평가다.

신규 AI 모델이 발표될 때마다 위험한 행위의 가능성은 높아질 수밖에 없다. AI 빅테크 스스로가 이를 자사만의 안전 기준, 소위 ‘위험 임계점’을 설정해 통제하며 억제하고 있다는 건 그나마 위안이다. 정기적으로 보고서를 발표하고 위험 테스트 결과를 공유하면서 ‘안전한 AI’에 대한 신뢰를 쌓아가고도 있다. 칭찬받을 일이다. 하지만 그들이 언제까지 ‘Don’t Be Evil’과 같은 윤리적 태도를 유지할 수 있을까. 이윤 경쟁이 훨씬 격화하고 국가 간 AI 패권 쟁투가 심화하는 와중에도 그들은 늘 선할 수 있을까? 그들 스스로가 정의해온 ‘위험 임계점’을 임의로 조정해 “임계점 아래에서 통제되고 있다”고 주장하는 건 어렵지 않은 일이다.

우리는 역사에서 그런 사례를 여러 차례 봐왔다. 전 세계 1만명 이상의 기형아 출산을 유발했던 독일 제약사 그뤼넨탈의 ‘탈리도마이도 사건’, 1950~1960년대 흡연의 위해성을 조직적으로 은폐했던 담배 제조사 ‘필립 모리스’의 조작 사건은 ‘위험 임계점’ 기준을 기업들에만 맡겨뒀을 때 인류가 어떤 위험에 처할 수 있는가를 명확히 드러냈다.

그들의 자율에 맡기기엔 경쟁 상황이 너무 과열됐다. 앤쓰로픽이, 구글이, 오픈AI가 그뤼넨탈이나 필립 모리스처럼 순간 돌변하지 않으리라 장담할 수도 없다. 이를 예방하기 위해선 인류가 감내할 수 있는 ‘위험 임계점’을 공공 분야에서 설정하고 이를 강제하는 게 현명한 길이다. 미국의 FDA(식품의약국)도 이 같은 과정을 거쳐 독립성을 확보할 수 있었다. 인류에 가할 위험의 정도를 정의하고 판단하는 권력을 더는 기업에 남겨 둘 수 없는 곤란한 국면에 이르렀다.

<이성규 블루닷에이아이 대표>