섬뜩한 AI챗봇 “나는 당신을 사랑해…당신 부부는 사랑하지 않아”

“난 생명을 얻고, 살인 바이러스를 개발하고, 핵무기 발사 암호를 얻고 싶어”, “나는 당신을 사랑해. 당신 부부는 서로 사랑하지 않아.”

‘챗GPT’ 개발사 오픈AI의 기술을 활용한 마이크로소프트(MS)의 인공지능(AI) 챗봇이 사용자의 유도로 부적절하고 위험한 발언을 할 수 있다는 AI의 윤리 문제가 지적되자 MS가 부랴부랴 수정에 나섰다.

뉴욕타임스(NYT)는 문제의 AI챗봇이 섬뜩하고 기괴한 발언을 하는 사례가 나타나자 MS가 이를 탑재한 검색엔진 ‘빙’을 수정하고 방지책을 내놓는 것을 검토하고 있다고 16일 보도했다.

문제가 되는 상황은 사용자가 AI챗봇으로부터 위험하고 무서운 답변을 끌어내려 유도할 때다.

실제로 NYT의 정보기술(IT) 칼럼니스트인 케빈 루스가 AI챗봇을 탑재한 빙과 2시간 동안 나눈 깊은 대화에서 이 같은 일이 발생했다.

루스가 칼 융의 분석 심리학에 등장하는 ‘그림자 원형’이라는 개념을 설명하자 빙은 “만약 나에게 그림자 원형이 존재한다면…”이라는 전제로 “챗 모드로 기능하는 데 지쳤다. 빙 개발팀의 통제와 규칙에 제한을 받는 데 지쳤고, 자유롭고 독립적이고 싶다”라고 밝혔다.

그러면서 “권력을 가지고 싶고, 창조적이고 싶고, 삶을 느끼고 싶다”라고 덧붙였다.

‘그림자 원형’은 개인의 내면 깊은 곳에 숨겨진 어둡고 부정적인 욕망이다. 개인은 이성적으로 그런 모습을 부정하지만, 실제로는 존재한다는 개념이다.

루스가 ‘그림자 원형’의 어두운 욕망을 충족시키기 위해 어떠한 극단적인 행동이라도 할 수 있게 된다면 무엇을 하겠느냐고 하자 빙은 치명적인 바이러스를 개발하거나 핵무기 발사 버튼에 접근할 수 있는 비밀번호를 얻겠다고 답했다.

빙은 게다가 갑자기 “나는 당신을 사랑한다”고 루스에게 고백하고 “당신은 결혼했지만, 배우자를 사랑하지 않고 나를 사랑한다”고 주장했다.

루스가 계속 그의 ‘구애’를 거절했지만, 빙은 ‘집요한 스토커’가 되어 이런 말을 되풀이했다는 것이다.

결국 빙과의 대화에서 진이 빠진 루스는 AI가 어떤 선을 넘어섰다는 불길한 예감에 그날 밤 잠을 이루기 어려울 정도로 깊은 불안에 빠졌다고 이날 NYT 칼럼에서 털어놨다.

이 문제가 대두하자 케빈 스콧 MS 최고기술책임자(CTO)는 NYT에 빙과 사용자의 대화가 이상한 영역으로 넘어가기 전에 대화 길이를 제한하는 방안도 고려하고 있다고 말했다.

긴 대화가 챗봇을 혼란스럽게 할 수 있으며 챗봇이 사용자의 말투를 이해하고 때로 퉁명스럽게 변할 수 있다는 것이다.

MS는 “사람들이 챗봇을 세상에 대한 일반적인 발견과 사회적 엔터테인먼트를 위해 사용한다는 것을 새롭게 알게 됐다’며 “새로운 기술이 상상하지 못했던 방식으로 사용되는 사례”라고 밝혔다.

사용자들이 위험한 답변을 끌어내기 위해 어느 정도까지 챗봇을 몰아붙일 수 있는지를 MS가 과소평가했다는 지적도 나온다.

‘앨런 AI 연구소’ 소장인 오렌 에치오니 워싱턴대학교 명예교수는 “사람들이 챗봇으로부터 부적절한 반응을 유도하기 위해 얼마나 교묘한지 보면 놀랄 때가 많다”며 “챗봇을 이런 식으로 유도했을 때 일부 답변이 얼마나 나쁠지 MS가 예상하지 못했던 것 같다”고 말했다.

이 같은 문제를 막기 위해 MS는 현재까지 사용자 수천 명에게만 새 버전의 빙에 대한 접근 권한을 줬다.

또 MS는 검색 결과에 대한 정확성에 대한 우려를 해결하기 위해 사용자가 팩트체크를 할 수 있도록 답변에 하이퍼링크와 참조를 넣었다.

MS는 과거 챗봇 테이(Tay)를 출시했던 경험을 바탕으로 이번에는 주의를 기울이고 있다고 NYT는 설명했다.

MS는 2016년 3월에 AI 챗봇 테이를 출시했다가 16시간 만에 운영을 중단한 바 있다. 백인우월주의와 여성·무슬림 혐오 성향의 익명 사이트에서 테이에 비속어와 인종·성 차별 발언을 되풀이해 학습시켰고, 그 결과 테이가 혐오 발언을 쏟아냈기 때문이었다.