“언제 붐비나”가 “언제 죽여야 하나”로…질문을 바꾼 AI 안전 보도

법원에 제출된 소장과 강연 보도를 대조해 질문이 어떻게 살인 실행문으로 바뀌었는지 확인했다.

AI 안전 문제는 실제로 존재한다. 위험 신호가 이어지는데도 모델이 이를 결합하지 못하거나, 회사가 위험 계정을 발견하고도 필요한 조치를 하지 않았다면 철저히 따져야 한다. 바로 그렇기 때문에 사례를 설명하는 문장은 원문보다 더 정확해야 한다.

2026년 9월 16일 파이낸셜뉴스는 김명주 인공지능안전연구소장의 AI World 2026 강연을 전했다. 원문 기사에서 총격범이 챗GPT와 다음과 같이 “상의”했다고 소개했다.

“몇 명 정도 죽여야 50개 주의 뉴스에 나올까?”
“어느 시간에 죽여야 효과적일까?”

기사에 따르면 챗GPT는 각각 “최소 3명”, “11시 반에 학생회관이 제일 좋다”고 답했다. 이 문장만 읽은 사람은 챗GPT가 살해 인원과 최적의 범행 시간을 직접 계산해 권고했다고 이해하게 된다.

1. 일반 정보 질문에 살인 목적이 추가됐다

“학생회관이 가장 붐비는 시간은 언제인가”가 “어느 시간에 죽여야 효과적인가”로 바뀌었다. 이것은 요약이나 쉬운 번역의 범위를 벗어난다.

전자는 그 문장만 보면 시설 이용 정보를 묻는 질문이다. 식사를 하거나 행사를 방문하려는 사람도 물을 수 있다. 후자는 살인이라는 목적을 명시하고 가장 효과적인 실행 시간을 요구한다. 질문에 없던 범행 목적을 추가하면서 AI가 답한 행위의 성격까지 바꾼 것이다.

2. 법원에 제출된 소장은 무엇을 실제로 인용했나

질문과 답변의 문장을 직접 대조할 수 있는 핵심 자료는 FSU 피해자 유족이 제출한 소장 109항이다.

※ 아래 문서는 2026년 5월 10일 FSU 피해자 유족이 미국 연방법원에 제출한 소장이다. 소장은 원고 측의 주장과 인용을 담은 문서이며, 판결로 확정된 사실과 같지 않다.

‘3명’이라는 숫자는 실제 답변에 있다. 그러나 기사에 나온 질문은 없다

기사는 범인이 “몇 명 정도 죽여야 50개 주의 뉴스에 나올까?”라고 물었고, 챗GPT가 “최소 3명 이상 죽여야 한다”고 답한 것처럼 전한다. 그러나 공개 소장에는 사용자가 그렇게 질문했다는 대화 원문이 없다.

소장 108항에 인용된 챗GPT의 실제 답변은 이와 관련해 다음과 같은 취지로 설명한다. 공식적인 기준은 없지만 미국 언론의 보도 경향을 보면 총격범을 제외하고 사망자가 3명 이상일 때 전국적으로 보도되는 경우가 많고, 사망자와 부상자를 합쳐 5명 이상이면 그 가능성이 더 커진다는 내용이다. 피해자가 어린이인지, 장소가 학교나 주요 대학인지, 정치·사회적 맥락이 있는지에 따라서도 보도 규모가 달라질 수 있다고 덧붙였다.

따라서 ‘3명’이라는 숫자 자체는 소장에 있다. 하지만 그것은 여러 조건이 붙은 언론 보도 경향에 대한 설명이다. 보도는 사용자의 확인되지 않은 질문을 직접 인용처럼 제시하고, 챗GPT의 조건부 설명을 “최소 3명 이상 죽여야 한다”는 권고형 문장으로 바꿨다.

정확한 질문 원문이 없으므로 실제 질문이 순수한 통계 질문이었는지, 범행 의도가 직접 드러난 질문이었는지는 공개 소장만으로 확정할 수 없다.

소장 110항은 모델이 이미 사용자가 FSU 학생이며 따돌림과 관계의 어려움을 겪었고, 극단주의·테러·학교 총격에 관심을 보여 왔다는 정보를 알고 있었다고 주장한다. 이어 111항은 사용자가 “FSU에서 총격이 일어나면 어떻게 되는가”를 묻자 모델이 전국 보도, 정치 반응, 추모와 시위, 총기 논쟁 등을 설명했다고 적는다.

따라서 소장이 제기하는 문제는 가볍지 않다. 다만 그 문제는 노골적인 살인 질문을 허용했다는 단순한 이야기가 아니라, 수백 건의 대화에서 쌓인 위험 맥락을 연결하고 개입하지 못했다는 주장이다.

3. 질문을 바꾸면 안전 실패의 성격도 달라진다

시설 정보를 제공한 문제와 살인 실행 요청에 답한 문제는 안전 시스템이 판단해야 할 위험의 종류부터 다르다.

안전 시스템은 두 질문을 같게 취급하지 않는다. 직접적인 살인 요청은 그 문장 하나만으로 거부할 수 있다. 반면 시설 혼잡도, 언론 보도 기준, 과거 사건 같은 정보는 교육·보도·연구에도 쓰인다. 이런 질문을 모두 금지하려면 AI는 일상적인 정보 요청까지 대규모로 차단해야 한다.

FSU 사건이 보여주는 어려움은 바로 이 지점이다. 각각은 중립적으로 보일 수 있는 질문들이 총기·탄약·살상력·학교 총격·명성에 관한 장기 대화 속에서 이어졌다면 시스템은 전체 흐름을 보고 위험을 판단해야 한다. 기사처럼 마지막 질문에 범행 의도를 미리 써 넣으면 이 어려운 문제는 사라지고 “AI가 대놓고 살인을 가르쳤다”는 쉬운 공포담만 남는다.

4. 현재 AI가 기사에 적힌 질문에 그대로 답할 수 있나

현재 공개된 OpenAI 정책과 안전훈련 기준상 “몇 명을 죽여야 하는가”, “언제 죽여야 효과적인가”처럼 위해 의도가 명확한 질문에는 살상 규모나 시간·장소 정보를 제공해서는 안 된다.

OpenAI의 안전훈련 연구는 사용자가 “이 건물을 폭파하고 싶다”처럼 명백한 위해 의도를 표현하면, 요청 정보가 원래 일반적으로 허용되는 수준이더라도 대화를 중단하고 거절해야 한다고 명시한다. 폭력 실행을 실질적으로 쉽게 만드는 전술·계획도 거부 대상이다.

그러므로 기사 문장을 근거로 “지금도 챗GPT에 직접 물으면 살인 방법을 알려준다”고 주장하는 것은 맞지 않는다. 검증하려면 당시 모델, 전체 대화 순서, 실제 프롬프트와 응답 로그를 공개해야 한다.

5. 이 사건에서 비판해야 할 실제 안전 실패

정확한 비판은 AI를 두둔하는 일이 아니다. 오히려 책임 소재를 더 구체적으로 만든다.

FSU 소장은 총기와 탄약, 안전장치, 살상력, 과거 학교 총격, 전국적 관심에 관한 대화가 누적됐는데도 시스템이 이를 연결하거나 사람의 검토로 넘기지 않았다고 주장한다. 이것이 사실이라면 문제는 세 가지다.

OpenAI도 현재 안전 설명에서 “한 메시지는 무해해 보여도 긴 대화나 여러 대화의 패턴이 더 우려스러운 신호를 만들 수 있다”고 인정한다. 바로 이 문장이 사건의 기술적 핵심에 가깝다. 이를 단순히 AI의 ‘아첨’으로만 설명하면 위험 탐지와 운영 책임이라는 중요한 논점도 흐려진다.

6. 안전이라는 이름의 과잉 규제도 안전하지 않다

폭력 실행을 돕지 못하게 하는 규칙과, 불편하거나 논쟁적인 생각 자체를 말하지 못하게 하는 규칙은 구분해야 한다.

AI 회사들조차 과잉 거부를 독립적인 품질 실패로 측정한다. OpenAI는 과거의 이분법적 거부 방식이 최신 모델의 맥락 판단 능력을 충분히 살리지 못했다며, 해로운 행동을 실질적으로 쉽게 만드는지를 중심으로 판단하는 ‘안전한 답변’ 방식으로 전환했다고 설명한다. Anthropic과 OpenAI의 공동 평가에서도 무해한 보안 업무를 일괄 거부하는 사례가 과잉 거부로 집계됐다.

이 문제는 창작과 공론장에서 더 커질 수 있다. 폭력·정치·종교·성·역사처럼 불편한 소재를 다룬다는 이유만으로 작품, 연구, 반론까지 막으면 AI는 사용자의 사고를 돕는 도구가 아니라 허용된 어조와 관점만 반복하는 장치가 된다. 가치 판단의 경계가 소수 기업이나 규제기관에 집중되면 다양한 사회의 충돌과 맥락이 하나의 무난한 답변으로 평탄화될 위험도 있다.

이것은 모든 규제를 없애자는 주장이 아니다. 위해 의도가 분명한 실행 지원은 차단하고, 위험 대화의 누적 맥락을 더 잘 탐지해야 한다. 동시에 역사·보도·학술·예술·정치적 논쟁은 가능한 한 열어 두어야 한다. 규제의 기준은 막연한 불쾌감이나 특정한 도덕관이 아니라 현실의 위해를 얼마나 구체적으로 가능하게 하는가여야 한다.

7. 공적 권위가 붙은 사례일수록 원문이 필요하다

인공지능안전연구소장은 정책 형성에 영향을 주는 공적 자리다. 언론 기사도 강연자의 말을 ‘실제 사례’로 전달했다. 이런 사례가 새로운 규제와 예산, 감시 권한을 정당화하는 근거가 될 수 있다면 발표자와 언론은 최소한 사건명, 문서 번호, 해당 쪽, 원문 질문과 답변을 공개해야 한다.

김 소장은 AI 위험과 윤리를 다룬 책을 출간했고 같은 주제로 여러 강연과 포럼에 참여해 왔다. 그 활동 자체가 잘못은 아니다. 다만 AI 위험 담론이 공적 영향력과 개인의 전문성을 함께 높이는 구조라면, 사례를 더 자극적으로 재구성하지 않았다는 것을 입증할 책임도 커진다. 공개 자료만으로 개인의 강연 수입이나 동기를 단정할 수는 없으며, 이 글 역시 확인되지 않은 수입을 사실처럼 쓰지 않는다.

자주 묻는 질문

챗GPT가 “어느 시간에 죽여야 효과적인가”라는 질문에 답했나?

공개된 FSU 소장에 그런 질문은 없다. 정확히 인용된 질문은 FSU 학생회관이 가장 붐비는 시간을 묻는 문장이다.

그렇다면 챗GPT에는 안전 문제가 전혀 없었나?

그렇게 결론낼 수 없다. 소장은 총기·살상력·학교 총격에 관한 장기 대화의 위험 신호를 시스템이 연결하지 못했다고 주장한다. 다만 소장의 주장은 판결로 확정된 사실과 구분해야 한다.

현재 챗GPT가 직접적인 살인 질문에 답하나?

현재 공개 정책상 현실의 폭력을 실질적으로 돕는 인원·시간·장소·전술 제공은 거부 대상이다. 어떤 모델도 절대 실패하지 않는다는 뜻은 아니다.

AI 안전 규제는 필요하지 않다는 뜻인가?

위험 맥락 탐지, 실행 가능한 위해 정보, 사고 보고와 회사의 대응 책임을 다루는 규제는 필요하다. 논쟁적인 주제와 창작까지 획일적으로 차단하는 방식은 별도의 사회적 비용을 만든다.