“이건 AI가 쓴 댓글입니다”...KAIST, 한국어 AI 생성 댓글 탐지 기술 개발

짧은 한국어 댓글도 98.5% 정확도로 탐지
챗GPT·제미니 등 생성 모델 식별 가능
여론 조작 방지 위한 기술적 기반 마련

 

[사례뉴스=김주연 인턴기자] KAIST는 김용대 전기및전자공학부 교수 연구팀과 국가보안기술연구소가 협력해 한국어 AI 생성 댓글을 탐지 기술 ‘XDAC’를 개발했다고 23일 밝혔다.

(왼쪽부터) 전기및전자공학부 김용대 교수, 성균관대 김형식 교수, 우리 대학 전산학부 오혜연 교수, 국가보안기술연구소 고우영 선임연구원[출처: KAIST]

XDAC는 댓글의 AI 생성 여부뿐 아니라 챗GPT, 구글 제미니 등 어떤 종류의 거대언어모델(LLM)이 댓글을 만들어냈는지도 식별할 수 있는 것으로 알려졌다.

기존 AI 생성글 탐지 기술은 영어로 된 장문의 기사나 에세이를 기반으로 개발돼 짧은 한국어 댓글에는 적용하기 어려웠다. 특히 통상 50자 이내로 작성되는 뉴스 댓글의 경우 통계적 특징이 충분하지 않고 이모지나 비속어, 반복 문자 등 비정형 구어 표현이 많아 탐지 모델이 제대로 작동하지 못했다.

AI 댓글 생성 프레임워크 구성[출처: KAIST]

이에 연구팀은 AI 댓글 생성 틀을 직접 개발해 한국인의 말투와 유사한 AI 댓글 데이터를 구축했다. 여기에 설명 가능한 AI(XAI) 기법으로 언어 표현을 정밀 분석한 결과 AI가 만든 댓글에는 사람과 구별되는 고유한 말투가 있다는 점을 파악했다. 가장 극명한 차이가 드러난 지점은 서식 문자였다. 사람이 작성한 댓글의 26%는 줄을 바꾸거나 여러 칸을 띄어 쓰는 등 서식 문자를 포함했지만, AI가 생성한 댓글은 단 1%만 서식 문자를 사용했다.

AI는 전 세계적으로 통용되는 표준 이모지를 주로 사용한 반면 사람의 경우 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(·, ♡, ★ 등)와 같은 다양한 문자를 썼다. 또 AI 댓글은 “~것 같다”, “~에 대해”처럼 형식적 표현과 접속어를 많이 사용했지만, 사람은 “ㅋㅋㅋㅋㅋ” “....” 등 반복 문자와 구어체 표현, 유행어를 즐겨 쓰는 것으로 나타났다.

XDAC 데모. 탐지 및 식별 시연 예시[출처: KAIST]

XDAC는 98.5%의 AI 생성 댓글 탐지 성공률(F1 기준)을 보이며 기존 연구 대비 성능을 68% 향상시켰다. 댓글을 생성한 LLM 식별에서도 84.3% 성공률을 기록했다고 연구팀은 전했다. 연구팀은 XDAC 기술이 단순 탐지를 넘어 음주운전 단속이나 CCTV 같은 심리적 억제 장치로도 작용할 수 있다고 설명했다.

고우영 선임연구원은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델까지 식별할 수 있는 세계 최초 기술"이라며 "AI 기반 여론 조작 대응의 기술적 기반을 마련한 데 큰 의의가 있다"고 강조했다.