KAIST는 전기및전자공학부 김용대 교수 연구팀이 국가보안기술연구소와 협력해, 한국어 AI 생성 댓글을 탐지하는 기술 ‘XDAC’를 세계 최초로 개발했다고 23일 밝혔다.

그동안 AI 생성글 탐지 기술은 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발돼 한국어의 짧은 댓글에는 적용이 어려웠다. 짧은 댓글은 통계적 특징이 불충분하고 이모지·비속어·반복 문자 등 비정형 구어 표현이 많아 기존 탐지 모델이 효과적으로 작동하지 않기 때문이다.

이에 연구팀은 14종의 다양한 LLM 활용, 자연스러움 강화, 세밀한 감정 제어, 참조자료를 통한 증강 생성의 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발, 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축하고 이 중 일부를 벤치마크 데이터셋으로 공개했다. 또 설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀 분석한 결과, AI 생성 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다.

예를 들어 AI는 “것 같다”, “에 대해” 등 형식적 표현과 높은 접속어 사용률을 보인 반면 사람은 반복 문자(ㅋㅋㅋㅋ), 감정 표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다. 특수문자 사용에서도 AI는 전 세계적으로 통용되는 표준화된 이모지를 주로 사용하는 반면, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(ㆍ, ♡, ★, • 등) 등 문화적 특수성이 담긴 다양한 문자를 활용했다. 특히 서식 문자(줄바꿈, 여러 칸 띄어쓰기 등) 사용에서 사람 작성 댓글의 26%는 이런 서식 문자를 포함했지만 AI 생성 댓글은 단 1%만 사용했다. 반복 문자(ㅋㅋ, ㅎㅎ 등) 사용 비율도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 훨씬 높았다. XDAC는 이러한 차이를 정교하게 반영해 탐지 성능을 높였다. 또 각 LLM의 고유 말투 특징을 파악해 어떤 AI 모델이 댓글을 생성했는지도 식별 가능하게 설계됐다.

이러한 최적화로 XDAC는 AI 생성 댓글 탐지에서 98.5% F1 점수(F1 score, 정밀도와 재현율의 조화평균)로 기존 연구 대비 68% 성능을 향상시켰으며 댓글 생성 LLM 식별에서도 84.3% F1 성능을 기록했다. 고우영 선임연구원은 “이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고 생성 모델까지 식별할 수 있는 세계 최초 기술”이라며 “AI 기반 여론 조작 대응의 기술적 기반을 마련한 데 큰 의의가 있다”고 강조했다.

이번 연구는 7월 27일부터 개최되는 인공지능 자연어처리 분야 최고 권위 학술대회 ‘ACL 2025’ 메인 콘퍼런스에 채택되며 기술력을 인정받았다.

김형중 기자 kimhj@ggilbo.com