KAIST 전기및전자공학부 황의종 교수 연구팀이 30일 학습 상황과 달라진 새로운 분포의 테스트 데이터에 대해서도 편향되지 않은 판단을 내리도록 돕는 새로운 모델 훈련 기술을 개발했다.

앞서 연구자들이 인공지능 모델을 훈련시킬 때 사용되는 데이터와 실제 테스트 상황에서의 데이터가 같은 분포를 갖는다는 가정이 대체로 성립하지 않을 뿐만 아니라 최근 다양한 어플리케이션에서 학습 데이터와 테스트 데이터 내의 편향 패턴이 크게 변화될 수 있음이 관측되고 있다.

연구팀은 이를 해결하기 위해 먼저 `상관관계 변화(correlation shifts)' 개념을 도입해 기존의 공정성을 위한 학습 알고리즘들이 가지는 정확성과 공정성 성능에 대한 근본적인 한계를 이론적으로 분석했다. 예를 들어 특정 인종만 주로 채용한 과거 데이터의 경우 인종과 채용의 상관관계가 강해서 아무리 공정한 모델을 학습을 시켜도 현재의 약한 상관관계를 반영하는 정확하면서도 공정한 채용 예측을 하기가 어렵다는 얘기다.

연구팀은 이러한 이론적인 분석을 바탕으로, 새로운 학습 데이터 샘플링 기법을 제안해 테스트 시에 데이터의 편향 패턴이 변화해도 모델을 공정하게 학습할 수 있도록 하는 새로운 학습 프레임워크를 제안했다. 이는 과거 데이터에서 우세했던 특정 인종 데이터를 상대적으로 줄임으로써 채용과의 상관관계를 낮출 수 있는 것으로 풀이된다.

황 교수는 “기존 인공지능이 변화하는 데이터에 대해서도 공정성이 저하되지 않도록 하는 데 도움이 되기를 기대한다”고 말했다.

이재영 기자 now@ggilbo.com