정답률 74%, ‘AI 법률비서’ 변호사시험 합격점

비영어권 AI 서비스 중 최초 합격 사례오픈AI GPT-4.5 49% 대비 성등 앞서

[사례뉴스=김주연 인턴기자] 종합 리걸테크 기업 로앤컴퍼니(대표 김본환)가 자체 개발한 AI 법률 비서 ‘슈퍼로이어’가 제14회 대한민국 변호사시험 선택형 시험에서 74%의 정답률을 기록하며 합격점을 받았다. 비영어권에서 해당 국가 언어로 AI 서비스를 활용해 변호사시험 객관식 전체 영역을 풀어 합격권에 든 것은 슈퍼로이어가 최초다.

로앤컴퍼니 슈퍼로이어 설명하는 모습 [출처:로앤컴퍼니]

로앤컴퍼니에 따르면 슈퍼로이어의 74% 정답률 달성은 국내 법률 AI 기술 발전에 있어 획기적인 이정표로 평가된다. 종전 최고 성적은 로앤컴퍼니가 지난 2023년 기록했던 정답률 53.3%였다.

이번 성과는 오픈AI의 GPT-4.5와 앤트로픽의 클로드 3.7 소넷 등 글로벌 빅테크 최신 AI 모델들의 정확도와 비교해도 월등히 앞서는 수준이다. 해당 모델에 동일한 시험 문제를 입력해 평가한 결과, GPT-4.5는 정답률 49.3%, 앤트로픽의 최신형 모델 클로드 3.7 소넷 은 45.3%를 기록해 합격선에 도달하지 못했다.

이는 슈퍼로이어가 복잡한 법률 지식을 이해하고 실제 시험 수준의 문제를 해결하는 데 있어 세계적인 경쟁력을 갖추었음을 의미한다는 게 회사 측 설명이다.

슈퍼로이어는 지난해 7월 법률가 대상으로 출시한 생성형 AI 기반 법률 비서 서비스로, 상용 거대언어모델(LLM)을 이용해 구현됐고, 로앤컴퍼니가 자체 설계한 혁신 아키텍처를 활용하고 있다. 로앤컴퍼니는 슈퍼로이어의 높은 성능의 배경으로 양질의 법률 데이터와 최신의 AI 에이전트 기술, 어드밴스드 검색증강생성(Advanced RAG) 방식을 적용해 정교하게 설계한 데이터 활용 기술을 꼽았다.

슈퍼로이어는 로앤컴퍼니가 보유한 495만 건의 판례 데이터 포함해 ▷법령 ▷결정례 ▷행정심판례 ▷행정규칙 ▷유권해석 등 방대한 법률 데이터를 답변에 활용하고 있다. 최근에는 리걸테크 업계 최초이자 유일하게 국내 1위 법률서적 출판사 박영사의 600여 권에 달하는 법률서적을 슈퍼로이어 답변에 독점 활용하면서 답변의 정확도를 향상시켰다.

슈퍼로이어 개발을 총괄한 로앤컴퍼니 안기순 법률AI연구소장(변호사·사법연수원 27기)은 “앞으로 슈퍼로이어는 답변 성능 고도화, 할루시네이션 최소화를 위한 노력을 지속하며 법률 업무 효율성 제고에 기여할 수 있는 서비스로 발전해나갈 계획”이라며 “특히 복잡한 법률 업무를 높은 수준으로 처리할 수 있도록 워크 플로우를 고려해 추론 모델을 결합한 고도화된 에이전트 개발에 집중해 업무 통합 및 사용자 편의성 개선을 이뤄나갈 것”이라고 밝혔다.