공인노무사 2차 시험을 준비하는 수험생들에게는 반복되는 고민이 있다. 분명 법리를 이해하고도 막상 답안을 쓰면 논점의 순서가 흔들리고, 판례와 사안을 연결하는 과정에서 막힌다. 답안을 반복해서 쓰고 첨삭받아야 하지만, 강사의 피드백은 시간과 비용, 횟수에 한계가 있었다. 에스티유니타스는 수험생들이 ‘아는 것’을 ‘써내는 것’으로 옮기는 과정에서 겪는 어려움에 주목했다.

“쓰고 싶을 때 바로 피드백을 받을 수는 없을까.” 

이 질문은 공인노무사 2차 시험에 특화된 AI 첨삭 시스템 개발로 이어졌다. 비교적 명확한 서술 구조를 지닌 법학 답안에 AI의 구조 분석 능력을 접목하고, 노동법 전공 박사와 변호사, 현직 공인노무사 등 강사진이 축적해 온 평가 기준을 체계화했다. 기출문제와 검증된 답안을 토대로 기준을 다듬고, AI의 피드백이 전문가의 판단과 일치하는지도 반복해서 확인했다.

그렇게 완성된 시스템은 정답을 대신 써주거나 점수만 매기는 도구와는 거리가 있다. 쟁점과 법리, 판례 적용, 논리 흐름을 짚어 수험생이 직접 답안을 고쳐 쓰도록 돕는 ‘학습형 피드백’을 지향한다. 박종우 에스티유니타스 서비스기획본부 팀장으로부터 수험 현장의 오랜 고민이 어떻게 AI 첨삭 시스템과 특허 출원으로 이어졌는지, 그 개발 과정과 가능성에 대해 자세히 들어봤다.

― 공인노무사 2차 시험과 같은 전문 서술형 시험은 객관식 시험과 결이 많이 다르다고 알려져 있는데요. 두 시험의 가장 큰 차이는 무엇이라고 보나요.

공인노무사 2차 시험과 같은 전문 서술형 시험은 주어진 사안을 해석하고 논리적으로 풀어내는 시험에 가깝습니다. 객관식이 정답을 빠르고 정확하게 찾는 시험이라면, 서술형은 쟁점을 구조화하고 법리를 적용해 설득력 있게 답안을 전개하는 과정이 중요하죠.

특히 2차 시험은 같은 결론이라도 논리 전개 방식에 따라 답안의 완성도가 달라질 수 있습니다. 따라서 단순 암기보다는 실제 답안을 반복적으로 작성하며 사고 과정과 표현 방식을 점검하는 훈련이 중요합니다.

― 답안을 논리적으로 풀어내는 과정이 중요하다면, 수험생들이 실제 답안을 작성할 때 가장 많이 부딪히는 어려움은 무엇인가요.

제한된 시간 안에서 쟁점을 선별하고, 논리적으로 서술해야 한다는 점에서 체감 난도가 높습니다. 특히 답안을 작성할 때 어떤 논점을 먼저 배치해야 하는지, 법리를 어느 수준까지 설명해야 하는지, 또 사례와 어떻게 연결해야 하는지에서 막히는 경우가 많죠. 충분히 이해했다고 생각해도 실제 답안에서는 구조가 흔들리거나 논리가 단절되는 경우도 자주 발생합니다.

이처럼 서술형은 ‘아는 것’과 ‘써내는 것’의 간극을 줄이는 과정이 중요한 시험이라고 생각합니다. 그래서 반복적으로 답안을 작성하고, 답안을 점검받는 연습이 매우 중요하죠.

― 결국 답안을 반복해서 쓰고 점검받는 과정이 중요하다는 말이군요. 그동안 강사가 직접 제공하는 인적 첨삭만으로는 채우기 어려웠던 부분도 있었을 것 같습니다.

강사 첨삭은 풍부한 경험을 바탕으로 답안을 입체적으로 분석하고, 채점자에게 설득력 있게 읽히지 않는 이유까지 짚어줄 수 있습니다. 다만, 첨삭자에 따라 피드백이 달라질 수 있고, 시간과 횟수에도 제약이 있습니다. 비용 부담으로 수험생이 원하는 만큼 첨삭 받기 어렵다는 한계도 무시할 수 없고요. 쓰고 싶을 때 바로 피드백을 받을 수 있는 환경이 절실하지만, 인적 첨삭만으로는 그 수요를 온전히 채우기가 어려운 거죠. 그래서 AI 첨삭 시스템을 개발하게 됐습니다.

― 여러 수험 영역 가운데 공인노무사 2차 시험을 첫 적용 분야로 선택한 이유는 무엇인가요.

우선 시험 구조가 AI 분석에 적합합니다. 공인노무사 2차 시험은 노동법·행정쟁송법·민사소송법 등 법 과목을 중심으로 구성됐고, 각 과목의 답안이 논점 식별 → 법리 전개 → 결론 도출이라는 일정한 서술 패턴을 따릅니다. 이처럼 답안의 구조와 쟁점이 비교적 명확하게 정형화되어 있다는 점은 대규모 언어 모델(LLM)이 가진 텍스트 구조 분석과 논리 흐름 평가 능력을 효과적으로 활용할 수 있는 조건이었어요. 

수험생은 늘고 있지만 서술형 답안에 대한 충분한 피드백을 받기 어렵다는 문제도 뚜렷합니다. 이에 강사진이 실제 첨삭에 적용해 온 평가 기준을 체계화해 AI 모델에 반영했습니다. 단순 자동 채점을 넘어 강사의 시각에 가까운 학습형 피드백을 제공할 수 있다고 판단했기 때문입니다.

― 특히 이번 시스템은 단순한 ‘채점’이 아니라 ‘학습형 피드백’에 초점을 맞췄다고 들었습니다.

점수를 매기는 것보다 답안에서 부족한 부분과 보완할 점을 구체적으로 짚어 주는 데 집중했어요. 쟁점 간 연결이 자연스러운지, 특정 설명이 지나치게 길지는 않은지, 사안 적용이 충분한지 등을 분석해 수험생이 다음 답안에서 바로 수정·보완할 수 있도록 하는 것이 실제 학습에 더 중요하다고 봤습니다.

― 그렇다면 AI는 답안에서 쟁점 누락이나 법리 설명, 논리 흐름, 사안 적용 등을 실제로 어떻게 구분하고 분석하나요.

단순한 유사도 비교가 아니라, 법학 답안의 기본 원칙인 IRAC 구조를 반영한 평가 프레임을 설계했습니다. 모범답안을 ‘논점→법리→포섭→결론’에 따라 분석하고, 수험생 답안에서 쟁점 도출과 법조문 인용, 판례와 사안의 연결, 결론까지의 논리 흐름이 적절한지를 평가합니다.

모범답안과의 유사도는 참고 지표로만 활용합니다. 핵심 키워드가 단순히 포함됐는지가 아니라, 문맥에 맞게 사용되고 앞뒤 논리와 타당하게 연결되는지를 함께 살펴봅니다. 저희가 판단하려는 것은 ‘잘 쓴 글인가’가 아니라 ‘법률 사례형 답안으로서 완결성을 갖췄는가’입니다. 

― 모범답안과 평가 기준의 품질이 시스템 전체의 신뢰도를 좌우할 것 같습니다. 

이 부분이 시스템 개발 과정에서 가장 많은 고민이 필요했던 지점입니다. 단일 모범답안을 정답으로 삼기보다 다양한 전문가의 관점을 반영하는 방향을 택했어요. 노동법 전공 박사, 변호사, 현직 공인노무사 등 전문 강사진이 오랜 시간 축적해온 출제 경향 분석과 답안 작성 노하우를 시스템에 반영했습니다.

또 기출문제와 실제 수험 현장에서 검증된 답안을 바탕으로 평가 기준을 구성했어요. 시스템이 제시한 피드백이 전문가 판단과 일치하는지를 반복적으로 검증하며 신뢰도를 확보했습니다.

― 아무리 정교한 시스템이라도 판단하기 까다로운 답안은 있을 것 같습니다. 모범답안에 없는 새로운 논거를 제시하거나, 결론은 맞지만 전개 방식이 정형에서 벗어난 답안은 어떻게 평가하나요.

이 부분은 AI 첨삭의 현실적인 한계이자, 설계 과정에서 특히 신경 쓴 지점입니다. 전개 방식이 정형과 다르더라도 논점부터 결론까지의 논리적 경로가 타당하다면 인정합니다. 다만 IRAC 구조를 참고 기준으로 제시해 어느 단계에서 흐름이 어긋났는지 점검할 수 있도록 안내합니다.

모범답안에 없는 새로운 논거는 인용 판례가 해당 쟁점에 적용 가능한지, 포섭과 결론이 논리적으로 연결되는지를 평가합니다. 두 기준이 모두 타당하면 유효한 답안으로 인정하되, 모범답안의 핵심 논점이나 법리 중 빠진 내용은 ‘검토가 필요한 부분’으로 별도 표기합니다.

AI가 논리 흐름과 판례의 적용 가능성을 1차로 검토하고, 그 범위를 넘어서는 판단은 전문가가 맡습니다. 이러한 역할 구분이 시스템의 신뢰도를 높이는 설계라고 보고 있습니다.

― 요즘은 챗GPT 같은 생성형 AI를 첨삭에 활용하는 경우도 흔해졌습니다. 이번에 특허를 출원한 시스템은 이러한 일반적인 AI 활용과 어떤 점에서 차이가 있나요.

챗GPT에 답안을 입력하고 ‘피드백해 달라’고 요청하는 것과 저희 시스템은 근본적으로 다릅니다. 일반 생성형 AI가 문장과 논리 전개를 살피는 범용 도구라면, 저희 시스템은 공인노무사 2차 시험의 쟁점 누락과 판례 적용, 법리 전개가 채점 기준에 부합하는지를 분석합니다.

먼저 모범답안에서 과목별 핵심 키워드와 쟁점을 추출해 수험생 답안에 반영됐는지 확인합니다. 이어 IRAC 구조에 따라 논리 흐름을 분석하고, 인용된 판례가 해당 쟁점과 법리에 적절한지도 별도로 검증합니다.

이 과정에는 과목별 출제 경향과 쟁점 분류 체계, 법리 전개 구조에 대한 전문적 이해가 반영돼 있습니다. 이러한 구조화된 분석 방식이 일반적인 AI 활용과 구분되는 지점이자 이번 특허 출원의 의미입니다.

― 앞서 AI의 판단 범위를 넘어서는 부분은 전문가가 맡는다고 했습니다. 그렇다면 AI 첨삭과 강사 첨삭은 각각 어떤 역할을 해야 할까요.

두 첨삭의 역할은 분명히 다릅니다. AI 첨삭의 강점은 반복과 즉시성입니다. 답안을 작성할 때마다 바로 피드백을 받을 수 있어 학습 사이클을 꾸준히 이어갈 수 있습니다. 반면 강사 첨삭은 깊이와 맥락에 강합니다. 수험생이 질문의 의도와 핵심 논점을 정확히 파악했는지 살피고, 답안의 구조를 넘어 사고방식까지 짚어냅니다.

저희 시스템은 AI가 구조와 논리 흐름, 판례 적용을 중심으로 1차 피드백을 생성하면 강사가 이를 검토·보완하는 방식입니다. AI가 반복 학습의 기반을 만들고, 강사가 심화 피드백을 더하는 선순환이야말로 저희가 지향하는 방향입니다.

― AI 첨삭이 보편화되면 수험생이 피드백에 지나치게 의존하거나 모범답안을 그대로 따라 쓰게 될 수 있다는 우려도 있습니다. 

저희도 진지하게 고민하는 부분입니다. 모범답안은 완벽한 정답이 아니라 구조와 논리 흐름, 핵심 키워드를 검증하는 기준으로 활용합니다. 피드백도 완성된 답안을 제공하기보다 부족한 요소와 보완 방향을 짚어 수험생이 스스로 고쳐 쓸 수 있도록 구성했습니다.

피드백의 출발점은 발문 이해입니다. 구조가 정확하고 판례 인용이 적절하더라도 문제의 의도를 잘못 파악했다면, 답안의 방향부터 바로잡도록 안내합니다.

AI 의존은 도구 자체보다 활용 방식의 문제라고 봅니다. 저희는 피드백을 받은 뒤 수험생이 직접 답안을 수정하고 다시 작성하는 과정을 학습의 핵심으로 두고 있습니다. AI가 대신 써주는 것이 아니라, 수험생이 더 잘 쓸 수 있도록 방향을 제시하는 것이 원칙입니다.