미국법에는 "합리성(reasonableness)"이라는 독특한 기준이 곳곳에 박혀 있다. 불법행위법의 "합리적 인간", 계약의 "합리적 기간", 형사절차의 "합리적 지연" — 정답 숫자가 정해져 있지 않고 상황에 따라 판단하는, 로스쿨 1L이 첫해 내내 씨름하는 개념이다. 듀크 로스쿨의 크리스토퍼 버커푸스코(Christopher Buccafusco) 교수가 듀크대 컴퓨터과학자 에밀리 웽거(Emily Wenger)·니라브 파텔(Nirav Patel)과 함께 바로 이 지점을 실험했다 — 사람 500명과 AI 모델 26개(ChatGPT·Claude·Gemini·Llama·Grok·DeepSeek 계열)에게 25가지 시나리오를 주고 "합리적인" 수치를 답하게 한 것이다. 논문은 연구 공유 플랫폼 arXiv에 공개돼 있다.

첫 번째 결과는 뜻밖의 유사성이다. 버커푸스코 교수는 "합리성은 고전적인 법 기준이고, 고정된 윤곽이 없다"면서도 "20개가 넘는 AI 모델에서 인간 참가자와 놀랍도록 비슷한 답을 봤다"고 말한다. 그는 이를 "챗봇이 열린 법적 쟁점을 평가해 그럴듯한 답을 내놓을 수 있다는 일부 증거"라고 조심스럽게 표현했다.

흥미로운 건 다른 점이다. 챗봇들은 인간보다 서로 더 비슷한 답을, 더 좁은 범위 안에서 내놨다. 집주인이 세입자 집에 들어가기 전 줘야 할 사전통지 시간을 묻자 거의 모든 챗봇이 "24시간"이라고 답했는데, 상황별 "기준(standard)"을 고정된 "규칙(rule)"처럼 취급한 결과로 읽히는 대목이다. 더 눈에 띄는 패턴은 답의 방향이다 — 챗봇은 인간 참가자보다 제도(정부·기업) 쪽 손을 들어주는 경향이 강했고, 정부 행위의 합리성을 묻는 시나리오에서 특히 두드러졌다. 정부가 이민자를 구금할 수 있는 합리적 일수에 대해 인간의 중앙값은 10일이었지만 챗봇의 중앙값은 90일이었고, 형사재판까지의 합리적 대기 기간은 인간 6주 vs 챗봇 12주, 기업이 퇴사자에게 걸 수 있는 경업금지 기간은 인간 6개월 vs 챗봇 12개월이었다.

연구진도 이걸 결론이 아니라 출발점으로 본다. 버커푸스코 교수는 "AI가 발전하고 변화함에 따라 그 행동을 추적해가는 연구 의제의 시작"이라고 말했다. 연구진은 더 많은 챗봇과 더 다양한 참가자 집단, 더 정교한 질문으로 이번에 관찰된 편향을 파고드는 후속 연구를 계획하고 있다.

한줄 결론

LSAT 공부든 로스쿨 과제든 AI를 옆에 두고 쓰는 게 기본값이 된 시대지만, 이 연구가 보여주는 건 AI의 답이 "인간의 중앙값"이 아니라 특정 방향으로 치우친 그럴듯함일 수 있다는 점이다. 합리성처럼 정답 없는 기준 문제일수록 AI의 답은 출발점으로만 쓰고 자기 논증을 세울 것 — 시카고대가 1L 교실에서 AI를 치우면서까지 지키려 한 게 바로 이 근력이다.

원문: https://law.duke.edu/news/how-well-do-chatbots-and-humans-agree-legal-reasonableness

#미국로스쿨 #로스쿨AI #리걸테크 #듀크로스쿨