AI로 쓴 서면에 존재하지 않는 판례가 들어가 변호사가 곤란을 겪었다는 뉴스는 이제 낯설지 않다. 보스턴대(BU) 로스쿨은 학생들이 AI 결과물을 검증하는 습관을 기르도록 지난 8월 법률 AI 기업 클리어브리프(Clearbrief)와의 협력을 발표했다. 클리어브리프 측 발표에 따르면 이 도구는 BU 로스쿨의 전체 학생과 교수, 클리닉에 도입된다.
클리어브리프는 마이크로소프트 워드(Word) 안에서 작동하며, 서면에 적은 인용을 1차 법률 자료와 실시간으로 대조한다. 학교가 꼽은 잡아낼 문제는 세 가지다. 존재하지 않는 가짜 인용, 실제로 있는 판례지만 내 주장을 제대로 뒷받침하지 못하는 인용, 그리고 AI 결과물의 편향(output bias)이다. 인용 형식을 자동으로 만들어 주는 기능도 있어, 학생들이 수작업 인용 정리에 쓰던 시간을 서면의 내용에 쓸 수 있다는 설명이다. 회사 측은 이 검증 엔진이 새 글을 만들어 내는 생성형이 아니라고 강조한다.
학교의 문제의식은 분명하다. 스티븐 마크스(Stephen Marks) 부학장은 "학생들은 AI 도구를 들고 시장에 나가야 하고, 로펌들이 그것을 요구한다"며 "AI 도구를 배운다는 것은 잘못될 수 있는 모든 것을 아는 것"이라고 말했다. BU 로스쿨 졸업생이기도 한 재클린 셰이퍼(Jacqueline Schafer) 클리어브리프 대표는 "학생들이 처음부터 AI 결과물은 검증이 필요하다는 걸 배우면 그 습관이 실무까지 이어진다"고 했다.
이런 검증이 왜 필요한지는 연구에서도 확인된다. 2024년 스탠퍼드대 연구진이 법률 특화 AI 도구들을 200개 넘는 법률 질문으로 시험했더니, 도구에 따라 6건 중 1건 이상에서 틀린 답을 내거나 주장을 뒷받침하지 않는 출처를 인용했다. 동료 심사 전 논문이고 이후 도구들이 업데이트됐을 수 있지만, 법률 전용 AI도 결과를 그대로 믿어서는 안 된다는 점을 보여 준다. 지난번에 소개한 펜실베이니아 로스쿨의 와그너 교수가 AI는 "스스로 법을 찾아내는 데는 신뢰하기 어렵다"고 한 것과 같은 맥락이다.
한줄 결론
로스쿨의 AI 교육은 "AI를 쓸 줄 안다"에서 "AI 결과물을 검증할 줄 안다"로 옮겨 가고 있다 — 학교를 비교할 때 어떤 AI 도구를 주는지뿐 아니라, 인용과 근거를 확인하는 훈련까지 하는지 살펴보자.
원문: https://www.einpresswire.com/article/930335428
원문: https://hai.stanford.edu/news/ai-trial-legal-models-hallucinate-1-out-6-or-more-benchmarking-queries
#미국로스쿨 #보스턴대로스쿨 #로스쿨AI #리걸테크