10 minute read

🇺🇸 Read this post in English

안녕하세요. 바이오인포매틱스 연구자 김가경입니다.

AI 논문 검토기를 4주 동안 측정한 결과를 10월 29일 가짜연구소 빌런나이트에서 발표했습니다. 무엇을 맞힌 것으로 치느냐에 따라 같은 탐지 결과의 정밀도가 21.1%에서 100%까지 갈렸습니다. 클라우드가 기본으로 주는 근거 확인 기능은 같은 참인 문장에 0.97과 0.07을 주었습니다.

같은 날 발표 4건을 들었습니다. 주제는 논문 검증 벤치마크, 3D 에셋 품질 판정, 에이전트의 기억과 절차, 서비스 실험 플랫폼으로 제각각이었습니다. 저는 발표마다 결과를 판단할 비교 대상을 어디에 두었는지에 귀를 기울이며 들었습니다. 이 글은 발표자이면서 청중이었던 1시간 39분을 그 질문으로 묶어 정리한 것입니다.

빌런나이트 2026 발표 표지 슬라이드. 논문에 결함을 심는 빌런과 그 오류를 추격하는 사냥꾼이라는 제목 아래 Falsify 프로젝트 이름이 적혀 있다

AI에게 논문 검토를 맡길 때 남는 질문

발표는 요즘 다들 하는 일에서 시작했습니다. 논문 초고를 AI에게 주고 검토를 받는 일이 흔해졌는데, 그 검토기가 제대로 보고 있는지는 어떻게 아느냐는 질문이 남습니다. 틀린 곳을 지적하지 못해도 사람은 알아채기 어렵고 없는 문제를 지적해도 마찬가지입니다.

측정하려면 답을 아는 문제가 있어야 합니다. 그래서 공개 논문(CC BY)에 결함을 일부러 심고 다른 세션에서 맹검으로 찾게 했습니다. 심는 쪽을 Red, 찾는 쪽을 Blue라 부르고 다음 회차에는 역할을 바꿉니다.

Red와 Blue의 교대를 보여 주는 슬라이드. 원본 논문에서 Red가 결함을 심고 Blue가 맹검으로 찾은 뒤 정답표와 대조해 채점하며, 다음 라운드에는 역할을 바꾼다. 아래에는 심은 결함 유형 네 가지로 숫자 불일치, 없는 인용, 근거보다 센 결론, 결과 지위 오표기가 적혀 있다

그림 1. Red와 Blue의 교대와 심은 결함 유형. 본문과 그림 설명의 값이 다른 숫자 불일치, 가리킨 그림 패널이나 문헌이 없는 인용, 두 계통만 보고 모든 계통이라고 적은 결론, 나중에 뺀 표본을 처음부터 뺀 것처럼 적은 결과 지위 오표기를 심었습니다.

설계에서 한 가지가 중요했습니다. 찾는 쪽에 원본을 주지 않습니다. 처음 시연할 때 원본과 변조본을 같이 줬더니 도구가 두 파일을 비교해 바뀐 데부터 찾았습니다. 성적은 좋았지만 탐지가 아니라 답 맞히기였습니다. 지금은 변조본 하나만 주고 몇 개를 심었는지도 알려 주지 않으며 채점하는 세션도 찾는 세션과 분리합니다.

정의에 따라 다섯 배 달라지는 정밀도

1회차에서 결함 8개를 심었고 찾는 쪽이 8개를 모두 찾았습니다. 그런데 찾았다고 적어 낸 것은 38건이었습니다. 분류해 보니 심은 결함 8건에, 저희가 심지 않았는데 원본 논문에 원래 있던 어긋남 19건, 결론이 근거보다 세다는 판단 11건, 근거가 틀린 지적 0건으로 나뉘었습니다.

왼쪽 패널은 같은 탐지 결과의 정밀도가 무엇을 맞힌 것으로 치느냐에 따라 1회차 21.1%, 42.1%, 100%와 2회차 23.8%, 83.3%, 100%로 갈린 것을 보여 주는 막대그림. 오른쪽 패널은 근거 확인 기능이 논문에 있는 참인 문장에 원문 안일 때 0.97, 원문 밖일 때 0.07을 주고 심은 거짓 문장에는 0.99를 준 것을 보여 주는 막대그림

그림 2. 정의와 원문 포함 여부에 따라 갈린 측정값. (a) 1회차는 결함 8개를 심어 8개를 모두 찾았는데 찾았다고 적어 낸 것이 38건이라, 무엇을 맞힌 것으로 치느냐에 따라 정밀도가 세 값으로 갈립니다. (b) 같은 참인 문장인데 근거로 준 원문 안에 들어 있으면 0.97, 밖에 있으면 0.07이었습니다. 저희가 심은 거짓 문장은 원문 안에 있을 때 0.99였습니다.

무엇을 참으로 보느냐에 따라 정밀도가 21.1%(8/38), 42.1%(8/19), 100%(8/8)로 다섯 배 가까이 벌어졌습니다. 2회차도 23.8%, 83.3%, 100%로 같은 순서를 밟았습니다. 원본에 어긋남이 있는 논문으로 벤치마크를 만들면, 탐지기가 일을 잘할수록 정밀도가 내려갑니다. 정답지에 없는 지적을 모두 오탐으로 세기 때문입니다. 원본 품질을 먼저 재지 않으면 정밀도라는 숫자가 뜻을 잃습니다.

탐지기 네 가지를 같은 논문에 걸기

결함을 심은 같은 논문 하나에 탐지기 네 가지를 차례로 걸었습니다. 클라우드가 기본으로 주는 근거 확인 기능, 클라우드에서 부른 모델, 지시문과 루브릭을 준 범용 에이전트, 팀에서 만든 전용 도구입니다.

탐지기 네 가지를 비교한 슬라이드. 1단 클라우드 기본 근거 확인은 없는 인용만 잡고, 2단 클라우드 모델은 같은 답을 안 내며, 3단 지시문과 루브릭을 준 범용 에이전트는 심은 8건을 전부 탐지했고, 4단 팀에서 만든 전용 도구는 탐지 기능이 개발 중이다. 앞의 둘은 AWS에서, 뒤의 둘은 각자 노트북에서 돌렸다

그림 3. 같은 논문에 차례로 걸어 본 탐지기 네 가지. 범용 탐지기 둘은 클라우드에서 돌렸고 직접 만든 둘은 각자 노트북에서 돌렸습니다.

클라우드가 기본으로 제공하는 근거 확인 기능부터 보겠습니다. 이 기능은 근거가 될 원문과 검사할 문장을 함께 주면 점수를 0에서 1 사이로 돌려줍니다. 처음 돌렸을 때 심은 문장 24건이 모두 0점으로 나와서 다 잡았다고 적을 뻔했습니다. 모든 문장에 0점을 주는 장치도 24건을 똑같이 걸러 냅니다. 그래서 걸리면 안 되는 문장, 곧 논문에 실제로 있는 참인 문장을 넣어 보았더니 그것도 0점이었습니다.

조건을 바꿔 다시 측정하니 같은 참인 문장이 원문 안에 있을 때는 0.97, 밖에 있을 때는 0.07이었습니다. 저희가 심은 거짓 문장은 원문 안에 있을 때 0.99였습니다. 이 점수는 문장의 참거짓을 보지 않고 원문에 그 말이 있는지만 봅니다. 쓸 데가 없다는 뜻은 아닙니다. 인용한 문헌이 실제로 논문에 있는지는 45건을 모두 맞게 가려냈고 숫자만 바꾼 문장은 20건 가운데 6건만 걸렸습니다. 없는 인용을 찾는 데는 쓸 수 있고 모순과 숫자에는 맞지 않습니다.

이 차이를 확인하려고 참인 문장을 대조군에 더해 같은 검사를 돌렸더니 호출 수가 심은 문장 24건만 검사했을 때의 2배로 늘었습니다. 위 결론은 모두 그 대조에서 나왔습니다.

같은 입력에 같은 답이 나오지 않습니다

모델을 불러 검토를 맡기는 쪽도 흔들렸습니다. 같은 입력과 같은 설정으로 두 번씩 독립 실행했을 때 세 대상 가운데 두 번의 판정이 일치한 것은 하나뿐이었고 모델 등급을 가벼운 것에서 큰 것까지 바꿔 봐도 세 등급 모두 일치하는 쌍이 없었습니다. 한 모델로 10번 반복했을 때는 10번의 판정이 서로 달랐습니다.

사람이 돌릴 때도 마찬가지였습니다. 참가자들이 같은 변조본을 각자 검토했을 때 지적 건수는 11건에서 38건까지 벌어졌습니다. 짧은 프롬프트로 검색을 막고 배경 지식만으로 찾게 한 경우가 11건, 추론 수준을 높인 경우가 32건이었습니다. 같은 논문과 같은 결함인데 사람과 프롬프트에 따라 세 배 넘게 차이가 났습니다. 검수를 모델에 맡기는 설계는 저희도 쓰는데, 그 검수자가 같은 답을 내는지는 따로 측정해야 한다는 것을 이번에 배웠습니다.

수작업을 한 화면으로 옮긴 Paper Workbench

제 발표에 이어 참가자 한신익 님이 직접 만든 Paper Workbench를 시연했습니다. 결함을 심을 후보를 제안하고, 고른 변경으로 수정본 PDF를 만들고, AI의 원래 답변과 사람의 검수 의견을 함께 남깁니다. 실험마다 따라붙던 결함 삽입과 PDF 반영과 기록 작성을 한 화면으로 옮긴 도구입니다.

시연에서 가장 와닿은 장면은 초록과 본문의 수치를 나란히 놓고 대조하는 화면이었습니다. 어떤 문장을 어떻게 바꿀지 고르면 그 선택이 수정본 PDF에 그대로 반영되고 무엇을 왜 고쳤는지가 기록으로 남습니다. 저희가 4주 동안 손으로 하던 일이라 어디가 번거로운지 알고 만들었다는 것이 화면에서 바로 보였습니다. 평소 쓰던 AI 도구를 바꿀 필요도 없고 받은 답을 Workbench로 가져오면 됩니다.

바쁜 일정을 쪼개 발표를 준비해 오셨고 시연까지 맡아 주셔서 고맙습니다. 스터디에서 나온 것이 측정만은 아니었다는 것을 이 도구가 보여 주었습니다.

제 발표는 13분 26초였고 시연까지 더해 전체 27분이었습니다. 막힌 곳과 다음 계획과 정리를 담은 슬라이드 4장은 시간이 모자라 넘겼고 그 내용은 가짜연구소 블로그에 따로 정리했습니다. 정답지가 틀렸던 일, 심는 쪽과 찾는 쪽이 같은 계열 도구라 독립이 아니라는 문제, 4주 동안 배운 것이 거기에 있습니다.

게으른 사람을 움직이는 세 가지와 3D 에셋 도감

주영님은 프로젝트 소개에 앞서 게으름 체크리스트를 꺼냈습니다. 미뤄 둔 공부, 나중에 보기로 저장만 하고 안 본 자료, 끝까지 읽지 않은 추천 도서, 기억나지 않는 올해 계획을 읽고 네 개 이상 해당되면 손을 들어 달라고 했는데 참석자 대부분이 손을 들었습니다. 하고 싶은 것은 많은데 실행으로 옮기지 않는 사람을 게으르다고 정의한 것입니다.

그런 사람도 무엇이 있으면 움직이는지가 이 발표의 핵심이었습니다. 창업팀 대표로 일하며 팀원마다 동기가 다르다는 것을 겪었고 본인은 몰아붙일 때보다 재미와 사람과 책임이 있을 때 성과가 남았다고 했습니다. 문제를 풀고 배우는 재미, 함께하는 멤버, 리더로서의 책임 셋입니다. 그 교집합이 가짜연구소였고 올해 7월에 처음 알고 이전 참여 없이 바로 빌더를 신청했습니다.

프로젝트는 시뮬레이션에서 실패하는 3D 에셋을 모아 도감으로 만드는 일입니다. 정지한 상태에서 떨리는 메시, 낙하할 때 어긋나는 메시, 접촉할 때 다른 물체를 파고드는 메시를 모읍니다. 관절이 있거나 말랑한 물체에서 실패가 더 잦다는 설명이 붙었습니다. 목표는 시뮬레이션을 실행하기 전에 사람이 눈으로 보고 정상 동작할 메시인지 판정하게 만드는 것입니다.

계기 설명에 공감했습니다. 피지컬 AI 분야에서는 3D 디자이너가 에셋을 만들고 시뮬레이션 엔지니어가 테스트해 피드백을 주는 루프가 길고 발견하는 사람과 고치는 사람이 달라 문제가 뒤늦게 드러납니다. 시뮬레이션 전에 문제가 있는 메시를 걸러 내면 디자이너가 엔지니어의 테스트 결과를 기다리는 시간이 줄어듭니다. 다음 주부터 평가용 에셋 50개를 고르고 하네스 제작에 들어간다는 일정을 밝혔습니다.

팀 운영 이야기도 들었습니다. 첫날 OT를 오프라인으로 열어 2인 1조로 서로를 인터뷰하고 상대를 소개하게 했습니다. 외부 행사에서 만난 현업 리더는 2주차 강연자로 초청했고 팀원에게는 역할을 일찍 맡겨 작은 책임을 주었습니다.

에이전트의 기억과 절차, 그리고 NVIDIA 세미나 후기

서인님의 발표는 프로젝트 소개와 외부 발표 후기 두 부분이었습니다. Agent 경험치 연구소는 경험을 메모리로, 노하우를 스킬로 정리하는 프로젝트입니다. 메모리에는 작업 배경과 규칙과 확인한 경험을 담고 스킬에는 작업 순서와 확인 항목을 담습니다. 핵심 질문은 작업 조건이 바뀌었을 때 기억만 고치면 되는지, 절차까지 함께 고쳐야 하는지입니다.

플랜 A에는 메모리만 주고 플랜 B에는 메모리와 스킬을 함께 준 뒤 같은 조건에서 결과를 비교합니다. 1주에서 4주까지는 스터디와 실습으로 각자 메모리와 스킬 파일을 만들고 5주부터 12주까지 두 조건을 실험합니다. 지금은 파일 작성을 마치고 비교 실험을 앞두고 있습니다.

발표 후반은 NVIDIA RTX PC 세미나 후기였습니다. 대학 강당에서 열린 온디바이스 AI 세미나였고 발표 제목은 “오늘의 경험을 내일의 실행으로”였습니다. 학생이 청중이라 클라우드와 로컬과 온디바이스의 차이부터 설명했고 세 번째 발표자였는데 청중이 점점 늘어 긴장했다는 일화도 덧붙였습니다. 로컬 모델과 RTX GPU 환경에서 같은 두 조건을 다시 걸어 결과 품질과 수행 시간과 재현 가능성을 비교하는 확장안을 제시했습니다. 에이전트에는 무엇을 기억할지와 어디까지 접근할지와 언제 사람에게 확인할지를 정하는 권한 경계가 필요하다고 강조했습니다. Falsify에서 재현성이 흔들리는 것을 확인했는데, 이 확장안이 같은 문제를 다른 방향에서 다루는 것으로 보였습니다.

일단 지원하라는 당부와 홍콩 워크샵

수현님은 프로젝트 내용을 다루지 못했다며 저장소 링크를 남기고 대신 본인의 참여 이력을 들려줬습니다. 발표 내내 돌아온 당부는 하나였습니다. 빌더 지원은 일단 하고 고민하라는 것입니다.

취업을 준비하던 3기 때 Gather Town에서 가짜연구소를 처음 만났습니다. 코로나 시기라 정보가 제한적이어서 온라인 커뮤니티로 스터디를 시작했다고 합니다. 연구자가 아닌 개발자라 빌더 지원을 망설였는데, 스터디 외에도 기여할 방법이 많다는 것을 알고 커뮤니티 빌더로 시작해 Discord 사용 가이드를 만들어 배포했습니다. 이후 행사 네트워킹 세션을 맡았고 SKT T타워 큰 홀에 250명가량이 모인 회차에서는 어색함을 줄이는 빙고 네트워킹 서비스를 직접 만들어 운영했습니다. 수료증 발급 시스템도 올렸고 12기부터는 실험 플랫폼 리더를 맡고 있습니다. 에이전트 개발 경험으로 바깥 행사에서도 연사로 나서게 됐다고 했습니다.

홍콩 프로그램에는 선지원해서 선정됐습니다. 세미나 패널에서 대학 교수들과 호스피탈리티 분야의 AI 변화를 논의했고, 멀티 에이전트 워크샵을 맡았으며, 산업 세미나에도 참여했습니다. 워크샵에서는 호텔 리뷰를 분석해 개선안과 고객 답변까지 생성하는 작은 에이전트 시스템을 참가자 50명 앞에서 시연했습니다. 영어가 부족했지만 질문에 답하다 보니 긴장이 풀렸다는 말이 기억에 남습니다. 다음 사람은 여러분이라며 빌더와 행사 도우미와 선지원을 권하는 것으로 발표를 마쳤습니다.

발표 뒤 보충 설명에서 한 가지를 더 들었습니다. 홍콩 현지에서는 ChatGPT와 Gemini와 Anthropic이 막혀 DeepSeek을 주로 쓰는 환경이라, 실습 참가자들이 평소 쓰던 도구를 쓸 수 없는 장벽이 있었다고 합니다. 어떤 도구를 쓸 수 있는지가 나라마다 달라 교육 설계가 거기에 묶입니다.

10번의 문답으로 나온 인물 카드

발표가 끝나고 운영진이 자기성찰용 프롬프트를 공유했습니다. 각자 쓰는 AI 채팅 서비스에 붙여 넣고 10번쯤 문답을 주고받으면 컴퓨터 과학 분야 인물 10명 가운데 하나와 매칭되는 카드가 나옵니다.

제 결과는 데미스 허사비스 타입이었습니다. 컴퓨터공학에서 생명과학을 거쳐 분자의과학으로 간 경로와 그 셋을 묶어 연구 자체를 검증하는 일을 하고 있다는 점이 근거로 붙었습니다. 결과를 읽은 다른 참가자 셋은 각각 다른 인물이 나왔습니다.

한 참가자는 과거 대화 기억 기능을 켜 둔 경우 결과가 크게 달라진다고 지적했습니다. 같은 프롬프트라도 대화 기록이 쌓인 정도에 따라 출력이 달라진다는 뜻입니다. 제가 4주 동안 측정한 것과 같은 문제가 당일 활동에서도 나타났습니다.

화면 밖에서 처음 만난 스터디

Falsify는 매주 월요일 밤 Discord 에서 모입니다. 4주 동안 화면으로만 만났던 분들과 처음 한자리에 앉았습니다. 한신익 님이 만든 도구가 화면에 뜨는 것을 바로 옆에서 같이 본 것은 화면으로는 생기지 않는 일이었습니다. 발표가 끝나고 “저게 제가 만든 겁니다”라고 말하는 얼굴을 직접 보는 것도 그랬습니다.

4주 동안 디스코드 안에서만 돌던 측정 결과를 밖으로 내놓은 것도 이번이 처음입니다. 정밀도가 정의에 따라 갈린다는 이야기를 스터디원끼리는 여러 번 했는데, 그 분야를 모르는 사람 앞에서 설명해 보니 어디가 안 통하는지가 드러났습니다. 녹음을 다시 들으며 찾은 제 실수 대부분이 그 자리에서 처음 생긴 것들입니다.

네트워킹은 홀수 줄에 앉은 사람들이 뒤로 나와 4명씩 마주 앉는 방식이었습니다. 각자 받은 인물 카드를 들고 있었으니 처음 만난 사람과 무슨 말을 꺼낼지 고민할 필요가 없었습니다. 발표를 같이 들은 뒤라 질문도 구체적이었습니다.

Falsify의 출발점은 12기 AutoBioX 프로젝트에서 논문을 아이디어부터 투고까지 써 본 경험입니다. 제가 꺼낸 것은 한번 측정해 보자는 제안 하나였는데, 러너 10명이 각자 맡은 것을 넓혀 준 덕분에 4주 만에 채점표 2개와 도구 1개가 나왔습니다. 모르는 사람 10명이 모여 이런 걸 해 보자고 할 수 있는 곳이 흔하지 않습니다. 가짜연구소에 고마운 마음입니다.

네 발표를 이은 대조군

정리하면서 네 발표의 공통점이 보였습니다. 네 발표는 모두 무엇과 비교하는지를 설계에 넣었거나, 넣지 못해 막혀 있었습니다.

발표 비교 대상
Falsify 심은 거짓 문장과 논문에 있는 참인 문장
3D 에셋 도감 사람이 보고 판정한 것과 실제 시뮬레이션 결과
Agent 경험치 연구소 메모리만 준 조건과 메모리에 스킬을 더한 조건
실험 플랫폼 서비스 변경 전과 후

저는 대조군을 넣기 전까지 “24건을 다 잡았다”를 결과로 적을 뻔했습니다. 넣고 나서야 그 결과로는 탐지기의 성능을 말할 수 없다는 것을 알았습니다. 3D 에셋 쪽은 사람의 사전 판정이 실제 시뮬레이션 결과와 얼마나 일치하는지 측정해야 하네스의 쓸모를 보일 수 있습니다. 에이전트 쪽은 두 조건을 같은 작업에 적용해야 메모리와 스킬 중 무엇이 성능을 바꿨는지 구분할 수 있을 것으로 보입니다.

주제가 다른 네 팀이 같은 비교 기준 문제에 부딪히는 장면을 한자리에서 확인했습니다. 이번 모임에서 얻은 가장 큰 수확입니다.

다음

Falsify는 다음 모임에서 역할을 바꿔 새 논문으로 한 바퀴 더 돕니다. 심는 쪽을 맡아 보면 찾는 쪽 감각도 달라질 것으로 기대합니다. 과거 대화 기억을 끄고 같은 자료를 다시 돌려 결과가 달라지는지도 확인하려고 합니다.

현장에서 AWSKRUG 사용자 모임 운영진을 만난 것도 반가웠습니다. 11월 22일 일요일에는 AWS Community Day 2026에서 이 측정을 이어 발표합니다. 삼성동 스페이스쉐어에서 열리고 홀 3개에서 세션 15개와 Strands Agents, Lightsail 핸즈온, 커뮤니티 부스, 저녁 네트워킹 파티가 함께 있습니다. 제 세션은 트랙 3 델피노홀 14시이고 키노트 직후 첫 커뮤니티 세션입니다. 제목은 “의생명 연구의 자동화 멀티에이전트 워크플로”입니다. 연구를 에이전트에게 맡길 때 그 결과를 누가 어떻게 검증하는지를 다룹니다. 이 글에 적은 측정을 클라우드 모델 여럿으로 넓힌 결과가 들어갑니다. 등록은 AWSKRUG 행사 페이지에서 할 수 있습니다.

녹음을 다시 들어 보니 이번 발표에서 정밀도 3개 값을 한 번도 입으로 말하지 않았습니다. 발표 전에는 숫자가 있는 장의 대본을 적어 연습하려 합니다.

Updated: