생성형 AI 신약개발의 도달점과 신뢰 범위
BRIC View에 생성형 AI의 바이오·신약개발 동향 리포트를 공개했습니다. 관통하는 질문은 하나였습니다. 그래서 그 결과를 어디까지 믿을 수 있나.
무엇을 만들었고 어디까지 검증했는지, 그 과정에서 배운 것을 적습니다. 바이오인포매틱스, 모델 검증, AI 에이전트.
BRIC View에 생성형 AI의 바이오·신약개발 동향 리포트를 공개했습니다. 관통하는 질문은 하나였습니다. 그래서 그 결과를 어디까지 믿을 수 있나.
Therapeutics Data Commons 12개 과제를 모델 세 계열로 돌렸습니다. 표준 관행인 scaffold split에서는 12개 중 8개만 성능이 떨어지는데, 화학적 거리로 나누면 12개 전부 떨어집니다.
경제 뉴스를 매일 읽으려다 포기하고, 대신 AI 에이전트 팀을 만들었다. 수집·분석·편집·검수를 팀에 맡기고, 나는 판단에만 집중하기로 했다.
폼 빌더 오픈소스 두 개를 읽고 MVP 설계 근거를 만들었습니다. 그리고 만든 기획 문서를 다른 관점으로 검증했더니 차단 결함 네 개가 나왔습니다.
원고에 적힌 숫자 120개를 저장된 실험 결과와 대조했습니다. 27개는 어디서 나온 값인지 추적할 수 없었습니다.
AI가 전문가 심판을 대신할 수 있는가. 공개 데이터로 재보니 목표치에 못 미쳤는데, 미달의 원인이 AI가 아니었습니다.
처음 목표한 지표가 상관계수 0.04로 실패했다. 그 사실을 슬라이드에 올린 날의 기록.
골격은 하루 만에 세웠다. 흥미로운 건 그다음, 20일 동안 운영하다 부딪힌 불만과 실패가 매일 구조를 고쳐 나간 기록이다.
CCR 클라우드 환경은 텔레그램 API를 직접 호출할 수 없습니다. 이유를 파악하는 데 한참 걸렸고, 해결책은 생각보다 단순했습니다.
에이전트는 어제 뭘 썼는지 모릅니다. 말해주지 않으면 같은 약을 오늘도 심층 분석합니다.
처음엔 발행 전 제가 직접 확인하는 구조로 만들었습니다. 이틀 뒤 그걸 포기했고, 오히려 더 잘 돌아갑니다.
몇 달 전, 환경 설정에 막혀 블로그를 접었다. 이번 주에 AI 코딩 에이전트와 같이 들여다보니 정작 문제는 글이 아니라 거의 다 빌드 쪽에 있었다.
🇺🇸 Read this post in English