LLM을 잘 쓰는 힘, 프롬프트 기술보다 도메인 전문성

LLM 활용 논의가 자주 놓치는 지점은 “무엇을 입력하느냐”보다 “무엇이 이상한지 알아차리느냐”다. Sean Goedecke의 글은 Terence Tao가 ChatGPT와 수학 문제를 다룬 대화를 예로 들며, 좋은 프롬프트의 핵심이 프롬프트 문법이 아니라 해당 분야의 감각이라고 설명한다.

글에서 Tao의 메시지는 짧고 직접적이다. 모델 답변을 줄마다 고치기보다 큰 흐름에서 밀고, 답이 복잡해 보이면 다른 구성을 제안한다. 중요한 점은 그 조정이 템플릿으로 복사될 수 없다는 데 있다. Jacobian Conjecture 주변 수학을 모르면 어떤 답이 이상하고 어떤 길이 유망한지 판단하기 어렵다.

소프트웨어 개발에서도 같은 구조가 나온다. 코드베이스를 잘 아는 사람은 LLM에게 “이미 이 모듈에 비슷한 패턴이 있다”, “여기서는 더 단순하게 표현할 수 있다”처럼 구체적으로 압박할 수 있다. 반대로 맥락이 없으면 모델이 내놓은 그럴듯한 결과를 검증하기가 어렵다.

Hacker News 댓글은 이 주장에 강하게 반응했다. 많은 개발자가 자신이 잘 아는 영역에서는 모델을 빠르게 교정하지만, 낯선 영역에서는 결과가 괜찮아 보이는지조차 확신하기 어렵다는 경험을 붙였다. “모델 안에 정보가 있다”는 말과 “그 정보를 끌어낼 수 있다”는 말은 다른 문제라는 쪽으로 논점이 모였다.

이 글의 결론은 사람의 전문성이 사라지지 않는다는 위안에 머물지 않는다. 모델이 강해질수록 사용자는 더 높은 수준의 의도, 제약, 품질 기준을 전달해야 한다. LLM은 범용성을 넓히지만, 좋은 결과를 끝까지 끌고 가는 힘은 여전히 분야를 아는 사람에게서 나온다.