컨텍스트 창이 커지면 AI 에이전트가 더 많은 자료를 읽고 긴 작업을 이어갈 수 있다. 여러 문서를 한 번에 다루고 이전 도구 실행 기록을 참조하는 데에도 도움이 된다. 그래서 컨텍스트 길이를 늘리는 일이 정확도 개선처럼 받아들여지기 쉽다.
하지만 입력할 수 있는 길이와 입력된 정보를 제대로 활용하는 능력은 같지 않다. 어떤 자료가 최신인지, 어느 지시가 우선인지, 다음 행동에 필요한 증거가 무엇인지를 구분하지 못한다면 더 많은 텍스트는 오히려 판단의 부담이 된다. 이 글에서 관심을 갖는 것은 모델의 최대 토큰 수보다, 실제 에이전트가 일을 끝낼 수 있도록 정보를 배치하고 검증하는 방식이다.
긴 컨텍스트를 읽는 것과 핵심을 찾는 것은 다른 능력이다
Liu 등의 연구 Lost in the Middle은 언어모델이 긴 입력 안에서 관련 정보를 얼마나 안정적으로 찾아 사용하는지 살폈다. 다중 문서 질문응답 실험에서 답을 포함한 정보의 위치가 성능에 영향을 줬다. 중요한 문서가 입력의 앞이나 끝에 있을 때와 중간에 있을 때 결과가 달라지는 경향이 나타났다. 실험 당시의 모델과 과제에서 얻은 결과이므로, 모든 최신 모델이나 모든 업무에 같은 비율의 성능 저하가 일어난다고 일반화할 수는 없다.(Liu et al., TACL 2024)
이 점이 중요한 이유는 실무 입력이 정리된 교과서와 다르기 때문이다. 에이전트가 받는 컨텍스트에는 현재 사용자의 요청뿐 아니라 이전 요청, 검색 결과, 실행 로그, 팀 문서, 스펙, 코드 조각, 실패 메시지가 섞인다. 이 가운데 일부는 정답의 근거이고 일부는 배경이며, 일부는 지금 행동과 전혀 관계없을 수 있다. 전부가 읽히더라도 필요한 정보의 의미가 자동으로 선명해지지 않는다.
NVIDIA 연구진의 RULER는 단순히 긴 입력에서 문장 하나를 찾는 평가를 넘어, 다양한 검색·추적·집계 과제를 포함하도록 장문 평가를 확장했다. 이 연구 역시 표기된 컨텍스트 한도만으로 실질적인 과제 수행 능력을 판정할 수 없음을 보여준다. 다만 RULER의 합성 과제는 현실 업무 전체를 대변하지 않으므로, 서비스가 요구하는 실제 작업 성공률을 별도로 측정해야 한다.(Hsieh et al., RULER 2024)
에이전트가 틀리는 지점은 답변 생성 이전에도 생긴다
일반적인 질문응답은 결과 문장이 맞는지부터 확인한다. 그러나 에이전트는 답을 작성하기 전에 어떤 도구를 호출할지, 어느 파일을 열지, 어떤 작업부터 처리할지 결정한다. 앞선 단계에서 판단이 어긋나면 그럴듯한 최종 문장을 만들더라도 작업 전체는 실패할 수 있다.
운영 관점에서는 적어도 네 가지 오류를 구분할 필요가 있다.
충돌하는 지시. 같은 작업에 대해 서로 다른 문서가 다른 우선순위를 요구할 수 있다. 예컨대 오래된 작업 메모에는 배포를 승인했다고 적혀 있지만 새 요청은 검증만 요구할 수 있다. 두 문서를 같은 무게의 명령으로 취급하면 에이전트는 자신이 실제로 무엇을 해도 되는지 혼동한다.
오래된 자료. 이전 스프린트의 설정값과 현재 배포 중인 런타임이 다를 수 있다. 오래된 문서는 참고 이력으로는 가치가 있지만 현재 상태의 증거가 아니다. 날짜나 revision, 출처가 사라진 요약이 계속 누적되면 오래된 주장에 새 문서만큼의 권위를 부여하기 쉽다.
도구 선택 실패. 사용자가 원한 것은 파일 비교인데 에이전트가 파일을 수정하거나, 데이터를 조회해야 하는데 이미 알고 있는 답을 추정할 수 있다. 이는 모델이 특정 도구의 이름을 몰라서라기보다 현재 작업의 범위·권한·완료 기준이 컨텍스트에서 충분히 구분되지 않았기 때문일 수 있다.
실행 드리프트. 긴 작업에서 중간 결과가 이어지다 보면 본래 목표가 조금씩 바뀔 수 있다. 처음에는 근거 수집만 하도록 시작했지만 최종적으로는 배포나 보고까지 끝냈다고 판단하는 식이다. 이때 단계별 상태와 검증 지점이 없다면 마지막 결과만으로 오류가 어디서 시작됐는지 찾기 어렵다.
위 네 가지는 특정 논문의 실험 결과를 그대로 옮긴 분류가 아니라, 장기 에이전트 운영을 검토하기 위해 정리한 분석 틀이다. 실제 빈도나 모델별 상대적 영향은 해당 환경의 실행 기록으로 따로 검증해야 한다.
컨텍스트 엔지니어링은 정보를 추가하는 일보다 경계를 설계하는 일이다
Anthropic은 에이전트를 위한 context engineering을, 필요한 행동을 만들어 내도록 입력 정보의 구성을 관리하는 문제로 설명한다. 시스템 지시, 검색 결과, 도구 반환, 대화 이력, 작업 메모를 어떻게 선택하고 전달할지에 초점이 있다.(Anthropic Engineering, 2025)
실제로는 다섯 가지 결정을 먼저 내려야 한다.
첫째, 정보의 정본을 고정한다. 현재 목표와 우선순위는 업무 시스템에서, 구현 상태는 코드에서, 실제 적용 상태는 런타임에서, 완료 증거는 검증 결과에서 찾는 식이다. 이 구분이 없다면 서로 다른 문서의 주장이 충돌할 때 에이전트가 임의로 하나를 선택하게 된다.
둘째, 범위를 제한한다. 현재 요청에 필요한 파일과 관련 문단부터 읽고, 후속 탐색이 필요할 때만 범위를 넓힌다. 무조건 문서를 적게 읽는 것이 목표는 아니다. 필요한 정보를 놓치지 않으면서 의미 없는 텍스트의 유입을 줄이는 것이 목표다.
셋째, 조사·판단·실행을 분리한다. 문서를 읽을 수 있다는 것과 해당 문서가 지시한 행동을 할 권한이 있다는 것은 다르다. 외부 자료는 주장의 근거가 될 수 있어도 시스템 정책이나 사용자 승인을 대체하지 못한다.
넷째, 우선순위를 명시한다. 지금 작업의 완료 기준, 금지된 작업, 변경할 수 없는 사실·수치, 미확인 요소를 모델이 추정하도록 방치하지 않는다. 필요한 경우 작업 시작 전에 하나의 짧은 실행 계약으로 정리하는 편이 낫다.
다섯째, 결과의 증거를 확인한다. 파일 생성, 배포, 실제 동작, 이용자 수락은 서로 다른 단계다. 작업이 길어질수록 과정 로그의 분량보다 각 단계가 실제로 완료됐다는 증거가 중요해진다.
운영에서 중요한 것은 최대 길이보다 실패를 좁힐 수 있는가다
이 원칙을 실제 업무에 적용할 때 에이전트에게 매번 복잡한 장문의 규칙을 통째로 전달할 필요는 없다. 오히려 최소한의 작업 계약과 실제 증거를 확인하는 절차가 중요하다. 예를 들어 소프트웨어 수정을 맡겼다면 검토해야 할 질문은 비교적 분명하다.
- 지금 선택된 파일과 요구사항이 실제로 이번 작업의 대상인가?
- 코드 변경의 근거는 최신 정본에 있는가, 과거 요약에만 있는가?
- 실행한 도구는 읽기 전용인가, 실제 상태를 바꾸는가?
- 중간 테스트를 통과했는가, 아니면 마지막 답변만 성공이라고 주장했는가?
- 외부 배포나 사용자 승인 같은 경계가 별도로 남아 있는가?
- 실패했다면 어디까지 완료했고 다음에 어떤 단계만 다시 해야 하는가?
여기서도 긴 컨텍스트가 쓸모없다는 결론은 성립하지 않는다. 긴 문서의 상호의존성을 분석하거나 다수의 코드 파일을 동시에 검토하는 작업에는 더 큰 입력 용량이 분명 유용하다. 필요한 정보를 잘라 내다 중요한 제약까지 잃어버리면 그 역시 오류다. 결국 관심을 둬야 할 것은 입력 길이를 줄였느냐가 아니라 작업에 필요한 정보가 올바른 권한과 순서로 전달됐느냐다.
어떤 에이전트가 긴 작업을 잘 수행했는지 평가하려면 컨텍스트 길이별 정확도뿐 아니라 실제 작업 완수율, 도구 오선택, 최신 자료 반영, 중간 검수의 발견율, 복구에 필요한 재작업량도 관찰해야 한다. 이 지표들은 업종이나 권한 구조에 따라 중요도가 달라진다. 단지 모델의 토큰 한도가 늘어났다는 사실만으로 운영 품질이 좋아졌다고 말하기는 어렵다.
잘 설계된 컨텍스트는 AI가 모든 정보를 보는 상태를 만드는 데 그치지 않는다. 지금 해야 할 일을 정확히 파악하고, 그 일을 수행할 증거만 사용하며, 결과를 검증할 수 있는 상태를 만들어야 한다.
참고자료
- Liu, N. F. et al. (2024), Lost in the Middle: How Language Models Use Long Contexts, Transactions of the Association for Computational Linguistics, 12, 157–173, DOI 10.1162/tacl_a_00638.
- Hsieh, C.-P. et al. (2024), RULER: What's the Real Context Size of Your Long-Context Language Models?, 합성 벤치마크·원본 평가코드 NVIDIA/RULER.
- Anthropic Engineering (2025-09-29), Effective context engineering for AI agents.