AWS, Bedrock AgentCore Evaluations에서 기본·DeepEval·AutoEval 평가기를 언제 쓸지 정리한 에이전트 평가 가이드
발표 2026년 11월 10일
확인된 내용 (사실)
AWS가 에이전트가 제대로 일하는지를 작업 완료, 주제 이탈, 데이터 유출, 단계 누락 같은 여러 질문으로 나눠 평가하는 방법을 소개했다. Amazon Bedrock AgentCore에서 기본 제공 평가기, DeepEval, AutoEval을 각각 어떤 행동과 어떤 수준에 맞출지 정리했다.
의미 (해석)
에이전트 평가를 단일 점수가 아니라 행동별로 쪼개 설계하는 실무 기준으로 참고할 만하다.
출처
AWS 관련 다른 소식
-
Kimi K3.1 Pro 후속: Amazon Bedrock에서 제공…OpenAI 호환 API·명시적 프롬프트 캐싱 지원, OpenCode 코딩 어시스턴트로 연동
AWS가 Moonshot AI의 Kimi K3.1 Pro를 Amazon Bedrock에 추가했다고 공식 블로그에서 밝혔다. 호출 방식은 OpenAI 호환 Chat Completions·Responses API와 Bedrock Converse...
-
Amazon 계열 Ring, 실내 보안 드론 'Ring Drone Cam'과 기업용 순찰 로봇 공개…드론은 2027년 1월 27일 249.99달러(보도)
Amazon 소유의 Ring이 가정용 AI 보안 드론과 기업 시설을 순찰하는 바퀴형 로봇을 발표했다. The Verge에 따르면 Ring Drone Cam은 2027년 1월 27일 249.99달러에 출시되며, 처음 발표된 지 약 6년 만이다....
-
Bedrock AgentCore 금융 사례 2건: TCS 에이전트 테스트 오케스트레이터 "내부 측정서 테스트 공수 88% 절감", Trovata 자율 재무 에이전트
TCS는 은행·금융·보험 고객용으로 요구사항을 실행 가능하고 통제된 테스트로 바꾸는 에이전트 테스트 오케스트레이터를 AgentCore로 만들었다. 전문 에이전트, 테넌트별 격리, 워크로드 맞춤 실행을 적용해 내부 벤치마크에서 테스트 공수를...
-
AWS, 여러 계정의 Bedrock 호출 로그를 모아 프롬프트·토큰·모델·호출당 비용을 조회하는 '토크노믹스 데이터 레이크' 구축법 소개
AWS가 여러 계정에서 Amazon Bedrock을 쓸 때 청구서만으로는 호출 내부를 알 수 없다는 문제를 짚고, 연결된 모든 계정의 호출 로그를 하나의 조회 가능한 테이블로 모으는 관측용 데이터 레이크 구성법을 소개했다. 조직 전체의...
-
Amazon, 사내 티켓 분류에 쓰던 Claude Sonnet 4.6을 의사결정 모델 'Strands Decider E4B'로 교체…"비용 98% 절감"(커뮤니티 전언)
GeekNews 글에 따르면, Amazon은 대규모 내부 티켓에 20개 범주 중 하나를 붙이는 작업에 Claude Sonnet 4.6을 쓰다가 Strands Decider E4B로 바꿨다. 의사결정 모델은 텍스트를 생성하지 않고, 주어진...