DoorDash, LLM 내장 웹 검색을 별도 검색 API 게이트웨이로 분리해 정확도는 유지하고 검색 요금 98% 넘게 절감(커뮤니티 전언)

확인된 내용 (사실)

GeekNews 요약에 따르면 DoorDash는 LLM이 기본으로 제공하는 웹 검색 대신 별도 검색 API를 붙이는 구조로 바꿨다. 검색어 의도를 분류하는 평가에서 정확도는 그대로였고 검색 요금은 98% 넘게 줄었다고 한다. 이 수치에 모델 추론 비용은 포함되지 않는다. 여러 AI 에이전트가 검색 게이트웨이 하나를 함께 쓰며, 모델과 검색 업체는 각각 따로 바꿀 수 있다. 검색 결과 개수, 캐시 정책, 장애가 났을 때 넘어갈 대체 업체도 설정으로 관리한다. 내용이 같거나 비슷한 질문은 이전 검색 결과를 다시 써서 중복 호출을 줄였다. 캐시가 채워진 상태의 평가에서는 첫 실행보다 평균 지연 시간이 68%, 검색 비용이 99% 이상 줄었다고 한다.

팩트체크 필요 (주장)

정확도를 유지하면서 검색 요금 98% 이상 절감(추론 비용 제외). 캐시가 채워진 평가에서는 지연 68%·검색 비용 99% 이상 감소.

의미 (해석)

에이전트를 운영하면 웹 검색 호출 비용이 빠르게 커집니다. 검색을 모델에서 떼어 내 게이트웨이와 캐시로 관리하는 방식은 다른 기업도 바로 따라 해 볼 수 있는 비용 절감 패턴입니다.

출처

• 커뮤니티 DoorDash가 정확도를 유지하면서 LLM 검색 비용을 98% 줄인 방법 GeekNews

DoorDash 관련 다른 소식

• 2026-10-30 P2 기타 확인 필요 에이전트 DoorDash
  DoorDash "AI 에이전트를 거쳐 들어온 주문은 아직 '수백 건' 수준"…외부 에이전트 개발사와 협력엔 열려 있어(보도)

  TechCrunch 보도에 따르면 DoorDash는 지금까지 AI 에이전트를 통해 받은 주문이 '수백 건' 정도에 그친다고 밝혔다. 외부 에이전트 개발사와 협력할 의향은 있다고 덧붙였다.

• 2026-10-19 P2 에이전트 확인 필요 에이전트MLOps·LLMOps DoorDash
  DoorDash 사내 도구 'Flux', 클라우드 에이전트로 엔지니어링 작업 13만 건 처리(보도)

  InfoQ China는 DoorDash의 'Flux'가 클라우드에서 돌아가는 에이전트로 엔지니어링 작업 13만 건을 처리했다고 보도했다. 수집된 자료는 제목뿐이어서 Flux의 구조, 작업 종류, 기간, 성공률은 확인되지 않는다.