AI 용어집 · 기초 · 에이전트
컴퓨터 사용 Computer use
컴퓨터 사용은 AI가 사람처럼 화면을 보고 마우스를 클릭하거나 키보드로 입력해 컴퓨터 프로그램을 직접 조작하는 능력이에요. 전용 연결 장치(API)가 없는 프로그램도 다룰 수 있다는 점이 특징이에요.
어떻게 작동하나
사용자가 할 일을 말하면 AI 에이전트가 현재 화면을 스크린샷으로 찍어 멀티모달 모델에 보여 줘요. 모델은 화면 속 버튼과 입력창을 알아보고 '어디를 클릭할지, 무엇을 입력할지'를 정해요. 그 동작을 실행한 뒤 바뀐 화면을 다시 찍어 확인하고, 일이 끝날 때까지 이 과정을 되풀이해요.
왜 중요한가
기존 도구 사용은 개발자가 미리 만들어 둔 API가 있어야 했지만, 컴퓨터 사용은 사람이 쓰는 화면만 있으면 대부분의 프로그램을 다룰 수 있어요. 오래된 사내 시스템, 웹사이트 양식 작성, 여러 프로그램을 오가는 반복 업무를 자동화하는 데 쓸 수 있어요. 그래서 AI 에이전트가 실제 업무를 맡는 데 중요한 능력으로 주목받고 있어요.
알아 둘 점
화면을 보고 한 단계씩 움직이기 때문에 API를 쓰는 방식보다 느리고, 중간에 잘못 클릭하는 실수도 생길 수 있어요. 웹페이지에 숨겨진 악성 문구가 AI를 속이는 프롬프트 인젝션 위험도 있어요. 그래서 결제나 삭제처럼 되돌리기 어려운 일은 사람이 확인하게 하고, 격리된 환경에서 실행하는 경우가 많아요.
예시
이 사이트에서 다룬 소식 중에는 OpenAI가 Ironclad와 함께 계약 업무 워크플로를 활용해 컴퓨터 사용 에이전트를 학습시키고 평가했다는 내용이 있어요. 이처럼 계약서 검토나 문서 처리처럼 여러 화면을 오가는 실제 업무가 컴퓨터 사용 에이전트의 대표적인 활용처로 꼽혀요. 여러 AI 회사도 사용자를 대신해 브라우저나 데스크톱을 조작하는 에이전트 기능을 내놓고 있어요.
이 사이트에서 나온 사례
- 브리핑 OpenAI, Ironclad와 계약 업무 워크플로로 컴퓨터 사용 에이전트 학습·평가 2026-10-07