← 전문가 노트

Notes · 2026-08-23

[자율제조 시리즈 ⑦] 제조 AI Agent는 어떻게 판단을 실행으로 연결하는가?

질문에 답하는 AI에서 제조업무를 수행하는 AI로

생성형 AI가 제조현장에 도입되면서 작업자가 자연어로 생산정보를 검색하고 문서를 작성하는 일이 가능해지고 있다.

작업자가 다음과 같이 질문하면 AI는 생산실적과 품질현황을 요약할 수 있다.

“어제 야간조에서 불량률이 가장 높았던 제품을 알려줘.”

설비매뉴얼과 정비이력을 검색해 점검방법을 설명할 수도 있다.

“프레스 2호기의 진동 알람이 반복될 때 우선 확인해야 할 항목은 무엇인가?”

이러한 기능은 정보를 찾고 이해하는 시간을 줄여준다.

그러나 질문에 답하는 것만으로 제조업무가 실행되는 것은 아니다.

설비를 점검하려면 정비이력과 부품재고를 확인해야 한다. 생산계획에서 정비시간을 확보하고 담당 작업자에게 작업지시를 발행해야 한다.

공정조건을 변경하려면 품질규격과 설비의 허용범위를 확인하고, Digital Twin에서 예상결과를 검증해야 한다. 필요한 승인까지 받은 뒤 MES 또는 설비제어시스템에 변경사항을 반영해야 한다.

하나의 제조판단이 실제 행동으로 이어지려면 여러 데이터와 시스템, 사람과 업무절차가 연결되어야 한다.

AI Agent는 이 연결을 담당한다.

AI Agent는 단순히 답변을 생성하는 AI가 아니다.

목표를 이해하고, 필요한 데이터와 지식을 찾으며, 수행할 작업을 계획하고, 승인된 도구를 사용해 업무를 실행한 뒤 그 결과를 확인하는 AI 시스템이다.

그러나 제조현장에서 AI Agent에 곧바로 넓은 실행권한을 부여하는 것은 위험하다.

생산계획과 품질, 정비와 설비제어는 서로 연결되어 있다. 잘못된 명령 하나가 불량과 설비정지, 납기지연 또는 안전사고로 이어질 수 있다.

따라서 다음과 같은 질문이 필요하다.

“AI Agent가 무엇을 할 수 있는가?”

뿐만 아니라,

“어떤 데이터와 도구를 사용할 수 있으며, 누가 실행을 승인하고, 잘못된 행동은 어떻게 중단할 것인가?”

자율제조에서 AI Agent의 경쟁력은 사람처럼 자연스럽게 말하는 능력만으로 결정되지 않는다.

제조의 목표와 제약조건을 이해하고, 검증과 승인 절차를 지키면서 판단을 안전하게 실행하는 능력이 중요하다.

이번 글에서는 제조 AI Agent가 어떻게 데이터와 지식, Digital Twin과 업무시스템을 연결해 AI의 판단을 실제 행동으로 전환하는지 살펴보고자 한다.

목차

  1. 제조 AI Agent는 챗봇과 무엇이 다른가
  2. AI Agent가 제조업무를 수행하려면 무엇이 필요한가
  3. 제조 AI Agent는 어떤 순서로 판단하고 행동하는가
  4. 하나의 Agent와 Multi-Agent는 어떻게 다른가
  5. AI Agent는 제조시스템과 어떻게 연결되는가
  6. Digital Twin은 Agent의 실행을 어떻게 검증하는가
  7. 제조 AI Agent에 어디까지 권한을 부여해야 하는가
  8. AI Agent가 실패하면 어떻게 멈추고 복구해야 하는가
  9. 제조 AI Agent를 현실적으로 도입하는 방법
  10. 경영진은 AI Agent의 자율성보다 무엇을 확인해야 하는가

1. 제조 AI Agent는 챗봇과 무엇이 다른가

챗봇과 AI Agent는 모두 자연어로 사용자와 대화할 수 있다.

그래서 화면만 보면 두 시스템의 차이를 구분하기 어려울 수 있다.

그러나 이들이 제조업무를 처리하는 방식은 다르다.

① 제조 챗봇

제조 챗봇은 사용자의 질문을 이해하고 관련된 정보를 찾아 답변한다.

  • 설비매뉴얼 검색
  • 작업표준 설명
  • 생산실적 요약
  • 품질보고서 작성
  • 고장사례 검색
  • 용어와 업무절차 안내

제조 챗봇의 주요 결과는 답변과 문서다.

정보를 찾아주는 역할은 수행하지만 실제 시스템의 상태를 변경하지 않는 경우가 많다.

② AI Assistant

AI Assistant는 정보제공을 넘어 작업자가 업무를 수행하도록 지원한다.

  • 점검표 초안 작성
  • 정비작업 후보 생성
  • 생산계획 대안 비교
  • 품질회의 자료 작성
  • 작업지시 변경안 작성
  • 담당자와 승인절차 안내

실행에 필요한 내용을 준비하지만 최종적인 입력과 실행은 사람이 담당한다.

③ AI Agent

AI Agent는 주어진 목표를 달성하기 위해 필요한 작업을 스스로 구분하고 순서를 정한다.

필요한 데이터와 문서를 찾고, 허용된 시스템과 도구를 사용한다. 실행 전에 규칙과 제약조건을 확인하고, 필요한 경우 사람에게 승인을 요청한다.

승인된 작업을 실행한 뒤 결과도 확인한다.

예를 들어 작업자가 다음과 같이 요청했다고 가정해보자.

“프레스 2호기의 고장위험을 확인하고, 이번 주 생산계획에 미치는 영향을 최소화하는 정비안을 만들어줘.”

제조 챗봇은 프레스 설비의 점검방법과 일반적인 고장원인을 설명할 수 있다.

AI Assistant는 센서추세와 정비이력을 분석해 점검항목과 정비일정의 초안을 만들 수 있다.

AI Agent는 다음의 업무를 연결할 수 있다.

  1. 프레스 2호기의 진동과 온도, 전류 데이터를 조회한다.
  2. 최근 알람과 정비이력, 부품교체 이력을 확인한다.
  3. 고장 가능성과 예상 원인을 분석한다.
  4. 설비매뉴얼에서 권장 점검항목을 찾는다.
  5. 필요한 부품의 재고와 조달기간을 확인한다.
  6. MES에서 이번 주 작업계획을 조회한다.
  7. 대체설비의 생산능력과 금형 사용 가능 여부를 확인한다.
  8. 정비시점별 생산영향을 Digital Twin에서 비교한다.
  9. 정비안과 생산계획 변경안을 담당자에게 제시한다.
  10. 승인된 뒤 CMMS에 정비작업을 생성하고 MES에 계획변경을 반영한다.
  11. 정비가 완료되면 점검결과와 설비상태를 확인한다.

차이는 명확하다.

챗봇은 답을 제공한다.

Assistant는 사람이 일을 할 수 있도록 준비한다.

Agent는 목표 달성에 필요한 업무의 흐름을 연결한다.

다만 현재 AI Agent라는 용어는 다양한 제품과 연구에서 폭넓게 사용되고 있으며, 제조현장에 통용되는 단일한 국제표준 정의가 확정됐다고 보기는 어렵다.

따라서 “Agent”라는 명칭보다 실제로 어떤 데이터에 접근하고, 어떤 도구를 사용하며, 어디까지 실행할 수 있는지를 확인해야 한다.

AI Agent의 본질은 대화창에 있지 않다.

목표를 작업으로 분해하고, 제조시스템의 상태를 안전하게 변경할 수 있는 실행구조를 갖추었는가에 있다.

2. AI Agent가 제조업무를 수행하려면 무엇이 필요한가

AI Agent가 제조업무를 수행하려면 대규모 언어모델 하나만으로는 충분하지 않다.

언어모델은 사용자의 요청을 이해하고 작업계획을 세우는 데 도움이 된다. 그러나 공장의 현재상태와 제품규격, 설비의 허용범위를 스스로 알고 있지는 않다.

제조 AI Agent에는 다음과 같은 구성요소가 필요하다.

① 목표

Agent가 무엇을 달성해야 하는지 명확해야 한다.

  • 불량률을 낮춘다.
  • 비계획 정지를 줄인다.
  • 긴급주문의 납기를 맞춘다.
  • 에너지 피크를 낮춘다.
  • 재고부족을 방지한다.
  • 작업자의 점검시간을 줄인다.

“공장을 최적화하라”처럼 범위가 지나치게 넓은 목표는 실행기준이 불분명하다.

목표와 함께 우선순위와 성공조건을 정해야 한다.

② 제조 데이터

현재상태를 판단하기 위한 데이터가 필요하다.

  • 센서와 PLC 데이터
  • 생산계획과 생산실적
  • 제품과 원재료 LOT
  • 품질검사 결과
  • 설비고장과 정비이력
  • 재고와 구매정보
  • 작업자와 자원 가용성
  • 에너지와 환경정보

데이터에는 값뿐 아니라 발생시간과 대상설비, 제품과 작업지시의 맥락이 포함되어야 한다.

③ 제조 지식

Agent는 데이터를 읽는 것만으로 제조업무를 이해하기 어렵다.

  • 제품규격과 공차
  • 설비의 구조와 운전원리
  • 공정조건과 품질특성의 관계
  • 작업표준과 SOP
  • FMEA와 고장모드
  • 품질관리 기준
  • 안전규칙과 법적 요구사항
  • 과거의 문제와 조치사례

문서검색만으로는 충분하지 않을 수 있다.

어떤 설비가 어느 공정에 사용되고, 어떤 공정변수가 어떤 품질특성에 영향을 주는지 관계로 표현해야 한다.

공통 데이터모델과 온톨로지, 지식그래프가 필요한 이유다.

④ 계획기능

복잡한 목표를 실행 가능한 작업으로 나누어야 한다.

예를 들어 “불량 원인을 확인하고 대응하라”는 목표를 다음과 같이 구분할 수 있다.

불량제품과 발생시점 확인

↓

사용설비와 원재료 LOT 조회

↓

공정조건 변화 분석

↓

유사사례와 작업표준 검색

↓

원인 후보와 대응안 생성

↓

Digital Twin에서 영향 검증

↓

승인 요청

↓

실행과 결과 확인

계획은 고정된 순서일 수도 있고 상황에 따라 달라질 수도 있다.

⑤ 도구

Agent가 실제 업무를 수행하려면 외부 시스템을 조회하고 변경할 수 있는 도구가 필요하다.

  • SQL과 데이터 플랫폼 조회
  • MES 작업지시 조회·변경
  • QMS 검사결과 조회
  • CMMS 정비작업 생성
  • ERP 재고와 구매요청 조회
  • PLM 도면과 사양 검색
  • Digital Twin 시뮬레이션 실행
  • 보고서와 알림 생성
  • 설비제어 요청

각 도구는 정해진 입력과 출력, 권한과 오류처리 방식을 가져야 한다.

⑥ 기억과 상태

Agent는 현재 어떤 작업을 수행하고 있는지 기억해야 한다.

  • 요청한 사용자
  • 실행목표
  • 완료한 작업
  • 사용한 데이터
  • 남은 작업
  • 받은 승인
  • 발생한 오류
  • 최종 실행결과

다만 장기기억에 모든 내용을 무제한 저장해서는 안 된다.

개인정보와 영업비밀, 오래된 작업조건이 잘못 재사용되지 않도록 저장범위와 보존기간을 정해야 한다.

⑦ 정책과 안전장치

Agent가 해서는 안 되는 행동을 정의해야 한다.

  • 허용범위를 벗어난 설비조건 변경
  • 승인받지 않은 생산계획 변경
  • 안전시스템과 보호계층 우회
  • 자격이 없는 작업자에게 작업배정
  • 미승인 원재료와 대체부품 사용
  • 검증되지 않은 모델의 자동실행
  • 권한을 벗어난 데이터 조회

⑧ 결과평가

Agent는 도구를 실행했다는 사실만 확인해서는 안 된다.

실제 제조결과가 목표와 일치하는지 확인해야 한다.

  • 불량률이 감소했는가
  • 고장위험이 낮아졌는가
  • 정비작업이 정상적으로 완료됐는가
  • 납기에 부작용은 없었는가
  • 다른 설비와 공정에 이상은 발생하지 않았는가

제조 AI Agent의 구조를 간단하게 정리하면 다음과 같다.

목표

↓

데이터와 제조 지식

↓

계획과 판단

↓

Digital Twin과 업무규칙을 통한 검증

↓

승인

↓

도구를 이용한 실행

↓

결과평가와 기록

AI Agent의 지능은 언어모델 하나에만 존재하지 않는다.

데이터와 지식, 도구와 규칙, 사람의 승인과 결과평가가 결합된 전체 시스템에서 만들어진다.

3. 제조 AI Agent는 어떤 순서로 판단하고 행동하는가

제조 AI Agent가 업무를 수행하는 과정은 단순히 질문을 입력하고 답변을 받는 흐름과 다르다.

Agent는 목표를 해석하고 현재상태를 확인한 뒤 수행할 작업을 계획한다. 실행 중에 새로운 문제가 발견되면 계획을 수정할 수도 있다.

예를 들어 다음과 같은 품질문제가 발생했다고 가정해보자.

“사출기 3호기에서 제품 A의 중량편차가 증가했다. 원인을 확인하고 생산중단을 최소화하는 대응안을 마련하라.”

Agent의 수행 흐름은 다음과 같이 구성할 수 있다.

① 요청과 권한 확인

누가 어떤 목적으로 요청했는지 확인한다.

사용자가 조회만 할 수 있는지, 대응안을 승인할 수 있는지, 설비조건 변경권한이 있는지를 구분한다.

② 목표와 성공조건 정의

문제를 구체적인 목표로 변환한다.

  • 중량편차를 관리한계 안으로 복귀시킨다.
  • 추가 불량을 최소화한다.
  • 설비정지시간을 최소화한다.
  • 품질과 안전기준을 위반하지 않는다.

목표 사이의 우선순위도 정한다.

③ 현재상태 수집

필요한 데이터를 조회한다.

  • 제품 중량의 시간별 추세
  • 사출압력과 보압시간
  • 금형온도와 냉각수 상태
  • 원재료 LOT와 건조조건
  • 최근 설비알람
  • 금형과 설비의 정비이력
  • 작업자와 교대정보
  • 동일 제품의 과거 생산결과

④ 데이터 품질 확인

센서 이상과 누락, 시간 불일치가 없는지 확인한다.

측정장비의 보정상태와 검사결과의 신뢰성도 확인해야 한다.

데이터가 충분하지 않으면 억지로 원인을 단정하지 않고 추가측정을 요청한다.

⑤ 원인 후보 생성

수집한 데이터와 제조 지식을 바탕으로 가능한 원인을 정리한다.

  • 원재료 수분 증가
  • 보압조건 변화
  • 금형온도 불균형
  • 체크링 마모
  • 중량측정기의 이상

각 원인 후보에는 근거와 반대근거, 신뢰도를 함께 제시한다.

⑥ 대응안 생성

원인 후보별로 가능한 대응방안을 만든다.

  • 원재료 건조상태 확인
  • 보압시간 제한적 조정
  • 금형온도와 냉각수 점검
  • 체크링과 노즐 점검
  • 측정기 재교정
  • 일시적인 검사주기 확대

⑦ 규칙과 제약조건 확인

각 대응안이 제품규격과 작업표준, 설비의 허용범위를 만족하는지 확인한다.

변경관리와 승인절차도 적용한다.

⑧ Digital Twin에서 가상검증

공정조건 변경안을 실제 설비에 적용하기 전에 Digital Twin에서 시험한다.

  • 중량편차가 얼마나 감소하는가
  • 사이클타임은 얼마나 증가하는가
  • 다른 품질특성에는 어떤 영향이 있는가
  • 설비와 금형의 부하는 안전한가
  • 에너지 사용량에는 어떤 변화가 있는가

⑨ 대응안 비교와 승인 요청

각 대응안의 효과와 위험, 예상시간을 비교해 작업자 또는 책임자에게 제시한다.

“보압시간 0.2초 증가는 중량편차를 줄일 가능성이 가장 높다. 예상 사이클타임은 0.2초 증가한다. 제품 A와 사출기 3호기의 현재 조건에서만 적용하며 품질책임자의 승인이 필요하다.”

⑩ 승인된 작업 실행

Agent는 승인된 범위 안에서만 작업한다.

  • MES에 임시 공정조건 변경기록 생성
  • 설비에 변경요청 전달
  • QMS의 검사주기 확대
  • 작업자에게 확인항목 안내

안전과 품질에 중요한 설정값은 Agent가 PLC에 직접 기록하기보다 검증된 제어인터페이스와 기존 승인절차를 거치는 것이 바람직하다.

⑪ 결과 확인

변경 후 일정 수량의 제품을 검사한다.

중량편차와 다른 품질지표, 설비상태를 확인한다.

예상한 결과가 나오지 않으면 작업을 중단하고 이전 설정값으로 복원한다.

⑫ 기록과 학습

다음의 내용을 저장한다.

  • 사용한 데이터와 문서
  • 원인 후보와 신뢰도
  • 제시한 대응안
  • Digital Twin의 예상결과
  • 승인자와 승인시간
  • 실제 실행내용
  • 실행 전후 KPI
  • 작업자의 수정과 의견
  • 예상하지 못한 부작용

Agent의 업무는 도구를 호출하는 것으로 끝나지 않는다.

실행결과가 목표를 달성했는지 확인하고, 실패했을 때 중단하거나 계획을 수정하는 것까지 포함한다.

4. 하나의 Agent와 Multi-Agent는 어떻게 다른가

제조업무는 여러 전문영역이 연결되어 있다.

생산계획을 변경하면 품질과 설비, 물류와 에너지에 영향을 줄 수 있다. 하나의 Agent가 모든 분야를 판단하도록 구성하면 역할과 책임이 지나치게 커질 수 있다.

그래서 여러 전문 Agent가 협력하는 Multi-Agent 구조가 논의된다.

① 단일 Agent

하나의 Agent가 전체 작업을 계획하고 필요한 도구를 사용한다.

구조가 비교적 단순하고 전체 작업의 흐름을 관리하기 쉽다.

적용 가능한 업무는 다음과 같다.

  • 설비매뉴얼과 정비이력 검색
  • 정기 품질보고서 작성
  • 특정 설비의 점검지원
  • 제한된 생산계획 시뮬레이션
  • 작업표준 준수 확인

그러나 업무범위가 넓어지면 하나의 Agent가 너무 많은 데이터와 권한을 가지게 될 수 있다.

② 전문 Agent

업무영역별로 Agent를 구분한다.

생산 Agent

생산계획과 작업진도, 설비배정을 담당한다.

품질 Agent

검사결과와 불량원인, 품질규격을 관리한다.

정비 Agent

설비상태와 고장위험, 정비작업을 담당한다.

물류 Agent

원재료와 재공품, AGV와 창고를 관리한다.

에너지 Agent

설비별 에너지 사용과 피크부하를 최적화한다.

안전 Agent

위험조건과 작업허가, 안전규칙 위반을 확인한다.

③ 조정 Agent

여러 전문 Agent의 판단을 종합하고 충돌을 조정한다.

예를 들어 생산 Agent는 납기를 맞추기 위해 설비속도를 높이려 할 수 있다.

정비 Agent는 고장위험 때문에 설비부하를 낮추려고 할 수 있다. 품질 Agent는 공정안정성을 위해 현재 조건을 유지하려 할 수 있다.

조정 Agent는 각 판단의 근거와 제약조건을 비교하고 대안을 만든다.

그러나 Multi-Agent라고 해서 자동으로 더 좋은 결과가 나오는 것은 아니다.

다음과 같은 문제가 발생할 수 있다.

  • Agent 사이의 목표가 충돌한다.
  • 동일한 작업을 중복해서 수행한다.
  • 서로의 잘못된 정보를 확대한다.
  • 어느 Agent가 최종 판단했는지 불명확해진다.
  • 실행권한과 책임이 분산된다.
  • 대화와 검증이 반복되어 처리시간이 길어진다.

따라서 Multi-Agent 구조에는 다음이 필요하다.

  • Agent별 역할과 목표
  • 접근 가능한 데이터와 도구
  • 우선순위와 충돌조정 규칙
  • 작업 인계의 입력과 출력 형식
  • 최종 판단과 승인 책임
  • 중복실행 방지
  • 전체 수행이력 추적
  • Agent를 중단하거나 격리하는 방법

ISA-95는 생산·품질·정비·재고와 같은 제조운영 활동과 기업시스템 및 제어시스템 사이의 기능과 정보교환을 구분한다. AI Agent의 역할을 설계할 때도 이러한 기존 제조업무의 경계와 책임을 무시해서는 안 된다. ISA-95 표준 개요

Multi-Agent의 목적은 사람의 조직도를 그대로 AI로 복제하는 것이 아니다.

복잡한 판단을 전문영역별로 나누되, 최종 실행의 권한과 책임을 명확하게 유지하는 것이다.

5. AI Agent는 제조시스템과 어떻게 연결되는가

AI Agent가 제조업무를 수행하려면 ERP와 MES, QMS, CMMS, PLM, SCADA와 설비제어시스템에 연결되어야 한다.

하지만 Agent에게 각 시스템의 데이터베이스와 제어기기를 직접 개방하는 것은 위험하다.

Agent는 자연어를 처리하고 상황에 따라 다양한 계획을 만들 수 있다. 이러한 유연성이 통제되지 않은 시스템 접근과 결합되면 예상하지 못한 실행이 발생할 수 있다.

따라서 AI Agent와 제조시스템 사이에는 명확한 인터페이스와 통제계층이 필요하다.

① 읽기와 쓰기를 구분한다

정보조회와 시스템 변경은 위험수준이 다르다.

읽기 기능

  • 생산실적 조회
  • 센서와 알람 조회
  • 품질검사 결과 조회
  • 부품재고 확인
  • 작업표준과 도면 검색

쓰기 기능

  • 작업지시 생성과 변경
  • 정비작업 발행
  • 검사주기 변경
  • 자재구매 요청
  • 설비 설정값 변경
  • AGV 작업명령 생성

초기에는 읽기 중심으로 구성하고, 검증된 업무부터 쓰기 권한을 확대해야 한다.

② 정해진 업무도구만 사용한다

Agent가 임의의 SQL이나 PLC 명령을 직접 생성해 실행하지 않도록 한다.

다음과 같이 기능과 입력범위가 정해진 도구를 제공해야 한다.

  • 생산실적_조회(설비, 시작시간, 종료시간)
  • 정비이력_조회(설비번호)
  • 정비작업_초안생성(설비, 점검항목, 희망일시)
  • 생산계획_시뮬레이션(계획안_ID)
  • 공정조건_변경요청(설비, 변수, 변경값, 승인번호)

도구 내부에서 데이터 형식과 권한, 허용범위를 다시 확인한다.

③ API와 통합계층을 사용한다

AI Agent가 생산시스템 내부구조에 직접 의존하지 않도록 기존 API와 ESB, 데이터 허브, 제조통합 플랫폼을 이용한다.

각 시스템의 기능과 책임을 유지하면서 필요한 정보와 작업만 표준화된 형태로 제공한다.

④ OT 제어경계를 보호한다

MES 작업지시 변경과 PLC 설정값 변경은 같은 수준의 작업이 아니다.

설비제어에 가까워질수록 더 강한 검증과 제한이 필요하다.

AI Agent가 안전 PLC와 비상정지, 인터록을 변경하거나 우회할 수 있어서는 안 된다.

안전기능은 Agent와 독립된 보호계층으로 유지해야 한다.

⑤ 최소권한을 적용한다

Agent에는 맡은 업무에 필요한 최소한의 권한만 부여한다.

정비 Agent가 원가정보 전체를 조회하거나 ERP의 구매를 최종 승인할 필요는 없다.

생산 Agent가 안전제어 로직을 수정할 이유도 없다.

최소권한은 사용자뿐 아니라 Agent와 서비스 계정에도 적용되어야 한다.

⑥ 모든 행동을 기록한다

  • 누가 Agent에 요청했는가
  • Agent가 어떤 데이터를 조회했는가
  • 어떤 도구를 호출했는가
  • 도구에 어떤 값을 전달했는가
  • 어떤 승인정보를 사용했는가
  • 시스템에서 실제로 무엇이 변경됐는가
  • 실행결과와 오류는 무엇이었는가

ISA/IEC 62443 시리즈는 산업자동화·제어시스템의 보안을 위한 요구사항과 프로세스를 다룬다. 제조 AI Agent를 OT에 연결할 때도 인증과 접근통제, 네트워크 분리, 최소권한, 보안 모니터링과 같은 기존 산업제어 보안원칙을 그대로 적용해야 한다. ISA/IEC 62443 시리즈

Agent를 연결한다고 기존 제조시스템의 책임을 Agent로 옮겨서는 안 된다.

AI Agent는 기존 시스템의 기능을 정해진 권한과 인터페이스를 통해 조정하는 계층으로 설계되어야 한다.

6. Digital Twin은 Agent의 실행을 어떻게 검증하는가

AI Agent는 목표를 달성하기 위해 행동을 선택한다.

그러나 선택한 행동이 실제 공장에서 어떤 결과를 발생시킬지는 별도의 검증이 필요하다.

6회차에서 살펴본 Digital Twin은 Agent의 판단과 현실의 실행 사이에서 가상검증 환경으로 작동한다.

예를 들어 생산 Agent가 긴급주문을 반영해 다음의 계획을 제안했다고 가정해보자.

“제품 B의 생산순서를 앞으로 이동하고 프레스 2호기의 작업 일부를 3호기로 재배정한다.”

이 계획은 납기를 단축할 수 있지만 다음의 부작용이 발생할 수 있다.

  • 금형교체 횟수가 증가한다.
  • 프레스 3호기의 부하가 높아진다.
  • 원재료 공급순서가 맞지 않을 수 있다.
  • 후공정에 재공품이 집중된다.
  • 계획정비 시간이 사라질 수 있다.
  • 다른 주문의 납기가 지연될 수 있다.

Agent는 실행 전에 Digital Twin에 계획안을 전달한다.

① 현재상태 반영

Digital Twin은 다음의 현실정보를 갱신한다.

  • 현재 생산진도
  • 설비상태와 고장위험
  • 금형과 공구 가용성
  • 원재료와 재공품
  • 작업자와 교대시간
  • 주문별 납기와 우선순위

② 가상실행

Agent가 제시한 생산계획을 현실의 시스템에는 적용하지 않고 가상공장에 먼저 적용한다.

③ KPI 영향 분석

  • 주문별 완료시간
  • 설비가동률과 대기시간
  • 금형교체시간
  • 재공품과 병목
  • 불량발생 가능성
  • 설비고장 위험
  • 에너지 피크
  • 작업자 투입시간

④ 제약조건 검증

  • 설비능력을 초과하지 않는가
  • 작업자의 자격과 근무시간을 지키는가
  • 품질규격과 공정조건을 만족하는가
  • 계획정비와 안전조건을 위반하지 않는가
  • 자재와 금형을 실제로 사용할 수 있는가

⑤ 대안 생성

기존 안이 조건을 만족하지 못하면 Agent는 Digital Twin의 결과를 이용해 새로운 계획을 만든다.

이 과정은 정해진 횟수와 시간 안에서만 반복해야 한다.

무제한으로 계획과 시뮬레이션을 반복하면 실행이 지연되거나 예상하지 못한 결과를 선택할 수 있다.

⑥ 승인 또는 자동실행

검증결과가 허용범위 안에 있으면 담당자에게 승인요청을 보낸다.

위험이 낮고 이미 검증된 업무는 사전 정책에 따라 자동승인할 수 있다.

⑦ 실행 후 비교

현실에서 실행한 뒤 Digital Twin의 예상결과와 실제결과를 비교한다.

예상과 현실의 차이가 크면 Agent의 자동실행 범위를 축소하고 Twin과 판단모델을 다시 검증한다.

NIST의 제조 Digital Twin 연구에서도 Digital Twin의 권고를 사람이 평가하고 실행하는 구조와 자동화된 피드백을 제어기에 전달하는 구조를 구분한다. 자동피드백으로 갈수록 데이터와 모델, 통신과 제어에 대한 더 엄격한 검증이 필요하다. NIST, Building a Digital Twin of a CNC Machine Tool

Digital Twin은 Agent가 항상 올바른 판단을 내린다고 보증하지 않는다.

Twin 역시 현실을 단순화한 모델이고 오차가 존재한다.

따라서 중요한 결정에는 모델의 적용범위와 불확실성, 사람의 검토를 함께 고려해야 한다.

AI Agent가 행동을 계획한다면 Digital Twin은 그 행동이 현실에서 허용될 수 있는지를 시험한다.

7. 제조 AI Agent에 어디까지 권한을 부여해야 하는가

AI Agent의 효과를 높이기 위해 가능한 한 많은 권한을 주고 싶을 수 있다.

그러나 제조현장에서 자율성은 많을수록 좋은 기능이 아니다.

Agent가 잘못 판단했을 때 발생하는 영향과 복구 가능성에 따라 권한을 구분해야 한다.

① 조회형 Agent

Agent는 데이터를 읽고 설명하지만 시스템을 변경하지 않는다.

  • 생산현황 조회
  • 품질문제 분석
  • 설비이력 검색
  • 작업표준 안내
  • 보고서 작성

초기 도입에 적합하다.

② 초안작성형 Agent

Agent는 실행에 필요한 초안을 만들지만 시스템에는 반영하지 않는다.

  • 정비작업 초안
  • 생산계획 변경안
  • 품질조치 보고서
  • 자재구매 요청안
  • 검사계획 변경안

담당자가 내용을 확인하고 직접 실행한다.

③ 승인요청형 Agent

Agent가 시스템 변경을 준비하고 담당자에게 승인을 요청한다.

승인되면 정해진 도구를 이용해 실행한다.

  • CMMS 정비작업 생성
  • MES 작업순서 변경
  • QMS 검사주기 확대
  • ERP 구매요청 등록

④ 제한적 자율실행 Agent

위험이 낮고 충분히 검증된 업무를 정해진 조건 안에서 자동실행한다.

  • 이상설비 점검요청 생성
  • AGV의 제한된 경로 재배정
  • 에너지 피크를 피하기 위한 보조설비 운전조정
  • 기준에 따른 검사샘플 확대
  • 안전재고 이하 품목의 발주초안 생성

⑤ 감독형 자율 Agent

Agent가 지속해서 상황을 관찰하고 대응하며 사람은 예외와 결과를 감독한다.

이 수준은 제한된 공정과 명확한 운전영역에서만 적용해야 한다.

⑥ 직접제어 Agent

설비의 설정값과 제어명령을 자동으로 변경한다.

가장 높은 위험을 가진다.

직접제어가 필요한 경우에도 다음의 조건이 필요하다.

  • 변경 가능한 변수와 범위가 제한되어 있다.
  • 기존 제어시스템의 인터록을 통과한다.
  • Digital Twin 또는 공정모델에서 사전 검증한다.
  • 모델의 신뢰도가 기준 이상이다.
  • 실행 전후의 품질과 설비상태를 확인한다.
  • 이상 발생 시 즉시 이전 상태로 복구한다.
  • 비상정지와 안전시스템은 Agent와 독립되어 있다.

권한수준을 결정할 때는 다음을 함께 평가해야 한다.

평가기준낮은 위험높은 위험
실행의 영향일부 보고서·일정품질·안전·설비제어
복구 가능성쉽게 취소·수정복구가 어렵거나 불가능
업무의 반복성반복적·표준화비정형·예외가 많음
규칙의 명확성허용범위가 명확판단기준이 불명확
데이터 신뢰도충분하고 안정적누락·변동이 큼
모델 검증운영조건에서 검증새로운 조건
권장 방식제한적 자동실행전문가 검토와 승인

NIST AI RMF는 AI 시스템의 위험수준과 조직의 위험허용도에 따라 감독과 관리자원을 다르게 배분하고, 운영 중 성능과 신뢰성을 지속해서 감시하도록 제시한다. NIST AI RMF, NIST AI RMF Manage 지침

Agent의 권한은 기술적으로 가능한 범위로 정해서는 안 된다.

오류가 발생했을 때 조직이 감당하고 복구할 수 있는 범위로 정해야 한다.

8. AI Agent가 실패하면 어떻게 멈추고 복구해야 하는가

AI Agent는 실패할 수 있다.

데이터를 잘못 해석하거나 오래된 문서를 사용할 수 있다. 존재하지 않는 원인을 그럴듯하게 설명하고, 잘못된 도구를 선택하거나 작업을 반복할 수도 있다.

외부 시스템의 오류와 네트워크 단절, 권한설정 문제로 일부 작업만 실행되는 경우도 있다.

따라서 정상적인 수행과정만 설계해서는 안 된다.

Agent가 실패할 때 어떻게 감지하고 멈추며 복구할지를 함께 설계해야 한다.

① 잘못된 정보 생성

Agent가 실제 데이터와 문서에 근거하지 않은 내용을 생성할 수 있다.

대응방안

  • 답변과 판단의 출처를 표시한다.
  • 승인된 문서와 데이터만 사용한다.
  • 주요 수치와 설비상태는 원천시스템에서 다시 확인한다.
  • 근거가 부족하면 판단하지 않고 추가정보를 요청한다.

② 잘못된 대상 선택

설비명과 제품코드가 유사하면 다른 설비에 작업을 요청할 수 있다.

대응방안

  • 공통 식별자를 사용한다.
  • 실행 전에 설비번호와 위치, 작업지시를 다시 확인한다.
  • 중요 작업은 사람이 대상을 명시적으로 확인한다.

③ 오래된 상태 사용

생산계획과 설비상태가 이미 변경됐는데 이전 정보를 기준으로 행동할 수 있다.

대응방안

  • 데이터의 발생시간과 갱신시간을 확인한다.
  • 실행 직전에 현재상태를 다시 조회한다.
  • 계획수립 이후 상태가 변경되면 기존 승인을 무효화한다.

④ 작업의 무한반복

Agent가 목표를 달성하지 못한 채 검색과 계획, 시뮬레이션을 계속 반복할 수 있다.

대응방안

  • 최대 작업단계와 실행시간을 제한한다.
  • 동일 도구의 반복호출 횟수를 제한한다.
  • 목표가 달성되지 않으면 사람에게 전환한다.

⑤ 부분실행

MES 작업은 변경됐지만 CMMS 작업이 생성되지 않는 등 일부만 실행될 수 있다.

대응방안

  • 여러 작업을 하나의 실행단위로 관리한다.
  • 각 단계의 성공 여부를 확인한다.
  • 중간에 실패하면 이전 상태로 되돌리는 보상작업을 정의한다.
  • 복구할 수 없는 작업은 실행 전에 별도로 승인받는다.

⑥ 권한초과

Agent가 허용되지 않은 데이터나 기능에 접근할 수 있다.

대응방안

  • 역할별 최소권한을 적용한다.
  • Agent마다 별도의 계정과 자격증명을 사용한다.
  • 중요한 도구는 실행 시점에 다시 권한을 확인한다.
  • 비정상적인 접근은 차단하고 보안담당자에게 알린다.

⑦ 위험한 공정조건 변경

Agent가 설비와 제품의 안전범위를 벗어난 값을 제안할 수 있다.

대응방안

  • 허용범위를 Agent의 프롬프트가 아니라 실행도구에 강제한다.
  • Digital Twin과 업무규칙에서 사전 검증한다.
  • PLC와 안전시스템의 인터록을 유지한다.
  • 위험한 변경은 사람의 이중승인을 받는다.

⑧ 모델과 데이터의 변화

처음에는 정상적으로 작동하던 Agent가 신제품과 설비변경 이후 잘못 판단할 수 있다.

대응방안

  • 데이터와 모델의 성능변화를 감시한다.
  • 적용범위를 벗어난 조건을 감지한다.
  • 새로운 제품과 설비에서는 자동실행을 중단한다.
  • 재검증 후 권한을 다시 부여한다.

Agent의 중단은 단순히 프로그램을 종료하는 것이 아니다.

진행 중인 작업과 변경된 시스템의 상태를 확인하고 안전한 상태로 복구해야 한다.

이를 위해 다음이 준비되어야 한다.

  • 긴급중지 기능
  • 수동운영 전환
  • 이전 설정값 복원
  • 미완료 작업목록
  • 담당자 알림
  • 장애원인과 수행이력
  • 재실행과 폐기 기준
  • 사고와 Near-miss 기록

NIST는 AI 시스템의 성능저하와 예상하지 못한 행동, 공격과 Near-miss를 지속해서 감시하고, 조직의 위험허용도를 초과한 시스템은 중단하거나 폐기할 수 있어야 한다고 제시한다. NIST AI RMF Manage 지침

좋은 AI Agent는 많은 작업을 스스로 수행하는 Agent만을 의미하지 않는다.

자신이 판단하기 어려운 상황을 인식하고, 안전하게 멈춘 뒤 사람에게 업무를 넘길 수 있어야 한다.

9. 제조 AI Agent를 현실적으로 도입하는 방법

제조 AI Agent를 도입한다고 처음부터 공장 전체의 시스템과 설비를 연결할 필요는 없다.

하나의 반복업무를 선택하고 조회와 추천, 승인 후 실행, 제한적 자동실행으로 단계적으로 발전시키는 것이 현실적이다.

예를 들어 프레스 설비의 예지보전 업무에 Agent를 도입한다면 다음과 같이 접근할 수 있다.

① 문제와 목표를 정의한다

“프레스 주요 베어링의 이상징후를 조기에 발견하고 정비계획 수립시간과 비계획 정지를 줄인다.”

목표 KPI를 정한다.

  • 비계획 정지시간
  • 고장 사전감지율
  • 불필요한 점검건수
  • 정비계획 작성시간
  • 부품 긴급구매 건수

② 현재 업무를 정리한다

현재 작업자가 어떤 순서로 업무를 수행하는지 확인한다.

  • 알람 확인
  • 센서추세 분석
  • 설비이력 조회
  • 매뉴얼 검색
  • 현장점검
  • 부품재고 확인
  • 정비일정 협의
  • 작업지시 발행
  • 결과기록

업무에서 시간이 오래 걸리는 부분과 반복되는 부분을 찾는다.

③ 조회형 Agent부터 시작한다

초기 Agent에는 실행권한을 주지 않는다.

다음의 정보만 조회하고 요약하도록 한다.

  • 진동과 온도 추세
  • 최근 알람
  • 정비와 부품교체 이력
  • 과거 유사고장
  • 설비매뉴얼
  • 부품재고

④ 판단의 근거를 검증한다

Agent가 제시한 원인과 점검항목을 정비전문가가 확인한다.

틀린 답변과 누락된 정보를 기록하고 데이터와 지식체계를 개선한다.

⑤ 정비안 초안을 작성한다

Agent가 다음 내용을 포함한 정비계획 초안을 작성한다.

  • 예상 고장부위
  • 판단근거와 신뢰도
  • 권장 점검항목
  • 필요한 부품과 공구
  • 예상 작업시간
  • 생산영향
  • 대체 가능한 정비시점

⑥ Digital Twin에서 생산영향을 검증한다

정비시점별로 생산계획과 납기, 대체설비의 부하를 비교한다.

Agent가 고장위험만 보고 정비시점을 정하지 않도록 한다.

⑦ 승인 후 CMMS에 등록한다

정비담당자가 계획을 검토하고 승인하면 Agent가 CMMS에 작업을 생성한다.

Agent가 입력한 내용과 승인자의 수정내용을 모두 기록한다.

⑧ 결과를 다시 수집한다

정비 후 실제 부품상태와 고장원인, 작업시간을 기록한다.

Agent의 예측과 실제결과를 비교한다.

⑨ 제한적 자동화를 적용한다

충분히 검증된 업무부터 자동화한다.

  • 기준 이상의 이상징후가 발생하면 점검요청 자동생성
  • 필요한 센서추세와 이력을 작업지시에 자동첨부
  • 부품재고 부족 시 구매요청 초안 생성
  • 계획정지 시간에 맞춘 정비일정 후보 작성

정비의 최종 승인과 안전조치는 사람이 담당한다.

⑩ 적용범위를 확대한다

첫 번째 설비에서 성과와 안전성이 확인되면 유사한 프레스와 다른 회전설비로 확대한다.

신규 설비와 다른 고장모드에는 별도의 검증을 수행한다.

제조 AI Agent의 도입단계를 정리하면 다음과 같다.

검색과 요약

↓

상황분석

↓

업무초안 작성

↓

대응안 추천

↓

Digital Twin 검증

↓

사람의 승인 후 실행

↓

제한된 범위의 자동실행

↓

결과평가와 지속적 개선

중요한 것은 Agent의 자율성을 먼저 높이는 것이 아니다.

하나의 제조업무에서 데이터와 판단, 검증과 승인, 실행과 결과평가가 실제로 연결되는지를 먼저 증명하는 것이다.

10. 경영진은 AI Agent의 자율성보다 무엇을 확인해야 하는가

AI Agent 사업을 추진할 때 경영진은 “사람 없이 얼마나 많은 업무를 처리할 수 있는가”에 관심을 가질 수 있다.

그러나 자율성의 수준만으로 사업의 성과와 안전성을 판단해서는 안 된다.

다음과 같은 질문이 필요하다.

첫째, Agent가 해결하려는 제조문제와 목표가 명확한가.

AI Agent 도입 자체가 목표가 되어서는 안 된다.

불량과 고장, 납기와 재고, 에너지와 같은 제조성과에 연결되어야 한다.

둘째, Agent가 어떤 데이터와 제조 지식을 사용하는가.

원천데이터와 문서의 출처, 최신성과 품질을 확인해야 한다.

셋째, Agent가 사용할 수 있는 도구와 시스템은 무엇인가.

ERP와 MES, CMMS와 설비제어 가운데 어디까지 조회하고 변경할 수 있는지 명확해야 한다.

넷째, 조회권한과 실행권한이 구분되어 있는가.

정보를 읽는 기능과 현실의 상태를 변경하는 기능은 별도로 통제해야 한다.

다섯째, Agent의 판단은 어떻게 검증되는가.

업무규칙과 품질기준, Digital Twin을 통해 실행 전 영향을 확인해야 한다.

여섯째, 어떤 작업은 자동으로 실행되고 어떤 작업은 승인을 받는가.

업무의 위험수준에 따라 승인조건과 책임자를 정해야 한다.

일곱째, Agent의 행동과 승인과정을 추적할 수 있는가.

사용한 데이터와 판단근거, 도구호출과 실행결과가 모두 기록되어야 한다.

여덟째, 잘못된 행동을 어떻게 차단하고 복구하는가.

비상중지와 수동전환, 이전 상태 복원과 장애대응 절차가 필요하다.

아홉째, Agent의 성능을 지속해서 관리하는 책임자가 있는가.

언어모델과 제조데이터, 업무규칙, 인터페이스가 변경될 때 재검증해야 한다.

열째, Agent가 실제 제조성과를 개선했는가.

다음의 지표를 확인해야 한다.

  • 문제분석 시간 단축
  • 작업지시 작성시간 감소
  • 불량과 비계획 정지 감소
  • 납기준수율 향상
  • 작업자의 반복업무 감소
  • 잘못된 추천과 실행의 빈도
  • 작업자의 수정·거부 비율
  • Agent 도입과 운영비용
  • 예상하지 못한 부작용과 Near-miss

경영진이 확인해야 할 것은 Agent가 사람처럼 말하는가가 아니다.

Agent가 어떤 책임을 맡고 있으며, 그 판단과 실행을 조직이 통제하고 결과에 책임질 수 있는가이다.

마치며

제조 AI Agent는 단순한 챗봇이 아니다.

작업자의 질문에 답하고 보고서를 작성하는 기능은 출발점일 뿐이다.

AI Agent는 제조의 목표를 이해하고 필요한 데이터와 지식을 찾는다. 해결해야 할 문제를 작업단위로 나누고 적절한 도구를 선택한다.

Digital Twin과 업무규칙으로 대응안을 검증하고, 필요한 경우 사람에게 승인을 요청한다.

승인된 작업을 MES와 QMS, CMMS와 ERP에 반영하고 그 결과가 실제로 목표를 달성했는지 확인한다.

결국 제조 AI Agent의 기본 흐름은 다음과 같다.

목표를 이해한다.

현재상태를 확인한다.

필요한 데이터와 지식을 찾는다.

수행할 작업을 계획한다.

가능한 대응방안을 만든다.

Digital Twin과 업무규칙으로 검증한다.

필요한 승인을 받는다.

허용된 도구로 실행한다.

결과를 확인한다.

실패하면 멈추고 복구한다.

경험을 기록해 다음 판단을 개선한다.

이 흐름이 연결될 때 생성형 AI는 단순한 정보도구에서 제조운영의 일부를 수행하는 Agent로 발전할 수 있다.

그러나 Agent가 더 많은 일을 수행한다고 반드시 더 좋은 자율제조가 되는 것은 아니다.

Agent의 권한이 커질수록 잘못된 판단의 영향도 커진다.

특히 생산계획과 공정조건, 설비제어에 접근하는 Agent에는 일반적인 사무업무용 AI보다 훨씬 엄격한 데이터 품질과 권한관리, 검증과 안전장치가 필요하다.

사람의 승인을 없애는 것도 자율제조의 최종목표가 아니다.

반복적이고 위험이 낮으며 충분히 검증된 업무는 Agent가 수행할 수 있다. 새로운 상황과 불확실성이 높은 판단, 안전과 품질에 중대한 영향을 주는 결정은 사람이 맡아야 한다.

AI가 판단할 수 없는 상황을 인식하고 사람에게 넘기는 것도 Agent가 갖추어야 할 중요한 능력이다.

제조 AI Agent의 경쟁력은 얼마나 자율적으로 행동하는가만으로 결정되지 않는다.

정확한 제조 지식에 근거해 판단하고, 검증된 범위에서 실행하며, 실패했을 때 안전하게 멈출 수 있는가.

바로 이 능력이 AI의 판단을 실제 제조의 실행으로 연결하는 기반이 될 것이다.

다음 글에서는 제조 AI Agent가 데이터를 넘어 제조현장의 의미와 관계를 이해하기 위해 필요한 지식체계를 살펴보고자 한다.

같은 설비와 제품을 시스템마다 다르게 부르고, 작업자의 경험이 문서와 시스템에 흩어져 있다면 AI Agent는 어떻게 정확하게 판단할 수 있을까.

[자율제조 시리즈 ⑧] 제조 온톨로지와 지식그래프는 왜 AI Agent의 판단 기반이 되는가?

참고자료