자율제조 AI 거버넌스는 무엇을 통제해야 하는가?

AI가 제조현장에 들어오면 처음에는 사람의 판단을 돕는다.

제품의 불량 가능성을 알려주고 설비의 이상을 예측하며 생산계획의 대안을 제시한다.

이 단계에서는 AI의 결과가 잘못되더라도 작업자와 관리자가 다시 확인할 수 있다.

그러나 자율제조가 발전하면 AI의 역할도 달라진다.

AI는 단순히 정보를 보여주는 데서 끝나지 않는다.

• 생산순서를 변경한다.
• 공정조건을 조정한다.
• 설비점검을 요청한다.
• 부품교체 시점을 결정한다.
• 불량으로 의심되는 제품을 격리한다.
• 물류로봇과 작업설비에 명령을 전달한다.
• 여러 Agent가 서로 협의해 작업계획을 다시 만든다.

이때부터 AI의 판단은 현실의 제조공정에 직접 영향을 준다.

잘못된 판단은 화면 속 오류로 끝나지 않는다.

생산이 중단되고 정상제품이 폐기될 수 있다. 설비가 손상되거나 작업자의 안전을 위협할 수도 있다. 납기와 품질, 비용과 고객 신뢰에도 영향을 미친다.

따라서 자율제조에서는 AI를 얼마나 많이 사용하는가보다 먼저 확인해야 할 것이 있다.

AI가 무엇을 판단할 수 있으며, 어디까지 실행할 수 있고, 누가 그 권한과 결과에 책임지는가.

이것이 자율제조 AI 거버넌스의 출발점이다.

---

1. 자율제조 AI 거버넌스란 무엇인가

AI 거버넌스를 단순히 윤리규정이나 보안규칙으로 이해하기 쉽다.

그러나 제조현장에서의 AI 거버넌스는 더 구체적이어야 한다.

자율제조 AI 거버넌스는 다음을 결정하고 통제하는 체계다.

• 어떤 제조문제에 AI를 사용할 것인가
• 어떤 데이터와 지식을 사용할 수 있는가
• AI가 어떤 판단을 내릴 수 있는가
• 그 판단을 누가 검토하고 승인하는가
• AI가 설비와 업무에 어디까지 개입할 수 있는가
• 어떤 조건에서 자동실행을 중단하는가
• 잘못된 판단이 발생하면 누가 대응하고 책임지는가
• 모델과 Agent의 변경을 어떻게 검증하고 승인하는가
• 모든 판단과 실행을 나중에 재현할 수 있는가
• 더 이상 신뢰할 수 없는 AI를 어떻게 중단하고 폐기하는가

ISO/IEC 42001:2023은 AI를 개발·제공·사용하는 조직이 정책과 목표, 책임과 절차를 수립하고 지속해서 개선하는 AI 경영시스템을 제시한다. ISO/IEC 38507:2022는 조직의 최고 의사결정기구가 AI의 현재와 미래 활용을 효과적이고 효율적이며 수용 가능한 방식으로 관리하도록 지침을 제공한다.

따라서 거버넌스는 데이터팀이 운영규칙을 문서로 작성하는 일이 아니다.

경영과 생산, 품질과 설비, IT·OT와 보안이 AI의 권한과 책임을 공동으로 결정하는 일이다.

이를 간단히 정리하면 다음과 같다.

경영진은 AI를 사용할 목적과 허용위험을 정한다.

↓

현장과 품질은 AI가 지켜야 할 제조규칙을 정의한다.

↓

데이터·AI 조직은 판단모델과 Agent를 개발한다.

↓

IT·OT와 보안조직은 안전한 실행환경을 구성한다.

↓

독립된 검토와 승인절차를 거쳐 권한을 부여한다.

↓

운영결과를 감시하고 문제가 발생하면 중단·복구한다.

AI 거버넌스의 목적은 AI의 사용을 막는 것이 아니다.

AI가 책임질 수 없는 권한을 갖지 않도록 하고, 조직이 통제할 수 있는 범위 안에서 AI를 활용하는 것이다.

---

2. 무엇을 거버넌스의 대상으로 관리해야 하는가

자율제조에서는 모델 파일만 관리해서는 안 된다.

실제 판단은 데이터와 모델, 규칙과 시스템, 사람과 설비가 결합해 이루어지기 때문이다.

① 데이터

• 센서와 카메라 데이터
• PLC와 설비제어 데이터
• MES·QMS·ERP 데이터
• 작업표준과 품질기준
• 정비이력과 고장기록
• 제품과 LOT의 추적정보
• 작업자 입력과 수정내용
• 외부 공급망과 환경데이터

데이터의 출처와 품질, 사용권한과 보존기간을 관리해야 한다.

② AI 모델

• 예측모델
• 분류모델
• 이상탐지모델
• 최적화모델
• 비전검사모델
• 수요예측모델
• 자연어모델
• 강화학습 기반 제어모델

모델별 목적과 버전, 학습데이터와 성능, 적용범위와 제한조건이 등록돼야 한다.

③ AI Agent

Agent는 단순히 답변을 생성하는 모델이 아니다.

목표를 해석하고 여러 도구와 시스템을 호출하며 다음 행동을 결정할 수 있다.

따라서 다음을 별도로 관리해야 한다.

• Agent에 부여된 목표
• 사용할 수 있는 데이터
• 호출할 수 있는 도구와 API
• 다른 Agent와의 통신권한
• 실행 가능한 명령
• 승인받아야 하는 행동
• 반복실행과 종료조건
• 메모리와 기록의 보존범위

④ 온톨로지와 지식그래프

온톨로지는 설비와 제품, 공정과 불량, 원인과 조치의 관계를 AI가 이해할 수 있도록 표현한다.

잘못된 관계와 규칙이 등록되면 여러 AI와 Agent가 같은 오류를 반복할 수 있다.

따라서 다음을 관리해야 한다.

• 개념과 용어의 정의
• 설비·제품·공정의 식별체계
• 관계와 추론규칙
• 품질규격과 안전조건
• 변경이력과 승인자
• 데이터 원천과 신뢰수준
• 충돌하는 규칙의 우선순위

⑤ Digital Twin과 시뮬레이션

Digital Twin이 실제 설비를 정확하게 반영하지 못하면 AI는 잘못된 가상환경에서 최적의 답을 찾게 된다.

• 실제 설비와 Twin의 구성 일치
• 센서와 변수의 연결
• 물리모델과 가정
• 시뮬레이션 유효범위
• 모델 보정시점
• 실제결과와의 오차
• Twin 결과의 사용목적

⑥ 실행시스템

AI 판단이 MES와 PLC, 로봇과 설비제어로 전달되는 경로도 거버넌스 대상이다.

• API와 메시지
• 제어명령
• 계정과 권한
• 네트워크 경로
• 승인 인터페이스
• 비상정지와 안전회로
• 로그와 감사기록
• 장애복구 절차

결국 자율제조 AI 거버넌스의 대상은 하나의 모델이 아니다.

데이터에서 판단이 만들어지고, 그 판단이 현실의 실행으로 이어지는 전체 연결구조다.

---

3. AI의 위험등급은 어떻게 구분해야 하는가

모든 AI를 같은 수준으로 통제할 필요는 없다.

회의록을 요약하는 AI와 설비의 운전조건을 변경하는 AI에 같은 승인절차를 적용하면 비효율적이다.

반대로 설비에 명령을 내리는 AI를 일반 업무용 챗봇처럼 운영해서도 안 된다.

위험등급은 기술의 종류보다 다음 질문을 기준으로 정하는 것이 좋다.

• AI가 현실의 제조공정에 직접 영향을 주는가
• 결과가 사람의 안전에 영향을 주는가
• 제품의 핵심 품질과 법적 요구사항에 영향을 주는가
• 잘못된 실행을 즉시 되돌릴 수 있는가
• 사람이 실행 전에 검토할 수 있는가
• 영향범위가 한 설비인가, 전체 공장인가
• 고객과 공급망까지 결과가 전달되는가
• 작업자의 평가와 배치에 사용되는가

제조현장의 AI를 다음과 같이 구분할 수 있다.

유럽연합 AI Act도 AI의 위험에 따라 요구사항을 차등 적용한다. 고위험 AI에는 위험관리, 데이터 품질, 기술문서, 기록과 추적성, 사람의 감독, 정확성·견고성과 사이버보안 등의 요구가 제시된다. 다만 제조 AI라고 해서 모두 자동으로 고위험 AI가 되는 것은 아니다. 제품의 안전기능, 사용목적, 작업자 관리 여부 등 구체적인 적용조건을 확인해야 한다.

위험등급은 프로젝트 시작 때 한 번 정하고 끝내서도 안 된다.

다음과 같은 변화가 발생하면 다시 평가해야 한다.

• 추천형 AI가 자동실행형으로 변경됐다.
• 적용설비와 제품이 확대됐다.
• 새로운 Agent와 외부도구가 연결됐다.
• 안전 또는 핵심 품질에 영향을 주기 시작했다.
• 처리하는 데이터의 민감도가 높아졌다.
• AI의 판단을 작업자가 확인하기 어려워졌다.
• 실패 시 영향범위가 커졌다.

거버넌스의 강도는 AI라는 이름에 따라 정하는 것이 아니다.

잘못된 판단이 현실에 미치는 영향과 그 결과를 회복할 수 있는 정도에 따라 정해야 한다.

---

4. AI에 어느 수준까지 권한을 줄 것인가

자율화는 사람을 한 번에 제거하는 과정이 아니다.

AI의 성능과 위험, 공정의 안정성에 따라 권한을 단계적으로 확대하는 과정이다.

수준 0. 정보조회

AI는 데이터를 검색하고 현재 상태를 설명한다.

실행권한은 없다.

수준 1. 분석과 경보

AI는 이상징후와 위험을 알린다.

무엇을 할지는 사람이 결정한다.

수준 2. 대안 추천

AI는 여러 대안과 예상결과를 제시한다.

작업자가 대안을 선택하고 실행한다.

수준 3. 승인 후 실행

AI가 실행계획을 만들지만 사람의 승인을 받아야 명령을 전달할 수 있다.

수준 4. 제한적 자동실행

사전에 승인된 조건과 범위 안에서 자동으로 실행한다.

기준을 벗어나면 즉시 사람에게 전환한다.

수준 5. 고도 자율운영

여러 AI와 Agent가 상황을 분석하고 계획을 조정하며 실행한다.

사람은 정책과 제한조건을 설정하고 예외와 사고를 감독한다.

그러나 높은 자율화 수준이 항상 좋은 것은 아니다.

제품 종류가 자주 바뀌거나 고장사례가 부족하고 안전영향이 큰 공정이라면 승인형 운영이 더 적합할 수 있다.

AI에 권한을 부여할 때에는 최소한 다음을 명시해야 한다.

• 대상공장과 설비
• 적용제품과 공정
• 실행 가능한 명령
• 변경 가능한 변수
• 변수별 상한과 하한
• 1회 변경 가능폭
• 반복실행 횟수
• 실행 가능 시간대
• 승인 필요조건
• 자동중단 조건
• 금지된 행동
• 비상시 복구방법

예를 들어 에너지 최적화 Agent에 다음과 같은 모호한 목표를 주어서는 안 된다.

전력비용을 최소화하라.

이 목표만 따르면 Agent는 생산량이나 품질, 작업환경을 희생해 전력비용을 낮출 수 있다.

다음과 같이 제한조건을 함께 정의해야 한다.

납기준수율과 생산량을 유지하고 품질·안전·작업환경 기준을 위반하지 않는 범위에서 피크전력과 에너지 비용을 최소화하라.

자율제조에서 중요한 것은 AI의 지능이 아니다.

AI가 넘을 수 없는 경계를 얼마나 명확하게 정의했는가이다.

---

5. 사람의 감독은 어떻게 설계해야 하는가

Human-in-the-loop라는 표현을 사용한다고 사람의 감독이 작동하는 것은 아니다.

작업자가 AI의 판단을 이해하지 못하거나 짧은 시간 안에 수십 개의 경보를 승인해야 한다면 실제 감독이라고 보기 어렵다.

2026년 10월 발행 단계에 들어간 ISO/IEC 42105는 AI 시스템의 인간 감독에 관한 지침을 다룬다. 이는 사람을 절차상 승인자로 배치하는 데서 끝나지 않고, 실제로 감독하고 개입할 수 있는 구조가 필요하다는 방향과 연결된다.

사람의 감독은 다음과 같이 구분할 수 있다.

① Human-in-the-loop

AI의 판단을 사람이 승인해야 실행된다.

• 신규 모델
• 고위험 공정
• 안전 관련 판단
• 중요한 품질판정
• 예외적 생산조건

② Human-on-the-loop

AI가 승인된 범위 안에서 자동실행하고 사람은 운영상태를 감독한다.

• 반복적인 공정조정
• 검증된 검사공정
• 제한된 물류경로 변경
• 안정된 설비의 최적화

③ Human-out-of-the-loop

정상운영 중에는 사람이 개입하지 않는다.

다만 독립된 안전장치와 중단조건, 사후감사와 복구수단이 반드시 필요하다.

사람에게 감독책임을 부여하려면 다음 조건을 충족해야 한다.

• AI가 무엇을 판단했는지 알 수 있어야 한다.
• 판단에 사용한 주요 데이터와 근거를 확인할 수 있어야 한다.
• 모델의 불확실성과 제한조건을 볼 수 있어야 한다.
• 승인하거나 거부할 충분한 시간이 있어야 한다.
• AI의 실행을 중단할 권한이 있어야 한다.
• 거부했다고 불이익을 받지 않아야 한다.
• 반복적으로 수정되는 이유를 보고할 수 있어야 한다.
• 비상시에 수동운영으로 전환할 수 있어야 한다.

다음과 같은 형식적인 감독은 피해야 한다.

• 모든 판단을 작업자가 습관적으로 승인한다.
• 거부사유를 입력할 시간이 없다.
• AI의 근거가 보이지 않는다.
• 작업자에게 중단권한이 없다.
• 경보가 너무 많아 중요한 위험을 구분하기 어렵다.
• AI를 거부하면 생산차질의 책임을 작업자가 부담한다.
• 수동운전 절차가 없어 실제로 전환할 수 없다.

사람을 최종 승인자로 지정했다고 책임문제가 해결되는 것은 아니다.

사람이 상황을 이해하고 다른 결정을 내릴 수 있는 정보와 시간, 권한을 실제로 가지고 있어야 감독이라고 할 수 있다.

---

6. 여러 AI와 Agent는 어떻게 통제해야 하는가

자율제조에서는 하나의 AI가 모든 일을 수행하지 않는다.

생산계획 Agent와 품질 Agent, 설비 Agent와 물류 Agent, 에너지 Agent가 서로 다른 목표를 갖고 협력할 수 있다.

이때 목표가 충돌할 수 있다.

• 생산 Agent는 생산량을 늘리려 한다.
• 품질 Agent는 검사와 공정시간을 늘리려 한다.
• 설비 Agent는 예방정비를 위해 가동을 멈추려 한다.
• 물류 Agent는 재고와 이동거리를 줄이려 한다.
• 에너지 Agent는 전력피크를 낮추려 한다.

각 Agent의 판단이 개별적으로 타당하더라도 전체 공장의 결과는 나빠질 수 있다.

따라서 상위 정책과 우선순위가 필요하다.

예를 들면 다음과 같다.

안전

↓

법규와 고객 품질

↓

설비 보호

↓

납기

↓

생산량

↓

원가와 에너지

낮은 우선순위의 목표가 높은 우선순위의 조건을 침해해서는 안 된다.

Agent 거버넌스에는 다음 항목이 필요하다.

① Agent 신원

어떤 Agent가 판단하고 명령했는지 구분할 수 있어야 한다.

② 역할과 책임

각 Agent가 담당하는 업무와 금지된 업무를 정의한다.

③ 최소권한

업무에 필요한 데이터와 도구만 사용할 수 있도록 한다.

④ 목표와 제한조건

성과목표뿐 아니라 지켜야 할 품질·안전·비용 한계를 함께 설정한다.

⑤ Agent 간 통신규칙

어떤 정보를 공유할 수 있고 어떤 명령을 요청할 수 있는지 정한다.

⑥ 충돌조정

Agent들의 제안이 충돌할 때 적용할 우선순위와 조정주체를 지정한다.

⑦ 실행 전 검증

설비명령을 전달하기 전에 규칙과 안전조건, 현재 상태를 다시 확인한다.

⑧ 반복과 종료조건

Agent가 같은 행동을 무한히 반복하거나 목표를 임의로 확대하지 못하도록 한다.

⑨ 기록

입력과 판단근거, 사용한 도구, 다른 Agent와의 대화, 최종명령과 결과를 남긴다.

⑩ 비상중단

이상행동을 보이는 Agent를 다른 시스템과 분리하고 즉시 권한을 회수할 수 있어야 한다.

Agent가 생성한 명령은 바로 PLC로 전달하지 않는 것이 원칙이다.

다음과 같은 구조가 필요하다.

AI·Agent의 제안

↓

온톨로지와 업무규칙 검증

↓

공정·품질 제한조건 확인

↓

안전시스템의 독립 확인

↓

필요 시 사람 승인

↓

허용된 제어명령으로 변환

↓

실행과 결과확인

AI와 Agent는 목표를 해석할 수 있다.

그러나 안전규칙까지 스스로 바꿀 수 있어서는 안 된다.

---

7. AI와 설비제어의 경계는 어떻게 만들어야 하는가

제조 AI가 설비와 연결되면 AI 거버넌스와 OT 보안을 분리해서 생각할 수 없다.

AI 모델이 정상이어도 계정이 탈취되거나 API가 변조되면 잘못된 명령이 실행될 수 있다.

반대로 보안상 안전한 시스템이라도 AI의 판단 자체가 틀릴 수 있다.

따라서 다음의 통제를 함께 적용해야 한다.

① 제어망 분리

AI 분석환경과 실제 설비제어망 사이에 명확한 경계를 둔다.

② 명령 허용목록

AI가 실행할 수 있는 명령과 변수만 사전에 등록한다.

③ 범위 제한

온도와 압력, 속도와 위치 등의 변경범위를 제한한다.

④ 독립 안전계층

AI와 별개로 PLC 인터록, 안전 PLC, 비상정지와 기계적 보호장치를 유지한다.

⑤ 인증과 권한관리

모델과 Agent, 사용자와 장치를 각각 식별하고 최소권한을 부여한다.

⑥ 서명과 무결성

승인된 모델과 프로그램, 설정파일만 배포하고 실행한다.

⑦ 통신검증

메시지의 출처와 순서, 중복과 위변조 여부를 확인한다.

⑧ 명령과 결과의 대조

AI가 보낸 명령과 설비가 실제로 수행한 결과를 비교한다.

⑨ 장애 시 안전상태

통신이 끊기거나 모델이 응답하지 않을 때 설비가 어떤 상태로 전환될지 정한다.

⑩ 수동전환

AI와 네트워크가 없어도 핵심 공정을 안전하게 운영하거나 정지할 수 있어야 한다.

IEC 62443 시리즈는 산업자동화·제어시스템의 보안을 조직과 기술, 시스템 생애주기 전반에서 다룬다. 특히 IEC 62443-2-1:2024는 자산소유자의 운영 중 보안프로그램 요구사항을 규정하고, IEC 62443-4-1은 산업제어 제품의 안전한 개발 생애주기를 다룬다.

AI가 설비를 제어하더라도 기존 안전시스템을 대체해서는 안 된다.

AI는 허용된 범위 안에서 최적화하고, 독립된 안전계층은 그 범위를 넘는 실행을 차단해야 한다.

---

8. 어떤 기록을 남겨야 책임을 확인할 수 있는가

AI의 결과를 설명할 수 없으면 문제가 발생했을 때 원인을 구분하기 어렵다.

모델이 틀렸는지, 데이터가 잘못됐는지, 작업자가 판단을 변경했는지, 인터페이스가 다른 명령을 전달했는지 확인할 수 있어야 한다.

최소한 다음의 기록이 필요하다.

① 입력기록

• 사용한 데이터
• 수집시간
• 데이터 출처
• 단위와 품질상태
• 누락과 보정내용
• 제품·LOT·설비 정보

② 판단기록

• AI 시스템과 모델버전
• 전처리 로직
• 예측값과 신뢰도
• 판단근거
• 적용한 규칙
• 제한조건과 경고

③ Agent 활동기록

• 부여받은 목표
• 계획한 작업
• 호출한 도구와 API
• 다른 Agent와 교환한 정보
• 실패와 재시도
• 최종 선택의 이유

④ 승인기록

• 승인 또는 거부한 사람
• 승인시각
• 수정내용
• 거부사유
• 예외승인의 근거

⑤ 실행기록

• 전달된 명령
• 실행대상
• 실행시각
• 실행 전후 상태
• 완료 또는 실패
• 중단과 롤백 여부

⑥ 결과기록

• 생산량
• 품질결과
• 설비상태
• 정비결과
• 안전과 환경영향
• 예상하지 못한 부작용

EU AI Act의 고위험 AI 관련 요구에도 기록을 통한 추적성, 기술문서, 사람의 감독과 사후 모니터링이 포함돼 있다.

그러나 모든 데이터를 무조건 오래 저장하는 것이 좋은 거버넌스는 아니다.

다음도 함께 정해야 한다.

• 기록의 목적
• 보존기간
• 접근권한
• 개인정보와 영업비밀
• 위변조 방지방법
• 장기보존 형식
• 삭제와 폐기절차
• 사고조사 시 열람절차

좋은 감사기록은 단순히 로그가 많다는 뜻이 아니다.

다음 질문에 답할 수 있어야 한다.

누가 어떤 AI에 어떤 권한을 주었는가.

AI는 어떤 정보를 바탕으로 무엇을 판단했는가.

사람은 그 판단을 어떻게 검토했는가.

어떤 명령이 실제로 실행됐는가.

그 결과 제조현장에 어떤 변화가 발생했는가.

---

9. 문제가 발생하면 누가 무엇을 해야 하는가

AI 사고가 발생한 뒤 책임자를 찾기 시작해서는 안 된다.

사전에 사고의 유형과 대응주체를 정해야 한다.

① AI 사고의 범위

• 중요 불량의 미검출
• 정상제품의 대량 오판정
• 잘못된 공정조건 변경
• 설비충돌과 손상
• 생산계획의 비정상 변경
• 승인되지 않은 자동실행
• 데이터와 모델의 유출
• Agent의 권한 초과
• 잘못된 작업지시
• 작업자 안전에 대한 위협
• 고객과 공급망으로의 잘못된 정보전달

② 즉시 대응

• AI 자동실행 중지
• 관련 Agent와 계정 격리
• 이전 모델 또는 수동업무 전환
• 영향받은 제품과 LOT 식별
• 설비와 공정상태 확인
• 로그와 증거 보존
• 현장과 경영진 보고
• 고객·협력사 통보 여부 판단

③ 원인분석

원인을 단순히 모델오류로 결론 내리지 않는다.

• 입력데이터 오류
• 센서와 카메라 이상
• 라벨과 품질기준 오류
• 모델성능 저하
• 적용범위 위반
• Agent 목표의 모호성
• 온톨로지와 규칙 오류
• 시스템 인터페이스 오류
• 권한설정 오류
• 작업자와 AI의 상호작용 문제
• 보안침해
• 승인과 변경관리 실패

④ 복구와 재개

문제를 수정했다고 바로 자동운영을 재개해서는 안 된다.

• 수정사항 검증
• 영향을 받은 제품의 재검사
• 이전 결과의 재평가
• 재발방지 조치
• Shadow Mode 재검증
• 현장과 품질의 승인
• 단계적 재배포
• 집중 모니터링

⑤ 사후개선

• 위험평가 수정
• 적용범위 조정
• 중단기준 강화
• 작업표준 개정
• 교육과 훈련
• 공급업체 요구사항 보완
• 유사 모델과 Agent 점검
• 경영진 검토

AI 사고의 책임은 마지막 승인버튼을 누른 작업자 한 사람에게 돌려서는 안 된다.

모델의 목적과 데이터, 시스템과 권한, 작업절차를 설계하고 승인한 조직 전체의 책임구조를 확인해야 한다.

사고대응의 목적은 책임자를 처벌하는 데서 끝나는 것이 아니라, 같은 판단구조가 다른 공정에서 반복되지 않도록 막는 것이다.

---

10. 자율제조 AI 운영조직은 어떻게 구성해야 하는가

AI 거버넌스 위원회를 만들었다고 거버넌스가 완성되는 것은 아니다.

일상적인 제조운영 속에 역할과 승인절차가 연결돼야 한다.

① 경영진과 AI 거버넌스 조직

• AI 정책과 원칙 승인
• 허용 가능한 위험수준 결정
• 고위험 AI의 도입과 중단 승인
• 자동실행 권한 승인
• 투자와 인력 배분
• 중대한 사고의 검토

② AI 시스템 소유자

• 시스템의 목적과 성과
• 적용범위
• 운영예산
• 위험과 규제 준수
• 지속운영과 폐기 결정

③ 생산·공정 담당자

• 제조목표와 공정조건
• 실행 가능한 조치
• 현장 적용성
• 생산변경의 영향
• 작업자 피드백

④ 품질담당자

• 품질규격
• 라벨과 판정기준
• 중요 오류
• 제품격리와 출하판정
• 고객불량과 AI 결과의 연결

⑤ 데이터·AI 담당자

• 데이터와 모델 개발
• 성능평가
• 설명과 불확실성
• Drift 감시
• 재학습과 기술문서

⑥ IT·OT 담당자

• 서버와 Edge
• MES·QMS·PLC 연계
• 배포와 롤백
• 가용성과 복구
• 장치와 네트워크 관리

⑦ 안전·보안 담당자

• 안전조건과 독립 보호계층
• 계정과 권한
• 모델과 데이터 보호
• 취약점과 보안사고
• 외부 연결과 공급망 위험

⑧ 현장 작업자

• AI 판단의 확인과 활용
• 승인과 거부
• 이상행동 보고
• 예외조건 공유
• 수동전환과 비상대응

⑨ 내부감사 또는 독립 검토자

• 정책과 절차의 준수
• 기록과 추적성
• 승인과 권한의 적정성
• 사고조치의 이행
• 이해상충과 독립성

주요 활동의 책임구조는 다음과 같이 정리할 수 있다.

A는 최종 책임, R은 실행책임, C는 협의, I는 공유를 의미한다.

조직규모와 위험수준에 따라 책임배분은 달라질 수 있다.

중요한 것은 위원회의 이름이 아니다.

AI의 목적과 데이터, 판단과 실행, 사고와 폐기에 대해 최종 결정권자가 누구인지 명확하게 하는 것이다.

---

11. AI 영향평가는 언제 어떻게 해야 하는가

모델성능 평가와 AI 영향평가는 다르다.

모델성능 평가는 예측이 얼마나 정확한지를 확인한다.

AI 영향평가는 그 시스템이 사람과 조직, 제조공정과 이해관계자에게 어떤 영향을 줄 수 있는지 확인한다.

ISO/IEC 42005:2025는 AI 시스템과 예측 가능한 활용이 개인과 집단, 사회에 미칠 수 있는 영향을 생애주기 전반에서 식별·평가·문서화하기 위한 지침을 제공한다.

제조 AI의 영향평가에는 다음 항목이 포함돼야 한다.

① 목적과 필요성

• 해결하려는 제조문제
• AI 사용이 필요한 이유
• 기존 방식과의 차이
• 예상되는 효과

② 영향대상

• 작업자
• 품질검사자
• 정비담당자
• 고객
• 협력업체
• 인근 환경과 지역사회

③ 긍정적 영향

• 위험작업 감소
• 품질향상
• 고장과 정지시간 감소
• 에너지와 자원 절감
• 반복업무 감소
• 의사결정시간 단축

④ 부정적 영향

• 잘못된 판정과 실행
• 작업자의 과도한 감시
• 숙련지식의 약화
• 특정 작업자와 공정에 대한 불공정한 평가
• 자동화 의존
• 보안과 개인정보 침해
• 책임의 불명확성
• 공급업체 종속

⑤ 영향의 크기

• 발생 가능성
• 피해의 심각성
• 지속기간
• 영향범위
• 회복 가능성
• 취약한 이해관계자의 존재

⑥ 완화조치

• 적용범위 제한
• 사람의 승인
• 자동실행 금지
• 설명과 이의제기
• 데이터 최소화
• 독립 안전장치
• 정기 재검토

영향평가는 처음 도입할 때만 수행하지 않는다.

다음의 경우 다시 실시해야 한다.

• AI의 목적이 변경됐다.
• 자동실행 권한이 확대됐다.
• 새로운 설비와 공장에 적용됐다.
• 작업자 평가에 활용되기 시작했다.
• 외부 Agent와 데이터가 연결됐다.
• 예상하지 못한 피해가 발생했다.
• 법규와 품질기준이 변경됐다.

AI가 기술적으로 작동한다는 사실이 그 사용이 정당하다는 의미는 아니다.

성과와 효율뿐 아니라 누가 이익을 얻고 누가 위험을 부담하는지도 함께 확인해야 한다.

---

12. 경영진은 무엇을 확인해야 하는가

자율제조 AI를 보고받을 때 경영진은 모델 수와 자동화율, 투자비와 생산성 개선을 확인하기 쉽다.

그러나 거버넌스 관점에서는 다음의 질문이 필요하다.

첫째, 현재 어떤 AI와 Agent가 현장에서 운영되고 있는가.

공장과 설비, 제품별 AI 자산목록이 있어야 한다.

둘째, 각 AI의 목적과 위험등급이 정해져 있는가.

업무지원 AI와 설비제어 AI를 같은 방식으로 관리해서는 안 된다.

셋째, AI가 사용할 수 있는 데이터와 실행할 수 있는 명령이 제한돼 있는가.

기술적으로 연결할 수 있다는 이유로 모든 권한을 주어서는 안 된다.

넷째, 안전과 품질, 납기와 원가가 충돌할 때 적용할 우선순위가 있는가.

Agent가 목표를 임의로 해석하지 않도록 해야 한다.

다섯째, 사람이 실제로 AI를 감독할 수 있는가.

이름뿐인 승인자가 아니라 이해하고 거부하고 중단할 수 있는 담당자가 있어야 한다.

여섯째, AI와 Agent의 판단과 실행을 나중에 재현할 수 있는가.

입력과 모델, 규칙과 승인, 실행과 결과가 연결돼야 한다.

일곱째, AI와 설비의 연결부에 독립된 안전장치가 있는가.

AI의 오류가 바로 위험한 설비동작으로 이어지지 않아야 한다.

여덟째, 모델과 Agent, 온톨로지와 규칙의 변경을 누가 승인하는가.

작은 규칙 변경도 여러 시스템의 판단을 바꿀 수 있다.

아홉째, 사고가 발생하면 즉시 중단하고 수동업무로 전환할 수 있는가.

절차뿐 아니라 실제 전환훈련과 복구시험이 필요하다.

열째, 공급업체의 AI도 같은 기준으로 관리되는가.

외부 솔루션이라는 이유로 데이터와 모델, 업데이트와 사고책임을 알 수 없는 상태로 운영해서는 안 된다.

열한째, AI가 작업자에게 미치는 영향을 평가했는가.

생산성뿐 아니라 감시와 업무부담, 숙련도와 역할변화도 확인해야 한다.

열두째, AI를 중단할 권한과 최종 책임자가 명확한가.

성과를 주장하는 조직과 사고를 책임지는 조직이 분리돼서는 안 된다.

NIST AI RMF는 AI 위험관리를 Govern, Map, Measure, Manage의 네 기능으로 구성한다. Govern은 다른 기능과 분리된 문서작업이 아니라 위험을 파악하고 측정하고 대응하는 전체 과정에 관통해야 하는 기반이다.

경영진이 확인해야 할 것은 AI가 얼마나 똑똑한가가 아니다.

조직이 AI의 판단과 권한, 위험과 결과를 실제로 알고 통제하고 있는가이다.

---

마치며

자율제조는 AI가 사람 없이 공장을 운영하는 상태를 의미하지 않는다.

사람이 수행하던 모든 판단을 AI에 넘기는 것도 아니다.

자율제조는 반복적이고 복잡한 판단을 AI가 수행하되, 그 목적과 범위, 제한조건과 책임을 조직이 명확하게 통제하는 운영체계다.

AI 모델과 Agent는 더 많은 데이터를 연결하고 더 빠르게 판단할 수 있다.

Digital Twin 안에서 수많은 대안을 시험하고 온톨로지와 지식그래프를 이용해 설비와 공정의 관계를 해석할 수도 있다.

그러나 AI는 기업의 책임을 대신 질 수 없다.

무엇을 최적화할지, 어떤 위험을 허용할지, 누구의 안전과 권리를 우선할지는 기술이 스스로 결정해서는 안 된다.

결국 자율제조 AI 거버넌스는 다음의 흐름으로 구성돼야 한다.

AI의 목적과 필요성을 정의한다.

영향과 위험을 평가한다.

위험에 따라 자율화 수준을 결정한다.

데이터와 모델, Agent와 온톨로지를 등록한다.

사용 가능한 정보와 실행권한을 제한한다.

안전·품질·납기·원가의 우선순위를 정한다.

사람의 승인과 개입방식을 설계한다.

AI와 설비제어 사이에 독립된 보호계층을 둔다.

모든 판단과 승인, 실행과 결과를 기록한다.

변경된 모델과 규칙을 다시 검증한다.

위험기준을 벗어나면 자동실행을 중단한다.

사고가 발생하면 원인을 추적하고 안전하게 복구한다.

더 이상 통제할 수 없거나 가치가 없는 AI는 폐기한다.

이 흐름이 갖춰져야 AI는 제조현장의 새로운 위험요인이 아니라 신뢰할 수 있는 운영자산이 될 수 있다.

중요한 것은 AI에게 더 많은 권한을 주는 것이 아니다.

AI가 행사하는 권한보다 조직의 통제역량이 항상 앞서 있어야 한다.

자율성이 높아질수록 거버넌스는 줄어드는 것이 아니라 더 구체적이고 강해져야 한다.

그래야 AI와 Agent가 판단하고 Digital Twin이 미래를 예측하며 설비가 스스로 움직이는 상황에서도 공장은 안전과 품질, 생산성과 책임을 함께 유지할 수 있다.

바로 이것이 자율제조 AI 거버넌스가 통제해야 할 대상이며, 기술 중심의 스마트공장을 책임 있는 자율제조 체계로 전환하기 위한 기본조건이다.

다음 글에서는 여러 AI Agent가 생산계획과 품질, 설비와 물류의 업무를 나누어 수행하는 구조를 구체적으로 살펴보고자 한다.

Agent는 어떤 역할로 구분해야 하며 서로 다른 목표와 판단이 충돌할 때 어떻게 조정해야 할까.

[자율제조 시리즈 ⑫] 제조 AI Agent는 어떻게 협업하고 실행해야 하는가?

---

참고자료

• ISO — ISO/IEC 42001:2023, AI Management System
• ISO — ISO/IEC 38507:2022, Governance Implications of the Use of AI
• ISO — ISO/IEC 23894:2023, Guidance on AI Risk Management
• ISO — ISO/IEC 42005:2025, AI System Impact Assessment
• ISO — ISO/IEC 42105, Guidance for Human Oversight of AI Systems
• NIST — Artificial Intelligence Risk Management Framework 1.0
• NIST — AI RMF Core
• NIST — AI RMF Playbook: Govern
• European Commission — AI Act Regulatory Framework
• European Commission — Guidelines for Providers and Deployers of High-Risk AI Systems
• IEC — IEC 62443-2-1:2024, Security Program Requirements for IACS Asset Owners
• IEC — IEC 62443-4-1, Secure Product Development Lifecycle Requirements