콘텐츠로 이동

인공지능 기반 자동화 행정행위와 민주적 법치국가 원리

원본 파일: 인공지능 기반 자동화 행정행위와 민주적 법치국가 원리.pdf
변환 일시: 2026-04-09 22:44

1페이지

사단법인 행정법이론실무학회 행정법연구 제72호 2023년 11월 Korea Administrative Law and Practice Association Administrative Law Journal Vol. 72, November 2023

인공지능 기반 자동화 행정행위와

민주적 법치국가 원리*

1)

김 찬 희**

국문초록

‘인공지능 기반 자동화 행정행위’란, 인공지능 알고리즘에 의해 작동하는 자동화 시스템에

의하여 최종적인 의사결정까지 이루어지는 자동화 행정행위를 말한다. 인공지능 기반 자동화

행정행위는, 인공지능 알고리즘이 인간의 의사작용을 완전히 대체하고, 스스로 학습･판단･결정

할 수 있는 자율성을 발휘함으로써 이루어지는데, 이는 현재 우리 공법체계가 전제하는 행정행

위 개념이 정립되던 때에는 상상할 수 없었던 행정행위 유형이다. 이에 인공지능 기반 자동화

행정행위에는 전통적인 행정행위와는 다른 법적 평가와 의미 부여가 요구되고, 이를 고려한 독

자적인 규율체계가 형성될 것이 요구된다.

위와 같은 인공지능 기반 자동화 행정행위를 통해 행정의 효율성 및 합리성이 크게 제고될

것으로 기대되기도 하지만, 다른 한편으로는 인공지능의 자율성과 불투명성 등의 특성으로 인

해 인공지능 기반 자동화 행정행위가 기존의 법체계와 조화를 이루지 못하거나 헌법적 가치를

침해하는 부작용이 우려되기도 한다. 이에 인공지능 기반 자동화 행정행위에 관한 독자적 규율

체계를 구축함에 있어서는, 인공지능기술의 이점을 추구하면서도 그 부작용이나 역기능을 최소

화하기 위해 노력함으로써 양자 사이의 균형을 이루는 것이 요구되는데, 이때 민주적 법치국가

원리가 형량의 지침인 동시에 한계가 된다.

① 인공지능이 자율성을 가지고 인간의 의사작용을 완전히 배제하는 것은 인간인 공무원의

의사작용을 전제로 하는 조직적･인적 민주적 정당성 확보를 어렵게 하고, 인공지능 알고리즘의

불투명성은 행정행위의 내용이 국민의 의사로 소급되어야 인정되는 실질적･내용적 민주적 정

당성 확보를 어렵게 하는 요인이 된다. 그리고 자율성과 불투명성을 특징으로 하는 인공지능

기술의 복잡성은 ② 인공지능 기반 자동화 행정행위에 관한 법적 규율체계를 갖추는 것을 어

렵게 하여 법치행정의 위기를 야기하며, ③ 절차적 정당성 확보를 어렵게 한다. 이러한 민주적

  • 이 논문은 필자의 연구보고서 인공지능 기반 자동화 행정행위에 관한 헌법적 고찰(헌법이론과 실

무 2023-A-3, 헌법재판연구원, 2023)의 내용을 학술논문 형식으로 축약하고 수정･보완한 것입니다. 본고의 내용은 필자 개인의 견해로, 소속기관의 공식견해가 아님을 밝힙니다. ** 헌법재판소 헌법재판연구원 책임연구관, 법학박사, 변호사.

2페이지

행정법연구제72호 36

법치국가 원리 측면에서의 문제는 결국 인공지능 알고리즘의 투명성과 설명가능성, 그리고 이

를 기반으로 한 통제가능성을 확보함으로써 해결될 수 있다. 따라서 인공지능 기반 자동화 행

정행위에 관한 규율체계는, 민주적 법치국가 원리에 부합하는 범위 내에서, 인공지능 알고리즘

의 투명성과 설명가능성 및 통제가능성이 확보되는 방향으로 구축되어야 할 것이다.

주제어: 자동화 행정행위, 인공지능의 자율성, 인공지능의 불투명성, 민주적 정당성, 법치행정,

적법절차원칙

목 차

Ⅰ. 서론

Ⅱ. 인공지능 기반 자동화 행정행위의 의의

Ⅲ. 인공지능 기반 자동화 행정행위의 민주적 정당성

Ⅳ. 인공지능 기반 자동화 행정행위와 법치행정

Ⅴ. 인공지능 기반 자동화 행정행위와 적법절차원칙

Ⅵ. 결론

Ⅰ. 서론

정보통신기술(Information and Communications Technology: ICT)의 비약적 발전은, 인류

의 삶에 이전에는 상상할 수 없었던 편리성과 효율성･신속성을 가져오는 동시에, 급격하게

변화한 법현실과 기존 법체계 사이의 충돌을 야기하고 있다. 이에 20세기 후반부터 현재까

지 정보통신기술의 발전으로 인한 변화를 수용하고 그에 적응하는 것이 법학의 가장 중요

한 과제 중 하나로서 논의되고 있다. 공법학 분야에서도 새로운 정보통신기술을 적절히 수

용하여 행정의 효율성과 합리성을 제고하면서, 첨단기술의 수용으로 인해 변화하는 공법현

실 속에서 발생할 수 있는 헌법적 가치 및 기본권 침해 상황에 신속하고 적절하게 대응하

기 위한 노력이 계속되고 있다. 근래에는, 인공지능과 같은 첨단기술로 인해 신호등을 이용

한 교통통제와 같이 단순하고 반복적으로 이루어지는 행정행위를 넘어 복잡한 사실조사 및

의사결정 과정이 요구되는 행정행위도 기술이 대체하는 것이 가능하게 되면서, 인공지능

기반 자동화 행정행위에 관한 논의가 활발하게 이루어지고 있다. 특히 2021. 3. 23. 제정･

3페이지

인공지능기반자동화행정행위와민주적법치국가원리 37

시행된 ｢행정기본법｣ 제20조1)가 ‘인공지능 기술을 적용한 자동화 시스템으로 처분을 할

수 있음’을 명시적으로 규정하면서, 인공지능 기반 자동화 행정행위의 의의와 요건 및 허

용범위를 분명히 하는 것이 우리 공법학의 시급한 현안이 되었다.

자율성과 불투명성 등 인공지능이 갖는 기술적 특성으로 인해, 인공지능을 기반으로 하

는 자동화 행정행위에는 전통적인 행정행위와는 다른 법적 평가와 의미 부여가 요구되고,

독자적 규율체계가 형성될 것이 요구된다. 일정한 시간이 경과하면 신호가 바뀌는 신호등

이나 바코드를 찍으면 대출 내지 반납 처리되는 무인대출시스템과 같이, 자동화 시스템이

단지 인간의 물리적인 행위를 대신하거나 보조하는 의미를 갖는 자동화 행정행위는, 전통

적 행정행위와 구별하여 별도로 논할 실익이 없다. 반면에 인공지능이 적용된 자동화 시스

템이 인간의 의사작용을 완전히 대체하고, 인공지능이 인간이 설계한 논리구조와 결과를

그대로 구현하는 것을 넘어 스스로 학습･판단･결정할 수 있는 자율성을 발휘함으로써 이루

어지는 행정행위는, 현재 우리 공법체계가 전제하는 행정행위 개념이 정립되던 때에는 상

상할 수 없었던 행정행위 유형이기 때문에, 전통적인 행정행위와는 다른 법적 평가와 의미

부여가 요구되고, 이를 고려한 독자적인 규율체계가 형성될 것이 요구되는 것이다.

인공지능 기반 자동화 행정행위에 관한 독자적 규율체계를 구축함에 있어서는, 민주적

법치국가 원리에 부합하는 규율체계를 갖추기 위한 노력이 끊임없이 이루어져야 한다. 새

로운 기술을 받아들일 때에는 기술의 발전을 추구하면서도 그로 인한 부작용이나 역기능을

최소화하기 위해 노력할 것이 요구되는데, 기술의 발전을 추구하다보면 부작용에 소홀해지

기 쉽고 부작용을 막기 위해 규제를 하다보면 기술 발전이 저해될 수밖에 없다. 때문에 양

자의 균형을 맞추는 것이 무엇보다도 중요하다. 여기에서 서로의 한계선이 무엇인지를 설

정하는 것이 중요한데, 민주적 법치국가 원리가 기술 발전의 추구로 인한 폐해를 방지하기

위한 한계선을 형성한다. 이에 본고에서는 민주적 법치국가 원리에 입각하여 인공지능 기

반 자동화 행정행위에 대해 고찰하고자 한다.

1) 행정기본법 제20조(자동적 처분) 행정청은 법률로 정하는 바에 따라 완전히 자동화된 시스템(인공

지능 기술을 적용한 시스템을 포함한다)으로 처분을 할 수 있다. 다만, 처분에 재량이 있는 경우는 그러하지 아니하다.

4페이지

행정법연구제72호 38

Ⅱ. 인공지능 기반 자동화 행정행위의 의의

  1. 개념

(1) 자동화 행정행위

1) 기본개념

‘자동화 행정행위’란, 행정행위의 일부 또는 전부가 정보통신기술이 적용된 자동화 시스

템에 의해 이루어지는 행정행위를 말한다.2) 이러한 자동화 행정행위는, 사회 전반에서 이

루어지고 있는 디지털화(Digitalization; Digitalisierung)가 행정영역에서 구체화된 모습이다.

여기서 디지털화는 다양한 유형의 정보를 디지털 신호로 전환한 디지털 데이터를 저장･이

용함으로써 이루어지는 변화를 의미하는데, 그 발전 단계에 따라, ① 아날로그 정보를 0과

1의 디지털 비트로 변환하는 기술적 프로세스인 ‘디지티제이션’(Digitization)과 ② 디지티제

이션을 거친 디지털 데이터 또는 원시 디지털 데이터를 이용하여 수익을 창출･제공하는 좁

은 의미의 ‘디지털화’, 그리고 ③ 디지털 데이터를 활용해 수익을 창출하는 것을 넘어서 사

회 전반의 활동 및 체계가 전체적으로 디지털화되는 ‘디지털 전환’(Digital Transformation;

Digitale Transformation)으로 구분된다.3) 자동화 행정행위는 이 중 세 번째 단계인 디지털

전환 단계에서 행정이 디지털화된 구체적인 모습이다.

2) 분류

자동화 행정행위와 관련하여 공법학에서 논의되는 가장 근원적인 문제는, 행정청이 아닌

자동화 시스템이 국민에 대하여 법적 효력을 갖는 행정행위를 하는 것이 허용되는지 여부,

즉 인간인 공무원의 의사작용이 개입함 없이 행정행위가 행해지는 것이 허용되는지 여부이

2) ‘자동화 행정행위’는 자동화된 행정행위･자동적 행정행위･자동행정행위･자동화된 행정결정･행정자

동결정･행정상 자동결정 등 다양한 용어로 불리고 있는데, 현재 어느 것이 더 일반적으로 사용되고 있다고 단정적으로 말하기는 어려운 상황이다. 생각건대, 자동화 행정행위는 행위가 이루어지는 방 식에서 다른 행정행위와 구별되는 개념이므로, 행정행위가 이루어지는 방식이 자동화되었음이 좀 더 직관적이고 분명하게 드러나는 표현인 ‘자동화 행정행위’가 적합한 용어인 것으로 보인다. 또한 ｢행정기본법｣ 제20조가 ‘자동적 처분’이라는 용어를 사용하고 있으나, ｢행정기본법｣이 채택하고 있 는 처분 개념이 쟁송법상의 필요에 따라 부가된 ‘그밖에 이에 준하는 행정작용’이라는 불확정개념 을 포괄하고 있어, 실체법적 논의에는 부적절한 측면이 있다고 생각된다. 이에 본고에서는 ‘자동화 행정행위’라는 용어를 사용하여 자동화 시스템에 의하여 이루어지는 행정행위에 관한 논의를 전개 하고자 한다. 3) 계인국, “4차 산업혁명과 행정법의 과제 - 산업혁명사와 디지털화를 중심으로 -”, 법제연구 제53

호, 2017, 161-162면 참조.

5페이지

인공지능기반자동화행정행위와민주적법치국가원리 39

다. 따라서 ‘인간의 의사작용 개입 여부’를 기준으로 한 분류를 중심으로 자동화 행정행위

를 이해하는 것이 적절하다고 생각된다.4) 그런데 인간의 의사작용 개입 여부를 판단함에

있어서는, ① 자동화 행정행위를 함에 있어 최종적인 결정을 내리는 주체가 누구인지 여부

와 ② 자동화 시스템에 인공지능 기술이 적용되어 자동화 시스템이 자율성을 갖는지 여부

가 종합적으로 고려되어야 한다. 이에 이러한 두 가지 축을 결합하여 자동화 행정행위를

분류하는 것이 법적으로 독자적인 논의 및 규율이 필요한 영역을 분명히 하는 분류로서 타

당하다고 생각된다.

위와 같은 분류기준에 따르면, 자동화 행정행위는 ① 인공지능을 활용하지만 최종적인

의사결정은 인간이 하는 유형, ② 인간이 설계한 그대로 작동하는 기술을 적용하여 부분적

으로 행정행위를 자동화 하였으나, 최종적인 의사결정은 인간이 하는 유형, ③ 인공지능을

활용하는 자동화 시스템이 최종적인 의사결정을 하는 유형, ④ 인간이 설계한 그대로 작동

하는 기술이 적용되는 자동화 시스템이 최종적인 의사결정을 하는 유형으로 분류된다.

인공지능 활용 여부 의사결정주체 O X

인간 ① ②

자동화 시스템 ③ ④

4) 현재 우리 공법학계에서는 자동화 행정행위를 ‘행정행위의 자동화 정도’에 따라 ① 완전자동화 행

정행위(vollautomatisierter Verwaltungsakt)와 ② 부분자동화 행정행위(teilautomatisierter Verwaltungsakt) 로 분류하는 분류방법이 주로 사용되고 있다. 완전자동화 행정행위는, 완전히 자동화된 시스템을 통해 이루어지는 행정행위로, 행정행위가 이루어지는 과정 전체에서 인간의 의사작용이 완전히 배 제되는 행정행위를 말한다. 반면에, 부분자동화 행정행위는 행정행위가 이루어지는 전체 과정 중 일부 단계에서, 즉 부분적으로 자동화 시스템이 사용되기는 하지만, 최종적인 의사결정은 인간의 의사작용에 의해 이루어지는 행정행위이다. 이러한 분류는 완전자동화 행정행위에 관한 규정인 독 일 ｢연방행정절차법｣(Verwaltungsverfahrensgesetz: VwVfG) 제35a조의 입법 과정에서의 논의와 해 당 조문을 포함한 자동화 행정행위에 관한 규정의 해석론에서 비롯된 분류인데, 우리 공법학에서의 자동화 행정행위에 관한 논의가 독일에서의 논의 및 입법례에 관한 비교법적 연구를 기반으로 이 루어지고 있기에, 이러한 분류방법이 주로 사용되고 있는 것으로 보인다. 그런데 이러한 분류방법 은 전통적 행정행위와 법적인 평가나 의미가 달라지는, 즉 독자적 논의 및 규율 필요성이 인정되는 영역을 분명히 보여주지 못한다는 한계를 갖는다고 생각된다. 완전자동화 행정행위는 전통적 행정 행위와 법적인 평가나 의미가 달라지지 않는 행정행위도 포함하는 개념이기 때문이다. 가령, 일정 한 시간이 경과하면 신호가 변경되는 신호등에 의한 교통통제는, 신호변경의 과정 전체가 자동화 시스템에 의해 이루어지는 것으로서 완전자동화 행정행위에 해당하지만, 전통적인 행정행위와 그 법적 평가 및 의미를 달리하지 않는다. 신호등에 적용되는 완전자동화 시스템은, 인간이 설계한 그 대로 결정되는, 즉 일정한 입력값에 대하여 항상 동일한 출력값이 도출되는 결정론적 알고리즘에 의해 작동하여, 단지 인간의 물리적 행위(신호 변경 버튼을 누르는 행위)만을 대신하는 것이기 때 문이다.

6페이지

행정법연구제72호 40

인공지능을 활용하지만 의사결정의 주체는 인간인 ① 유형의 예로는, 인공지능이 전국의

강수량･지형･인구 밀집도 등의 데이터를 기반으로 자연재해 위험성과 자연재해 발생 시 피

해규모를 예측하면, 그 예측을 바탕으로 행정청이 자연재해 피해 예방을 위한 예산을 배정

하는 것을 생각할 수 있다. 행정행위의 일부가 인공지능 이외의 기술, 즉 자율성을 갖지

않는 기술을 적용하여 이루어지지만 최종적인 의사결정은 인간이 하는 ② 유형의 예로는,

학사학위 취득자를 서류심사 대상자로 설정한 자동화 시스템을 통해 서류심사 대상자가 추

려지면, 그 대상자들에 대하여 인간인 공무원이 서류심사를 하여 합격자를 결정하는 것을

생각할 수 있다. 인공지능으로 구성된 자동화 시스템이 최종적인 의사결정까지 하는 ③ 유

형의 예로는, 인공지능이 실시간 교통상황･예상 유동인구･지역적 특성 등 교통상황에 영향

을 줄 수 있는 사항에 대한 데이터를 종합하여 교통정체가 최소화될 수 있도록 신호등을

조작하는 것을 들 수 있다. 반면에 정해진 시간이 흐르면 예외 없이 신호가 바뀌도록 설계

된 신호등은, 인공지능을 활용하지 않고 행정행위 전체가 자동화 시스템에 의하여 이루어

지는 ④ 유형에 해당한다고 할 것이다.

위의 유형 중 의사결정의 주체가 인간인 ① 유형과 ② 유형은, 행정행위가 이루어지는

전체 과정 중 일부 단계에서 부분적으로 자동화 시스템이 사용되기는 하지만, 최종적인 의

사결정은 인간의 의사작용에 의해서 이루어지는 유형이다. 이러한 유형에서는 자동화 시스

템이 인간의 의사작용에 따른 행위를 보조하는 데에 그치기 때문에, 전통적인 형태의 행정

행위와 법적인 평가나 의미가 달라지지 않는다. ④ 유형은, 최종적으로 의사결정을 하는 주

체가 자동화 시스템이기는 하지만, 그에 적용되는 기술이 인간이 설계한 그대로 결정하는,

즉 일정한 입력값에 대하여 항상 동일한 출력값이 도출되어 자율성을 갖지 않는 결정론적

알고리즘5)이 적용되는 기술이기 때문에, 결국 행정행위의 알고리즘을 설계한 인간에게 책

임이 부여된다는 점에서, ① 유형 및 ② 유형과 마찬가지로 법적인 평가가 달라지지 않는

유형이다. 따라서 공법학을 포함한 법학에서 별도의 논의가 필요한 자동화 행정행위는 ③

유형에 한정된다고 할 수 있다.

5) 결정론적 알고리즘(Deterministic Algorithm)은 일정한 입력값에 대하여 항상 동일한 출력값이 도출

되는, 즉 인간이 설계한 그대로의 결과가 도출되는 알고리즘이다. 이러한 결정론적 알고리즘은 인 간의 행위를 돕는 단순한 도구에 불과하며, 알고리즘 적용의 결과를 쉽게 예측할 수 있다. 즉 결정 론적 알고리즘은 자율성을 갖지 않는다. 반면에, 인공지능에 적용되는 알고리즘은 머신러닝 알고리 즘(Machine Learning Algorithm)으로, 자율성을 갖는다는 것을 특징으로 한다.

7페이지

인공지능기반자동화행정행위와민주적법치국가원리 41

(2) 인공지능 기반 자동화 행정행위

1) 기본개념

본고에서 논의의 대상으로 하는 ‘인공지능 기반 자동화 행정행위’란, 인공지능 알고리즘

에 의해 작동하는 자동화 시스템에 의하여 최종적인 의사결정까지 이루어지는 자동화 행정

행위를 말한다. 인공지능 기반 자동화 행정행위는, 기술이 인간을 보조하는 정도에 그쳤던

이전과는 달리, 인공지능이 인간의 의사작용을 완전히 대체한다는 점에서 앞으로 공법질서

에 혁신적인 변화를 가져올 것이라고 여겨지고 있다. 앞서 살펴본 자동화 행정행위의 4가

지 유형 중 ③ 유형에 해당하는 것으로, 인공지능 기술이 부분적으로 적용된 ① 유형은 이

에 해당하지 않는다. ① 유형의 자동화 행정행위와 ③ 유형의 자동화 행정행위는 분명하게

구분될 필요가 있다. ① 유형의 자동화 행정행위에도 인공지능이 적용되기는 하지만, 이때

의 인공지능은 행정결정을 함에 있어 고려할 수 있는 자료를 제공함으로써 인간인 공무원

의 행정행위를 보조하는 역할을 함에 그치기 때문에, 그 행정행위가 인공지능을 기반으로

하고 있어 전통적 행정행위와 법적 평가나 의미를 달리한다고 볼 수 없기 때문이다.6)

2) 특성

① 개념적 특성 : 기술의존성 및 변동성

인공지능 기반 자동화 행정행위는 인공지능이라는 특정한 기술을 기반으로 하고 있기 때

문에, 해당 기술의 발전 정도에 따라 개념의 의미나 범위, 분류가 달라질 수 있다는 특성

을 갖는다. 인공지능 기반 자동화 행정행위의 상위 개념인 자동화 행정행위는, 과학기술이

발전함에 따라 형성되었고, 자동화 시스템을 통해 행해질 수 있는 행위가 확대됨에 따라

그 개념 범위가 확대되었으며, 행위 태양이 다양해짐에 따라 개념의 분류가 필요하게 되었

다. 그리고 인공지능 기반 자동화 행정행위는 이러한 흐름 속에서, 인공지능 기술이 인간을

완전히 대체하는 것이 가능하게 되면서 등장한 개념이다.

이처럼 기술의존성 및 변동성이라는 특성을 갖는 자동화 행정행위와 관련하여, 새로운

기술의 등장 전에 존재하던 개념과 새롭게 생성된 개념이 혼재하여 다소 혼란스러운 상황

이 계속되고 있다. 완전자동화 행정행위 개념이 생성되기 전부터 존재하던 개념과 완전자

동화 행정행위 개념 사이의 관계가 정리되지 않은 채 사용되기도 하고, 인공지능 기술이

등장하기 전부터 사용되던 개념과 이후의 개념이 혼용되어 각 개념의 정확한 이해를 방해

6) ① 유형의 자동화 행정행위에 적용되는 인공지능과 관련하여서도 인공지능의 자율성이나 불명확성이

문제될 수는 있지만, 이에 대한 논의는 행정결정의 근거가 되는 자료의 객관성이나 합리성을 확보하 는 차원의 문제일 뿐, 전통적 행정행위와 다른 법적 평가가 요구되는 문제에는 해당하지 않는다.

8페이지

행정법연구제72호 42

하기도 하며, 자동화 행정행위의 어떤 측면에 주목하는지에 따라 그 개념 범위와 용어 등

에서 차이가 나기도 한다. 이에 인공지능 기반 자동화 행정행위를 비롯한 자동화 행정행위

개념은 디지털화라는 변화의 흐름 속에서 이해될 필요가 있다.

② 기술적 특성 : 인공지능의 자율성 및 불투명성

(a) 자율성

인공지능이 다른 첨단과학기술에 대하여 독자성을 갖는 주된 이유가 바로 자율성에 있

고, 그로부터 인공지능에 대한 독자적 규율 필요성이 도출되기 때문에, 자율성은 인공지능

의 본질을 이루는 가장 중요한 특성에 해당한다. 여기서 자율성이란, 인간의 개입 없이 스

스로의 원칙에 따라 어떤 결정을 할 것인지를 선택하고 그 결정을 실행할 수 있는 능력을

말한다.7) 다시 말해, 자율성을 갖는 인공지능은, 인간의 구체적이고 직접적인 지시 없이,

스스로 획득하고 분석한 정보를 바탕으로 주요한 판단이나 결정을 내리고 독립적으로 행동

할 수 있다.

인공지능의 자율성은 인간이 개입하는 정도에 따라 그 정도가 달라진다.8) 인간이 데이터

를 우선적으로 처리하여 기본적인 논리구조를 제공하는 머신러닝 알고리즘으로 구성된 인

공지능의 자율성은, 데이터를 우선적으로 처리하는 인간의 개입까지 완전히 배제하고 컴퓨

터가 데이터를 처리하는 것부터 스스로 하는 딥러닝 알고리즘으로 구성된 인공지능의 자율

성보다 그 정도가 낮다. 이러한 인공지능의 자율성의 정도는, 그에 따라 자동화 행정행위에

대한 법적 평가가 달라질 수 있다는 점에서, 자동화 행정행위를 규율하거나 통제함에 있어

서 반드시 고려되어야 하는 중요한 요소에 해당한다.

(b) 불투명성

인공지능 알고리즘의 경우, 입력값이 어떠한 과정을 거쳐 출력값이 도출되는지, 즉 인공

지능 알고리즘이 내린 판단 내지 결정의 근거나 이유가 무엇인지가 투명하게 드러나지 않

는다. 이를 ‘인공지능의 불투명성’(opacity of AI)이라고 하는데, 이러한 불투명성을 발생시

키는 주요 요인으로 ① 인공지능 알고리즘의 개발자가 알고리즘을 공개하지 않으려고 하는

경향과 ② 공개하더라도 이해가 쉽지 않은 알고리즘의 복잡성을 들 수 있다.

7) 양종모, “인공지능의 위험의 특성과 법적 규제방안”, 홍익법학 제17권 제4호, 2016, 545면; 이해

원, “인공지능과 불법행위책임에 관한 연구”, 연세대학교 박사학위논문, 2021, 24면 참조. 8) 이희옥, “인공지능의 의사결정에 대응한 자기결정권의 보장에 관한 연구”, 한양대학교 박사학위논

문, 2020, 27면 참조.

9페이지

인공지능기반자동화행정행위와민주적법치국가원리 43

인공지능 알고리즘은 그 자체로 막대한 경제적 가치를 갖는 지식재산이기 때문에, 법으

로 강제되지 않는 한, 사기업이 이를 외부에 공개할 가능성이 극히 희박하다.9) 물론, 자동

화 행정행위에 적용되는 인공지능 알고리즘은, 경제적 이익을 추구하지 않고 행정의 효율

성과 공익을 추구하는 것이라는 점에서, 그 알고리즘이 공개될 가능성이 사기업의 영업과

관련된 인공지능 알고리즘이 공개될 가능성보다는 클 수 있다. 그러나 인공지능 알고리즘

과 같은 첨단기술을 행정 내부에서 자체적으로 개발하고 활용하는 데에 한계가 있기 때문

에, 인공지능 알고리즘을 적용하여 행정행위를 자동화함에 있어서 민간의 도움을 받아야

하는 경우가 있을 것이고, 그러한 경우에는 인공지능 알고리즘 그 자체를 투명하게 공개하

는 데에 어려움이 따를 수밖에 없을 것이다.

인공지능 알고리즘 그 자체가 공개된다고 하더라도, 기술의 복잡성으로 인해 인공지능

알고리즘의 투명성을 확보하는 데에는 한계가 있다. 인공지능 알고리즘은 데이터를 통해

스스로 학습하고 알고리즘을 설계함으로써 인공지능의 성능을 향상시키는 것인데, 인공지

능이 스스로 성능을 향상시키는 과정에서 기술의 복잡성이 점점 더 심화될 수밖에 없다.

더욱이 오늘날 인공지능은 오픈소스 라이브러리를 통해 다양한 사람들에 의해 제공되는 다

양한 요소를 기반으로 알고리즘을 확장･발전시켜나가는 형태를 취하고 있기 때문에, 인공

지능 알고리즘의 구조 및 내용을 처음부터 끝까지 온전히 아는 사람이 없다고도 할 수 있

다. 특히 딥러닝 알고리즘의 경우, 여러 층위의 신경망으로 이루어져 있어 그 구조가 복잡

하고, 각 층위에 적용되는 가중치가 수시로 변경될 뿐만 아니라, 드러나지 않는 층위인 은

닉층(隱匿層)도 있어, 어떠한 과정을 거쳐 결과값이 도출된 것인지를 알기가 더욱 어렵

다.10) 이에 인공지능이 내린 결정의 근거나 이유를 전혀 알 수 없는 경우가 생기기도 하는

데, 이러한 현상을 ‘블랙박스 현상’이라고 한다.11)

9) 이해원, “인공지능과 불법행위책임에 관한 연구”, 연세대학교 박사학위논문, 2021, 31면 참조.

10) 김광수, 인공지능법 입문, 내를 건너서 숲으로, 2021, 119-120면; 김윤명, 블랙박스를 열기 위한

인공지능법, 박영사, 2022, 65면 참조.

11) 인공지능 알고리즘의 불투명성에 대한 우려로 인해, 최근 ‘설명가능한 인공지능’(Explainable AI)이

라는 개념이 주목을 받고 있다. 설명가능한 인공지능은, 2016년 미국 국방과학연구소에서 제안한 개념으로, 인공지능의 알고리즘을 인공지능의 설계나 제작 등에 관여하지 않은 외부인도 쉽게 이해 할 수 있도록 설명을 제공하는 인공지능을 말한다. 전 세계적으로 이에 관한 연구가 활발히 이루어 지고 있으나, 아직까지는 부분적이고 제한적인 설명을 제공하는 수준에 그치고 있고, 공학적･전문 적인 지식이 없는 일반인은 그마저도 이해하기 어렵다는 한계를 극복하지 못하고 있는 상황이다. 설명가능한 인공지능의 의의와 한계에 관하여는 정승준/변준영/김창익, “설명 가능한 인공지능 기술 의 소개”, 전자공학회지 제46권 제2호, 2019, 56면; 이해원, “인공지능과 불법행위책임에 관한 연 구”, 연세대학교 박사학위논문, 2021, 31-32면 참조.

10페이지

행정법연구제72호 44

  1. 행정의 효율성･합리성･정확성 제고

인공지능이 행정영역에서 활용됨으로써 행정의 효율성이 크게 제고될 것으로 기대된

다.12) 인공지능은, 인간이 분석･처리하는 것이 불가능하거나 너무 오랜 시간과 많은 인력

이 요구되어 사실상 분석･처리가 어려울 정도로 많은 양의 데이터를 신속하고 정확하게 처

리할 수 있다. 이에 인공지능을 행정에 활용함으로써, 행정이 대량의 데이터를 신속･정확하

게 분석･처리하는 것이 가능해지고, 나아가 행정의 효율성이 제고될 수 있을 것으로 기대

되는 것이다. 이때 분석･처리의 대상이 되는 데이터의 양이 방대할수록 인공지능 적용의

효용성이 높아진다. 그리고 반복되는 동종대량의 행정행위를 인간인 공무원 대신 인공지능

을 활용하는 자동화 시스템이 함으로써 인력을 효율적으로 운영할 수 있는 기반이 마련된

다는 점에서도, 인공지능 기반 자동화 행정행위는 행정의 효율성 제고에 기여할 수 있다.

이러한 행정의 효율성 제고는 인공지능을 행정영역에 적용하는 것을 정당화 하는 가장 큰

가치 중 하나이다.

행정영역에 인공지능을 적용하는 것은 행정 비용을 절감하는 효과도 가져올 것으로 예상

된다. Deloitte University Press는 연방정부에 인공지능이 도입되어 업무 자동화가 이루어지

면 연방정부의 업무시간을 연간 9,670만 시간 내지 12억 시간 아끼는 효과가 예상되며, 비

용적으로는 33억 달러 내지 411억 달러의 절감 효과가 예상된다고 하였다.13) 글로벌 컨설

팅 기업인 Capgemini는 인공지능기술을 통한 공공영역의 효율성 제고로 촉발될 수 있는

경제적 효과를 낙관적 시나리오, 중립적 시나리오, 그리고 부정적 시나리오로 나누어 전망

했는데, 낙관적 시나리오에서는 연간 약 5.61조 달러(전 세계 GDP의 1.93%를 추가 성장시

킬 수 있는 규모), 중립적 시나리오에서는 연간 약 4.03조 달러(전 세계 GDP의 1.41%를

추가 성장시킬 수 있는 규모), 그리고 부정적 시나리오에서는 연간 약 2.45조 달러(전 세계

GDP의 0.86%를 추가 성장시킬 수 있는 규모)의 경제적 효과가 발생할 것으로 예상하였

다.14)

12) 인공지능기술이 공공부문에 적용되었을 때 효율성을 제고할 수 있는 이유로, ① AI를 적용하면 올

바른 자원할당을 통해 자원의 재분배뿐만 아니라 인력 최적화를 달성하여 자원제약을 극복할 수 있다는 점, ② 공무원들이 서류작업에 많은 시간을 허비하고 있는데, 인공지능이 서류작업의 부담을 경감시킬 수 있다는 점, ③ 지체 혹은 대기시간을 축소할 수 있다는 점을 든 문헌으로, 김길수, “공 공부문에서 인공지능 활용에 관한 연구”, 한국자치행정학보 제33권 제1호, 2019, 40-41면 참조.

13) 김길수, “공공부문에서 인공지능 활용에 관한 연구”, 한국자치행정학보 제33권 제1호, 2019, 40면

참조.

14) Capgemini, Unleashing the Potential of Artificial Intelligence in the Public Sector, Paris:

Capgemini, 2017, p. 4; 안준모, “인공지능을 통한 행정의 고도화 : 기회와 도전”, 한국행정연구

11페이지

인공지능기반자동화행정행위와민주적법치국가원리 45

인간의 편견이나 주관이 배제된다는 측면에서, 인공지능 기반 자동화 행정행위를 통해

행정행위의 합리성이 제고될 수 있다. 물론, 인공지능 알고리즘은 알고리즘을 설계하는 인

간의 편견 내지 주관이 반영되거나 역사적･사회적 편견이 반영된 데이터를 기반으로 함으

로써 편향성을 갖게 될 수 있다. 이러한 점은 인공지능 적용으로 인해 발생할 수 있는 문

제로 끊임없이 언급되고 있고, 이와 같은 역기능을 방지하는 방안에 관한 논의가 계속되고

있다. 그러나 인공지능 알고리즘의 편향성을 방지하기 위한 감시･통제 체계를 구축함으로

써 객관적 데이터를 기반으로 하는 인공지능이 행정영역에 적용되게 한다면, 인공지능 기

술의 적용으로 행정의 합리성을 제고할 수 있을 것이다.

데이터 분석･처리의 정확성 측면에서도 인간보다 인공지능이 더 뛰어날 것으로 예상된

다. 인공지능을 통한 데이터의 분석･처리는, 인간이 대량의 데이터를 분석･처리함에 있어

발생할 수 있는 오류 가능성을 줄여준다. 그리고 인공지능은 인간보다 더 많은 데이터를

처리･분석하기 때문에, 더 풍부하고 객관적인 데이터를 근거로 더 정확한 판단이나 결정을

할 수 있을 것이다. 또한, 고도의 전문 지식을 요하는 행정영역에 있어서 전문인력이 부족

한 경우에, 인공지능이 그러한 전문인력을 대신하여 전문적인 지식에 근거한 판단 및 결정

을 함으로써 행정의 정확성을 높이는 것도 가능할 것이다.

  1. 독자적 규율체계 구축의 필요성

인공지능 기반 자동화 행정행위를 인정한다는 것은, 행정에 있어서의 최종적인 의사결정

이 인간이 아닌 인공지능에 의해 이루어질 수 있고, 그러한 행정결정을 함에 있어서 인공

지능이 자율성을 가지고 인간인 공무원이 지시하지 않았고 예측하지 못했던 판단이나 결정

을 할 수 있음을 의미한다. 이러한 인공지능 기반 자동화 행정행위는, 현재 우리 공법체계

가 전제하는 행정행위 개념이 정립되던 때에는 상상할 수 없었던 행정행위 유형이기 때문

에, 전통적인 행정행위 개념을 전제로 형성된 기존의 법체계와의 충돌이 발생하는 것이 불

가피하다. 헌법적 차원에서는, 기계가 인간의 의사작용을 대체하고 자율성을 갖는다는 측면

에서 민주적 법치국가원리 등 헌법의 기본원리와의 충돌이 문제되고, 대량의 데이터를 수

집･처리하는 인공지능의 기술적 특성으로 인해 개인정보 관련 기본권 침해가 문제될 수 있

다. 행정법적 차원에서는, 자율성을 갖는 인공지능을 기반으로 하는 자동화 행정행위에 전

통적인 기속행위와 재량행위의 구별논의를 적용하는 것이 적절하지 않다는 점, 행정절차규

정이 적용되는 것이 현실적으로 어렵다는 점, 과실책임주의가 적용되는 전통적인 행정구제

제30권 제2호, 2021, 10면에서 재인용.

12페이지

행정법연구제72호 46

의 체계하에서는 인공지능 기반 자동화 행정행위에 대한 권리구제가 어려울 수 있다는 점

등에서 기존 법체계와 인공지능 기반 자동화 행정행위의 충돌이 문제된다.15)

위와 같이 인공지능 기반 자동화 행정행위에는 기존의 법체계와 충돌하는 부분이 다수

존재하기 때문에, 그에 관한 독자적 규율체계를 구축하는 것이 필요하다. 그리고 인공지능

기반 자동화 행정행위에 관한 독자적 규율체계를 구축함에 있어서는 인공지능의 활용과 통

제가 균형을 이루어야 한다. 인공지능 기반 자동화 행정행위는, 행정의 효율성･합리성･정확

성을 크게 제고할 수 있다는 장점을 갖는 동시에 기존의 법체계와 충돌하는 부분이 있다는

점에서 한계를 갖기 때문에, 인공지능을 활용하여 행정행위를 자동화함으로써 얻을 수 있

는 이점을 저해하지 않으면서 그 부작용을 최소화할 수 있도록 적절히 규율할 것이 요구되

는 것이다. 그런데 기술의 발전을 추구하다보면 부작용 방지에 소홀해지기 쉽고, 부작용을

막기 위해 규제를 하다보면 기술 발전이 저해될 수밖에 없기에, 양자의 균형을 맞추는 것

이 무엇보다도 중요하다. 이때 민주적 법치국가 원리가 그 균형점을 형성한다 할 것이다.

다시 말해, 인공지능 기반 자동화 행정행위와 관련하여서는, 민주적 법치국가 원리에 부합

하는 범위 내에서 기술의 발전과 통제의 균형을 이루는 독자적 규율체계가 구축되어야 한

다.

Ⅲ. 인공지능 기반 자동화 행정행위의 민주적 정당성

  1. 행정의 민주적 정당성

헌법 제1조 제1항은 “대한민국은 민주공화국이다”라고 하여 민주주의를 헌법의 기본원리

로 선언하고 있고, 동조 제2항에서 “대한민국의 주권은 국민에게 있고, 모든 권력은 국민으

로부터 나온다”라고 하여 국민주권 원리를 천명함으로써 민주주의 원리를 구체화하고 있

다. 국민주권주의는 주권이 국민에게 귀속한다는 원리로, 국가권력의 근원과 주체는 국민이

고 국민만이 국가의 정치적 지배, 즉 국가권력을 정당화할 수 있다는 원리이다. 이러한 국

민주권주의에 따르면, 국가권력은 국가에게 당연히 인정되는 것이 아니기 때문에, 그 민주

적 정당성(demokratische Legitimation)이 인정되어야 하며, 국가권력의 민주적 정당성은 오

직 국민으로부터만 나올 수 있다. 전통적인 민주적 정당성 이론에 따르면, 민주적 정당성은

15) 조성규, “인공지능에 기반한 자동화된 행정결정의 행정법적 쟁점”, 동북아법연구 제16권 제4호,

2023, 149-189면 참조.

13페이지

인공지능기반자동화행정행위와민주적법치국가원리 47

① 기능적･제도적 민주적 정당성(funktionelle-institutionelle demokratische Legitimation), ②

조직적･인적 민주적 정당성(organisatorisch-personelle demokratische Legitimation), 그리고

③ 실질적･내용적 민주적 정당성(sachlich-inhaltliche demokratische Legitimation)으로 나뉜

다.16)

‘기능적･제도적 민주적 정당성’은 추상적인 민주적 정당성으로, 구체적인 민주적 정당성

인 조직적･인적 민주적 정당성 및 실질적･내용적 민주적 정당성과 구별된다. 기능적･제도

적 민주적 정당성은 헌법이 제3장 이하의 국가조직에 관한 부분(제40조, 제66조 제4항, 제

101조 제1항, 제11조 제1항, 제114조 제1항, 제117조 제1항)에서 입법･행정･사법의 국가기

관을 구성하여 각 독자적인 기능을 부여하고 국가기관을 통하여 국가권력을 행사하도록 규

정함으로써, 즉 헌법제정권자인 국민이 스스로 국가권력을 행사할 담당기관을 제도화함으

로써 충족되었다.17) 다만 이는 제도적 차원의 추상적인 민주적 정당성이므로, 이로써 개별

공직자의 행위에 구체적인 민주적 정당성이 부여되지는 않는다. 구체적인 행정행위의 민주

적 정당성은 조직적･인적 민주적 정당성과 실질적･내용적 민주적 정당성에 의하여 비로소

인정된다.18)

‘조직적･인적 민주적 정당성’은, 공직자가 선거에 의하여 직접 선출되거나 국민에 의하여

선출된 국가기관에 의하여 임명됨으로써 구체적으로 부여받는 민주적 정당성이다. 조직적･

인적 민주적 정당성이 인정되기 위해서 모든 국가기관이 국민에 의하여 직접 선출･구성되

어야 하는 것은 아니고, 직접 선출된 다른 국가기관으로부터 민주적 정당성을 중개 받으면

족하다. 이처럼 국민에 의해 직접 선출되지 않은 공직자가 국민에 의해 직접 선출된 국가

기관을 매개로 국민으로부터 민주적 정당성을 부여받는 구조를 ‘정당성의 사슬’이라고 하

는데, 이러한 정당성의 사슬이 단절되지 않아야 행정부 소속 공무원이 행하는 행정행위의

민주적 정당성이 인정된다.19)

‘실질적･내용적 민주적 정당성’은, 국가권력의 행사가 그 내용에 있어서 국민으로부터 유

래함으로써 인정되는 민주적 정당성이다.20) 다시 말해, 행정행위의 내용이 국민의 의사로

소급되어야 그 행정행위의 실질적･내용적 민주적 정당성이 인정된다. 이러한 실질적･내용

16) 김남진, “행정의 민주적 정통화론”, 학술원통신 제290호, 2017, 10면; 한수웅, 헌법학, 법문사,

제10판, 2020, 128-129면; 허완중, “민주적 정당성”, 저스티스 통권 제128호, 2012, 143면 참조.

17) 김남진, “행정의 민주적 정통화론”, 학술원통신 제290호, 2017, 10-11면; 한수웅, 헌법학, 법문

사, 제10판, 2020, 128면; 허완중, “민주적 정당성”, 저스티스 통권 제128호, 2012, 144면 참조.

18) 김남진, “행정의 민주적 정통화론”, 학술원통신 제290호, 2017, 10-11면; 한수웅, 헌법학, 법문

사, 제10판, 2020, 128면; 허완중, “민주적 정당성”, 저스티스 통권 제128호, 2012, 144면 참조.

19) 한수웅, 헌법학, 법문사, 제10판, 2020, 129면 참조.

20) 한수웅, 헌법학, 법문사, 제10판, 2020, 129면 참조.

14페이지

행정법연구제72호 48

적 민주적 정당성은 ① 직접선거를 통해서 정당성을 부여받은 국민의 대표기관인 국회가

법률을 제정하고 국회가 제정한 법률에 다른 모든 국가기관이 구속됨으로써 확보되거나 ②

국가권력 행사에 대한 통제가능성을 통해서 확보된다.21)

  1. 인공지능 기반 자동화 행정행위의 민주적 정당성

앞서 살펴본 바와 같이 추상적 민주적 정당성인 기능적･제도적 민주적 정당성은 헌법

제3장 이하에 국가조직에 관한 규정을 둠으로써 충족되었기 때문에, 인공지능 기반 자동화

행정행위와 관련하여 문제되는 민주적 정당성은 ① 조직적･인적 민주적 정당성과 ② 실질

적･내용적 민주적 정당성으로 한정된다.

먼저, 조직적･인적 민주적 정당성과 관련하여서는 인공지능 기반 자동화 행정행위가 인

간의 의사작용을 배제한다는 점이 문제 된다. 조직적･인적 민주적 정당성은 인간으로 구성

된 국가기관과 인간인 공무원을 전제로 하는 개념이다. 그런데 인공지능 기반 자동화 행정

행위는 전적으로 인간에 의하여 이루어지던 행정행위 전부를 자동화 시스템이 대신함으로

써 인간의 의사작용을 완전히 배제하기 때문에, 전통적인 민주적 정당화 구조와 충돌하게

되는 것이다.22)23) 다시 말해, 자동화 시스템이라는 기술적 요소의 개입으로 정당성 사슬이

단절되어 자동화 행정행위의 민주적 정당성이 부정될 여지가 있다.

다음으로, 인공지능의 불투명성으로 인해 실질적･내용적 민주적 정당성 확보가 어려울

수 있다. 앞서 인공지능의 불투명성에 관한 부분에서 살펴본 바와 같이, 인공지능 알고리즘

의 경우 판단 내지 결정의 근거나 이유가 투명하게 드러나지 않는다. 특히 자신의 프로그

램을 계속해서 발전시키는 학습 알고리즘의 경우, 해당 알고리즘의 개발자조차도 결과 도

출 과정을 설명하기 어려운 경우가 많고, 그러한 경우에는 알고리즘에 사용된 소스 코드와

데이터를 모두 공개한다고 하더라도 그 내용을 파악하고 그에 대한 심사를 하는 것이 어려

울 수 있다.24)25) 다시 말해, 인공지능 기반 자동화 행정행위의 경우 알고리즘의 불투명성

21) 허완중, “민주적 정당성”, 저스티스 통권 제128호, 2012, 146-147면 참조.

22) 김중권, “인공지능시대 알고크라시(Algocracy)에서의 민주적 정당화 문제”, 법조 제69권 제5호,

2020, 184-187면 참조.

23) 인공지능 기반 자동화 시스템이 부분적으로 적용되어 인간의 의사작용을 보조하는 정도에 그치는

경우나 인공지능 알고리즘이 아닌 결정론적 알고리즘이 적용되어 인간인 공무원이 설계한 그대로 고정적인 결과값이 나오는 경우에는, 인적 매개가 단절되지 않으므로 조직적･인적 민주적 정당성이 인정된다고 할 것이다.

24) 권은정, “자동적 처분의 행정법적 제 문제 - 처분의 형식･절차 및 구제에 관한 쟁점을 중심으로 -”,

법학논총 제38권 제3호, 2021, 97면 참조.

15페이지

인공지능기반자동화행정행위와민주적법치국가원리 49

과 자율성으로 인해 행정행위의 구체적 내용을 예측하거나 설명하기 어려울 수 있고, 그러

한 경우에는 통제가능성이 부정되어 실질적･내용적 민주적 정당성이 인정되지 않을 수 있

다.

  1. 인공지능 기반 자동화 행정행위의 민주적 정당성 확보 방안

인공지능 기반 자동화 행정행위에 있어서의 조직적･인적 민주적 정당성 문제는, 행정행

위 과정에서 인간의 의사작용이 완전히 배제되면서, 인적 매개를 전제로 하는 정당성 사슬

이 단절됨으로써 발생하는 문제이다. 정당성 사슬이 인적 매개를 통해 연결되어 있다면, 즉

인간의 의사작용이 완전히 배제되지 않는다면 발생하지 않는 문제인 것이다. 인공지능 알

고리즘의 복잡성과 자율성으로 인해, 인공지능 알고리즘이 작동하는 과정 중에 인간의 의

사작용이 직접적으로 개입하는 것은 어렵다 할 것이다. 따라서 인공지능 기반 자동화 행정

행위에 있어서는, 알고리즘이 작동하기 전과 후에 이루어지는 행정청의 관리･감독을 통해

인적 매개를 유지함으로써 조직적･인적 민주적 정당성을 확보할 수 있다고 생각된다. 알고

리즘이 작동하기 전에는 설계된 알고리즘의 내용이 적법하고 정당한지에 관한 행정청의 관

리･감독이 이루어질 필요가 있다. 그리고 인공지능 알고리즘의 경우, 그 자율성으로 인해

계속해서 변화할 수 있으므로, 사전적인 관리･감독이 주기적으로 이루어질 필요가 있다.26)

알고리즘이 작동한 후에는, 도출된 결과에 대한 행정청의 관리･감독이 필요하다. 구체적으

로 예를 들자면, 인공지능 알고리즘이 적용되어 도출된 행정결정이 인공지능 알고리즘의

편향성이 발현되어 나온 부당한 결과인 것으로 보이는 경우에는, 행정청이 해당 행정결정

을 취소하고 알고리즘의 편향성이 발현되지 않도록 알고리즘을 수정하게 함으로써 자동화

행정행위의 조직적･인적 민주적 정당성을 확보할 수 있을 것이다.

위에서 살펴본 바와 같이, 실질적･내용적 민주적 정당성은 ① 직접선거를 통해서 정당성

을 부여받은 국민의 대표기관인 국회가 법률을 제정하고 국회가 제정한 법률에 다른 모든

국가기관이 구속됨으로써 확보될 수 있다.27) 이러한 맥락에서 법제처는 2021년 12월에 발

25) 반면에, 자동화 시스템상 알고리즘의 결과를 예측하기 어렵거나 불가능하다는 것은 민주적 정당성

확보에 있어서 문제되지 않는다는 견해도 있다. 해당 견해는 행정행위가 자율성을 갖는 알고리즘에 의해 이행되든, 자율적으로 활동하는 사람에 의하여 이행되든 차이가 없다고 지적한다. 자율적으로 활동하는 사람에 의해 이행되는 경우에도 사람의 내적 사고 과정을 예측하는 것은 불가능에 가깝 다는 것이다. 김중권, “인공지능시대 알고크라시(Algocracy)에서의 민주적 정당화 문제”, 법조 제 69권 제5호, 2020, 195면 참조.

26) 최승필, “공행정에서 AI의 활용과 행정법적 쟁점 - 행정작용을 중심으로 -”, 공법연구 제49집 제2

호, 2020, 235면 참조.

16페이지

행정법연구제72호 50

간한 ‘행정기본법 해설서’에서 자동적 처분에 관한 규정인 ｢행정기본법｣ 제20조가 제정됨

으로써 완전자동화 행정행위의 민주적 정당성 및 법률유보의 문제가 입법적으로 해결되었

다고 평가한 바 있다.28) 다만, ｢행정기본법｣ 제20조에 대하여 허용되는 자동적 처분의 범

위를 명확하게 밝히지 않고 있다는 비판이 제기되고 있다는 점에서도 알 수 있듯이, 자동

화 행정행위를 허용하는 입법이 존재하는 경우에는 법률의 명확성의 원칙이 충족되어야 한

다는 문제가 남게 된다. 이는 자동화 행정행위의 근거 법률에 요구되는 명확성의 정도라는

또 다른 중요 쟁점으로 연결되는 바, 이에 관하여는 이하의 ‘Ⅳ. 2. 인공지능 기반 자동화

행정행위와 법률의 명확성 원칙’에서 자세히 살펴본다. 실질적･내용적 민주적 정당성은 ②

국가권력 행사에 대한 통제가능성을 통해서도 확보될 수 있다.29) 인공지능 기반 자동화 행

정행위에 대한 구체적인 통제 방법으로는, 인공지능 알고리즘 설계 과정에 있어서의 국민

이나 전문가 집단의 참여, 자동화 행정행위의 상대방의 이의신청 등 불복 절차의 마련, 상

급 행정기관에 의한 관리･감독 등을 생각할 수 있을 것이다.

이상에서 서술한 인공지능 기반 자동화 행정행위의 민주적 정당성 확보 방안은 결국 인

공지능 알고리즘의 투명성 내지 설명가능성을 확보하는 것으로 귀결된다. 인공지능 알고리

즘에 대한 관리･감독･참여･통제가 이루어지기 위해서는, 알고리즘이 어떻게 설계되어 있는

지, 어느 지점에서 자율성이나 편향성이 발현되었는지를 확인하고 이해할 수 있어야 하기

때문이다. 그런데 인공지능 알고리즘의 투명성 내지 설명가능성을 확보하는 것은 쉬운 일

이 아니다. 이는 기술적으로 인공지능을 사람이 이해하기 쉽게 설명하는 것 자체가 어렵기

때문이기도 하지만, 인공지능의 설명가능성과 인공지능의 성능이 서로 상충관계에 있어 어느

일방을 강조하게 되면 타방이 저하될 수 있다는 점과 설명가능성을 높이는 것은 필연적으로

인공지능 개발 비용을 증가시키기 때문에 설명가능성을 지나치게 강조할 경우 인공지능 기

술의 발전을 저해할 우려가 있다는 점과 같은 현실적 한계로 인한 것이기도 하다.30) 이와

같은 이유로, 인공지능 기반 자동화 행정행위의 민주적 정당성 확보와 관련하여 중요한 것은

인공지능 및 인공지능을 활용한 행정의 오류가능성을 인정하는 것이라고 하면서, 알고리즘

을 모두 이해하기는 어려우므로 알고리즘의 핵심적인 요소와 연결구조를 공개하고 이에 대

한 의견을 제시받으면서 해당 의견을 반영하여 알고리즘을 구축하고 이를 최종적으로 공개

하는 절차를 확보함으로써 민주적 정당성을 확보해야 한다는 견해가 주장되기도 한다.31)

27) 허완중, “민주적 정당성”, 저스티스 통권 제128호, 2012, 146-147면 참조.

28) 법제처, 행정기본법 해설서, 2021, 208면.

29) 허완중, “민주적 정당성”, 저스티스 통권 제128호, 2012, 146-147면 참조.

30) 이해원, “인공지능과 불법행위책임에 관한 연구”, 연세대학교 박사학위논문, 2021, 32면 참조.

31) 최승필, “공행정에서 AI의 활용과 행정법적 쟁점 - 행정작용을 중심으로 -”, 공법연구 제49집 제2

17페이지

인공지능기반자동화행정행위와민주적법치국가원리 51

Ⅳ. 인공지능 기반 자동화 행정행위와 법치행정

  1. 인공지능 기반 자동화 행정행위와 법치행정의 위기

법치국가원리의 가장 핵심적이고 본래적인 부분에 해당하는 법치행정의 원칙은 오늘날

위기를 맞이하고 있다. 법치행정의 위기를 야기한 주된 요인으로는 ① 행정기능의 확대 및

전문화･고도화와 ② 과학기술 등 법현실의 급격한 변화로 인해 발생하는 입법공백을 들 수

있다. 그런데 인공지능 기반 자동화 행정행위는 법치주의를 위협하는 두 가지 요소 모두와

관련이 있기 때문에, 인공지능 기반 자동화 행정행위에 있어서 법치행정의 위기가 더 분명

하게 드러난다. 다시 말해, 인공지능 기반 자동화 행정행위의 경우, 행정행위의 전문성에

기술의 복잡성까지 더해지면서, 법치행정의 요청에 반하는 형태로 구현될 위험이 전통적인

행정행위에 비해 더 높다고 할 수 있다.

우리나라의 경우, ｢행정기본법｣ 제20조가 인공지능 기반 자동화 행정행위가 허용됨을 명

시적으로 규정하고 있어, 인공지능 기반 자동화 행정행위가 과연 허용될 수 있는가에 대한

논의가 활발하게 이루어지고 있지는 않다. 그러나 독일 등의 국가에서는 여전히 인공지능

기반 자동화 행정행위의 허용 여부가 중요한 쟁점으로서 다루어지고 있고, 이 때 중요하게

고려되는 것이 바로 법치행정의 원칙이다. 법치국가원리의 본래적 내용에 해당하는 법치행

정의 중요성과 법치행정이 현재 직면하고 있는 위기를 고려할 때, 인공지능 시스템에 의한

행정이 과연 허용될 수 있을 것인지가 논의되고 있는 것이다.

우리나라에서도, 법치국가는 법과 합리성을 통해서 자신의 활동을 사전에는 예상가능하

게 하고 사후에는 통제가능하게 하는 것이 핵심이고, 법치국가에서는 결정의 성립에 영향

을 준 자만이 책임을 질 수 있음에 비추어 볼 때, 사전에 내용을 알 수 없는 컴퓨터에 의

한 결과까지도 행정에 귀속될 수 있게 하는 것은 행정의 법률구속에 합치하지 않는다는 견

해가 주장된 바 있다.32) 그리고 일반론으로서 주장된 것은 아니지만, 독일 ｢연방행정절차

법｣ 제35a조의 ‘자동화된 설비’의 범주에 자율학습형 머신러닝을 통해 스스로 알고리즘의

구성을 변경시킬 수 있는 수준의 머신러닝 기반 설비가 포함되는지 여부에 대하여, 머신러

닝의 경우 예측가능성이 없다는 것을 근거로 하여 머신러닝 기반 설비는 포함되지 않는다

고 보는 것이 헌법합치적 해석이라고 보는 견해도 있다.33)34) 해당 견해는 자율성을 갖는

호, 2020, 235면 참조.

32) 김중권, “인공지능시대에 완전자동적 행정행위에 관한 소고”, 법조 제66권 제3호, 2017, 167면 참조.

33) 이재훈, “독일 연방행정절차법 상 전자동화 행정행위 도입 및 주요 쟁점”, 행정법학 제16호,

18페이지

행정법연구제72호 52

알고리즘이 적용되는 자동화 행정행위를 허용하는 것이 법치국가원리에 부합하지 않는다고

본 것이라고 해석된다.

  1. 인공지능 기반 자동화 행정행위와 법률의 명확성 원칙

법치국가원리를 구성하는 본질적 요소인 법적 안정성 요청에 따라, 법률의 수권이 그 내

용･목적･범위에 있어 충분히 확정되고 제한되어 있어서 국민이 행정의 행위를 어느 정도

예측할 수 있을 것, 즉 법률이 명확할 것이 요구된다(법률의 명확성 원칙).35) 이때 각 개별

규정에 요구되는 명확성의 정도는 획일적으로 확정될 수 없고, 규율 대상의 성격과 법률이

당사자에 미치는 규율효과 등에 따라 달라진다.36)37) 그런데 인공지능 기반 자동화 행정행

위에 관한 법률에 요구되는 명확성의 정도를 판단함에 있어서 고려해야 할 요소는, 인간에

의해 이루어지는 전통적인 형태의 행정행위보다 더 다양하고 복잡하다.

먼저, 규율대상인 인공지능 기반 자동화 행정행위의 기술적 특성으로 인해 요구되는 명

확성의 정도가 달리질 수 있다. 기술적 측면에서 볼 때, 한편으로는 정보통신기술이 끊임없

이 발전하고 있어 그 기술의 변동가능성이 매우 크고 인공지능 기반 자동화 행정행위는 기

2019, 116면 참조.

34) 독일에서는 법률 규정이나 관할 행정청의 담당자에 기속되지 아니하고 스스로 학습하는 알고리즘은

민주적 정당성이나 법치국가원리의 관점에서 독일 행정절차법 제35a조의 적용대상이 아니라고 보 는 견해가 유력하다. U. Stelkens, in: Stelkens/Bonk/Sachs(Hg.), VwVfG, §35a Rn. 47; Siegel, Automatisierung des Verwaltungsverfahrens, DVBl 2017, S. 26; 정남철, “인공지능 시대의 도래와 디지털화에 따른 행정자동결정의 법적 쟁점 - 특히 행정기본법상 자동적 처분의 문제점을 중심으로 -”, 공법연구 제50권 제2호, 2021, 238면에서 재인용.

35) 한수웅, 헌법학, 법문사, 제10판, 2020, 265면 참조.

36) 한수웅, 헌법학, 법문사, 제10판, 2020, 265-269면 참조.

37) 우리 헌법재판소는 “명확성의 원칙에서 명확성의 정도는 모든 법률에 있어서 동일한 정도로 요구되

는 것은 아니고, 개개의 법률이나 법조항의 성격에 따라 요구되는 정도에 차이가 있을 수 있으며, 각각의 구성요건의 특수성과 그러한 법률이 제정되게 된 배경이나 상황에 따라 달라질 수 있다고 할 것이다. 일반론으로는 어떠한 규정이 부담적 성격을 가지는 경우에는 수익적 성격을 가지는 경 우에 비하여 명확성의 원칙이 더욱 엄격하게 요구된다고 할 것”이라고 한 바 있고(헌재 1992. 2. 25. 89헌가104, 판례집 4, 64, 78-79; 헌재 2001. 6. 28. 99헌바34, 판례집 13-1, 1255, 1264; 헌재 2002. 7. 18. 2000헌바57, 판례집 14-2, 1, 16; 헌재 2002. 1. 31. 2000헌가8, 판례집 14-1, 1, 8; 헌 재 2015. 10, 21. 2012헌바415, 판례집 27-2하, 1, 8-9; 헌재 2018. 12.27. 2017헌바231, 판례집 30-2, 717, 723.), “기본권제한입법이라 하더라도 규율대상이 지극히 다양하거나 수시로 변화하는 성질의 것이어서 입법기술상 일의적으로 규정할 수 없는 경우에는 명확성의 요건이 완화되어야 할 것”이라고 하여 규율 대상의 특성을 이유로 법률에 요구되는 명확성의 정도가 완화될 수 있음을 분명히 하였다(헌재 1999. 9. 19. 97헌바73등, 판례집 11-2, 285, 300; 헌재 2000. 2. 24. 98헌바37, 판례집 12-1, 169; 헌재 2002. 7. 18. 2000헌바57, 판례집 14-2, 1, 16.).

19페이지

인공지능기반자동화행정행위와민주적법치국가원리 53

술의 변동에 큰 영향을 받는 개념이라는 점에서 명확성 요구가 완화될 수 있는 것으로 보

이기도 한다. 그러나 다른 한편으로는, 정보통신기술에 의한 기본권 침해는 치명적이고 광

범위하며 회복이 어려울 수도 있다는 점에서, 명확성 요구가 강화된다고 볼 여지도 있다.

당사자에 미치는 규율효과의 측면에서도, 인공지능 기반 자동화 행정행위에 관한 법률에

요구되는 명확성의 정도가 완화되거나 강화될 수 있다. 인공지능 기반 자동화 행정행위에

관한 법률은 행정행위의 주체에게 지침을 제공하는 효과를 갖기도 하고, 행정행위의 상대

방인 국민의 기본권을 제한하는 효과를 갖기도 한다. 전자의 경우에는 명확성 요구가 완화

될 여지가 있지만, 후자의 경우에는 전자의 경우보다 명확성이 더 엄격하게 요구 된다. 특

히 후자의 경우에 있어서, 행정행위가 국민에게 미치는 영향이 지대하다는 점에서 명확성

요구가 강화되어야 한다고도 이야기할 수 있을 것이다. 이처럼 자동화 행정행위에 요구되

는 명확성의 정도를 판단함에 있어서는 매우 다양한 요소를 복합적으로 고려해야 하므로,

그 판단에 대한 일률적인 기준을 제시하는 데에는 한계가 있다. 따라서 인공지능 기반 자

동화 행정행위에 요구되는 법률의 명확성 정도는 사안에 따라 개별･구체적으로 판단해야

할 것이다.

Ⅴ. 인공지능 기반 자동화 행정행위와 적법절차원칙

  1. 행정절차에서의 적법절차원칙

적법절차원칙은 절차의 준수를 요구하는 절차적 적법절차원칙과 법률의 구체적인 내용이

합리성과 정당성을 갖출 것을 요구하는 실체적 적법절차원칙을 그 내용으로 한다. 그런데

인공지능 기반 자동화 행정행위의 절차와 관련하여 특히 문제가 되는 것은 절차적 적법절

차원칙이다. 이에 이하에서는 절차적 적법절차원칙에 관한 내용을 살펴보고자 한다.

오늘날 절차적 적법절차원칙에 있어서 가장 핵심적인 내용은 의견진술의 기회, 즉 청문

의 기회를 제공하는 것이다.38) 그리고 이러한 의미에서 절차적 적법절차원칙은 공권력이

국민에 대하여 불리한 결정을 하기에 앞서 국민은 자신의 견해를 진술할 기회를 가짐으로

38) “적법절차원칙에서 도출할 수 있는 가장 중요한 절차적 요청 중의 하나로, 당사자에게 적절한 고지

를 행할 것, 당사자에게 의견 및 자료 제출의 기회를 부여할 것을 들 수 있겠으나(헌재 1994. 7. 29. 93헌가3등, 판례집 6-2, 1, 11; 헌재 1996. 1. 15. 95헌가5, 판례집 8-1, 1, 16-17; 헌재 2002. 6. 27. 99헌마480, 판례집 14-1, 616, 634 참조), …” 헌재 2006. 5. 25. 2004헌바12, 판례집 18-1하, 58.

20페이지

행정법연구제72호 54

써 절차의 진행과 그 결과에 대하여 영향을 미칠 수 있어야 한다는 원리라고 할 수 있

다.39) 이는 행정절차에 있어서도 마찬가지이다. 행정에서의 절차적 적법절차원칙을 구체화

하는 법률인 ｢행정절차법｣은 행정절차의 기본적인 내용으로서 ① 침익적 처분의 사전통지

(제21조), ② 의견청취절차(제22조), ③ 문서 열람(제37조), ④ 처분의 이유 제시(제23조),

⑤ 처분기준과 처리기한의 설정･공표(제20조)를 규정하고 있는데, 이러한 절차는 모두 당사

자 등 이해관계인이 행정처분에 적절히 대응하며 방어권을 행사할 수 있도록 하기 위해 이

해관계인이 행정절차에 참여하는 것을 보장하는 절차이다.40)

  1. 인공지능 기반 자동화 행정행위에 대한 절차적 규율의 한계

인공지능 기반 자동화 행정행위의 경우, 위와 같은 당사자 등 이해관계인의 절차적 참여

를 보장하는 데에 한계가 있다. 인공지능 기반 자동화 행정행위가 이루어지는 과정 전체가

인공지능을 기반으로 하는 자동화 시스템에 의해 이루어지고, 그 과정에서 인간의 의사작

용이 완전히 배제되기 때문에, 처분이 이루어지기 전 당사자 등 이해관계인의 의견을 청취

하는 절차(청문, 공청회, 의견제출 등)에 관한 규정을 적용하기 어렵다. 그리고 인공지능 알

고리즘의 복잡성과 불투명성은 처분의 이유 제시와 처분기준의 설정 및 공표를 어렵게 하

는 요소가 된다.

우리나라보다 먼저 자동화 행정행위에 관한 논의를 시작하고 관련 법제를 구축한 독일의

경우, 이러한 자동화 행정행위에 대한 절차적 규율의 한계를 고려하여, 1976년 ｢연방행정

절차법｣ 제정 당시부터 행정절차를 생략하는 예외로서 자동화 행정행위를 규정하고 있다.

예를 들어, 자동화 행정행위의 경우 청문이나 이유제시를 생략할 수 있게 하였고(제28조

제2항 제4호, 제39조 제2항 제3호), 서면으로 이루어지는 자동화 행정행위를 함에 있어서

서명과 이름 기재를 생략할 수 있게 하였다(제37조 제5항 1문).

그런데 앞으로 인공지능 기반 자동화 행정행위가 더욱 확대될 것임을 고려하면, 인공지

능 기반 자동화 행정행위에 있어서 절차규정에 대한 예외를 광범위하게 인정하는 것은, 절

차적 적법절차원칙의 형해화를 초래할 수 있다는 점에서 바람직하지 않다고 생각된다. 따

라서 인공지능 기반 자동화 행정행위를 절차규정의 예외사유로 인정함에 있어서는 신중을

기해야 한다. 그리고 인공지능의 자율성과 불투명성 등의 특성을 고려하여 인공지능 기반

자동화 행정행위에 관한 별도의 절차규정을 둠으로써 절차적 정당성을 확보하는 방향으로

39) 한수웅, 헌법학, 법문사, 제10판, 2020, 645면 참조.

40) 김유환, 현대 행정법, 박영사, 제8판, 2023, 298-306면 참조.

21페이지

인공지능기반자동화행정행위와민주적법치국가원리 55

규율체계가 구축･정비될 필요가 있다.

인공지능 기반 자동화 행정행위의 절차에 관한 법제가 정비되지 않은 현 상황에서는, 이

해관계인의 절차적 참여를 보장하는 것이 실질적으로 불가능하다는 사정이, 절차규정의 예

외 인정을 정당화하는 사유가 아니라, 해당 행정행위가 인공지능에 의해 자동화 될 수 없

는 사유로서 이해되어야 할 것이다. 다시 말해, 적법절차원칙을 인공지능 기반 자동화 행정

행위의 한계로 이해하여, 인공지능을 통해 행정행위를 자동화함에 있어서 절차적 정당성

확보가 어려운 경우에는 행정행위를 인공지능으로 자동화하는 것이 허용되지 않는 것으로

보아야 한다.

  1. 인공지능 기반 자동화 행정행위의 절차적 정당성 확보 방안

인공지능 기반 자동화 행정행위의 경우 별도의 절차적 규율이 필요한 것은 인공지능의

기술적 특성으로 인해 기존의 절차 규정을 그대로 적용하는 것이 어렵기 때문이므로, 기존

의 절차 규정 중 인공지능 기반 자동화 행정행위에 적용하는 데에 어려움이 없는 규정은

당연히 인공지능 기반 자동화 행정행위에도 적용된다고 보아야 할 것이다. 반면에, 기존의

절차 규정이 적용되기 어렵거나 인공지능 기반 자동화 행정행위의 절차적 정당성 확보를

위하여 특별히 요구되는 절차가 있는 경우에는, 별도의 절차 규정을 두어야 한다. 이처럼

인공지능 기반 자동화 행정행위의 절차적 정당성을 확보하는 규율체계를 구축 방안으로는,

인공지능 기반 자동화 행정행위를 허용하는 개별 법률을 규정함에 있어서 절차에 관한 규

정을 둘 것을 강제하거나, 행정기본법과 같이 일반법적 성격을 갖는 법률에 인공지능 기반

자동화 행정행위에 일반적으로 적용될 수 있는 절차 규정을 별도로 두는 방안을 생각할 수

있다.

위와 같은 절차 규정에는 먼저, ① 인공지능 알고리즘과 그에 입력되는 데이터의 적정성

에 대한 감시･감독 절차가 포함되어야 한다. 이때 감시･감독은 신뢰할 수 있는 제3자에 의

하여 행해져야 할 것이다. 두 번째로, ② 인공지능 기반 자동화 행정행위의 영향을 받는 당

사자 등 이해관계인이 인공지능 알고리즘에 정확한 데이터가 입력될 것을 요구할 수 있다는

내용이 포함될 필요가 있다. 구체적으로 말해, 이해관계인이 문제되는 행정행위를 함에 있어

고려되어야 하거나 고려되는 것이 적절한 데이터가 인공지능 알고리즘에 입력될 것을 요구

할 수 있어야 하며, 이러한 입력 데이터의 적절성을 검증할 수 있도록 공적 감사 결과를 포

함한 통지를 요구할 수 있어야 한다.41) 그리고 마지막으로, ③ 부적절한 데이터가 입력되었

41) Kate Crawford/Jason Shultz, Big Data and Due Process: Toward a Framework to Redress

22페이지

행정법연구제72호 56

다고 판단되는 등 인공지능에 의하여 이루어진 자동화 행정행위가 위법･부당하다고 판단될

경우 그에 대하여 이의를 제기하거나 거부할 수 있는 절차가 마련되어야 한다.

Ⅵ. 결론

인공지능 기반 자동화 행정행위는 행정의 효율성과 합리성･정확성을 크게 제고하는 혁신

적인 변화를 가져올 것으로 기대된다. 그런데 인공지능은 인간이 설계한 논리구조와 결과

를 그대로 구현하는 것을 넘어 스스로 학습하고 판단･결정할 수 있는 자율성을 갖기 때문

에, 인공지능 기반 자동화 행정행위는 전통적인 행정행위와 그 법적 평가 및 의미에 있어

서 차이를 갖게 된다. 그리고 이러한 차이는, 기존 법규로 인공지능 자동화 행정행위를 충

분히 규율하지 못한다는 한계로 연결되기도 하고, 민주적 법치국가 원리를 위협하는 요인

이 되기도 한다. 이에 기술의 발전을 추구하면서도 그로 인한 부작용이나 역기능을 최소화

하기 위해 노력할 것이 요구된다. 그런데 기술의 발전을 추구하다보면 부작용에 소홀해지

기 쉽고 부작용을 막기 위해 규제를 하다보면 기술 발전이 저해될 수밖에 없다. 때문에 양

자의 균형을 맞추는 것이 무엇보다도 중요하다. 여기에서 양자 간의 한계선이 무엇인지를

설정하는 것이 중요한데, 민주적 법치국가원리가 기술 발전의 추구로 인한 폐해를 방지하

기 위한 한계선이 된다.

인공지능 기반 자동화 행정행위에 관한 문제는 결국 인공지능 알고리즘의 자율성과 불투

명성이라는 특성으로부터 야기된다고 할 수 있다. ① 인공지능이 자율성을 가지고 인간의

의사작용을 완전히 배제하는 것은 인간인 공무원의 의사작용을 전제로 하는 조직적･인적

민주적 정당성 확보를 어렵게 하고, 인공지능 알고리즘의 불투명성은 행정행위의 내용이

국민의 의사로 소급되어야 인정되는 실질적･내용적 민주적 정당성 확보를 어렵게 하는 요

인이 된다. 그리고 자율성과 불투명성을 특징으로 하는 인공지능 기술의 복잡성은, ② 인공

지능 기반 자동화 행정행위에 관한 법적 규율체계를 갖추는 것을 어렵게 하여 법치행정의

위기를 야기하며, ③ 절차적 정당성 확보를 어렵게 한다. 이러한 민주적 법치국가 원리 측

면에서의 문제는 결국 인공지능 알고리즘의 투명성과 설명가능성, 그리고 이를 기반으로

Predictive Privacy Harms, Boston Law Review, Vol. 55, 2014, p. 126; Danielle Keats Citron, Technological Due Process, Washington University Law Review, Vol. 85, 2008, p. 1305-1306; 이 희옥, “인공지능의 의사결정에 대응한 자기결정권의 보장에 관한 연구”, 한양대학교 박사학위논문, 2020, 178면에서 재인용.

23페이지

인공지능기반자동화행정행위와민주적법치국가원리 57

한 통제가능성을 확보함으로써 해결될 수 있다. 따라서 인공지능 기반 자동화 행정행위에

관한 규율체계는, 민주적 법치국가 원리에 부합하는 범위 내에서, 인공지능 알고리즘의 투

명성과 설명가능성 및 통제가능성이 확보되는 방향으로 구축되어야 할 것이다.

(투고일: 2023. 11. 13. 심사완료일: 2023. 11. 20. 게재확정일: 2023. 11. 22.)

24페이지

행정법연구제72호 58

참고문헌

[국내문헌]

  1. 단행본

김광수, 인공지능법 입문, 내를 건너서 숲으로, 2021.

김유환, 현대 행정법, 박영사, 제8판, 2023.

김윤명, 블랙박스를 열기 위한 인공지능법, 박영사, 2022.

법제처, 행정기본법 해설서, 2021.

한수웅, 헌법학, 법문사, 제10판, 2020.

  1. 논문

계인국, “4차 산업혁명과 행정법의 과제 - 산업혁명사와 디지털화를 중심으로 -”, 법제연구 제53

호, 2017, 149-176면.

권은정, “자동적 처분의 행정법적 제 문제 - 처분의 형식･절차 및 구제에 관한 쟁점을 중심으로 -”,

법학논총 제38권 제3호, 2021, 89-114면.

김길수, “공공부문에서 인공지능 활용에 관한 연구”, 한국자치행정학보 제33권 제1호, 2019,

27-47면.

김남진, “행정의 민주적 정통화론”, 학술원통신 제290호, 2017, 9-13면.

김도승, “디지털사회에서 공정성의 가치와 담론”, 디지털 윤리 제6권 제1호, 2022, 21-30면.

김도승, “인공지능 기반 자동행정과 법치주의”, 미국헌법연구 제30권 제1호, 2019, 105-138면.

김유환, “행정기본법 제정 및 행정절차법 개정에 대한 평론 - 행정법이론체계에 대한 함의와 입법적

과제”, 행정법연구 제68호, 2022, 1-46면.

김중권, “인공지능시대 알고크라시(Algocracy)에서의 민주적 정당화 문제”, 법조 제69권 제5호,

2020, 181-207면.

김중권, “인공지능시대에 완전자동적 행정행위에 관한 소고”, 법조 제66권 제3호, 2017, 146-182면.

안준모, “인공지능을 통한 행정의 고도화 : 기회와 도전”, 한국행정연구 제30권 제2호, 2021,

1-33면.

양종모, “인공지능의 위험의 특성과 법적 규제방안”, 홍익법학 제17권 제4호, 2016, 537-565면.

이재훈, “독일 연방행정절차법 상 전자동화 행정행위 도입 및 주요 쟁점”, 행정법학 제16호,

2019, 111-138면.

이재훈, “전자동화 행정행위 도입 후 독일 행정절차법제 논의의 전개 양상”, 공법학연구 제19권

제4호, 2018, 481-515면.

이재훈, “전자동화 행정행위에 관한 연구 - 독일 연방행정절차법 제35조의a를 중심으로 -”, 성균관

25페이지

인공지능기반자동화행정행위와민주적법치국가원리 59

법학 제29권 제3호, 2017, 143-192면.

이해원, “인공지능과 불법행위책임에 관한 연구”, 연세대학교 박사학위논문, 2021.

이희옥, “인공지능의 의사결정에 대응한 자기결정권의 보장에 관한 연구”, 한양대학교 박사학위논문,

2020.

정남철, “인공지능 시대의 도래와 디지털화에 따른 행정자동결정의 법적 쟁점 - 특히 행정기본법상

자동적 처분의 문제점을 중심으로 -”, 공법연구 제50권 제2호, 2021, 231-252면.

정승준/변준영/김창익, “설명 가능한 인공지능 기술의 소개”, 전자공학회지 제46권 제2호, 2019,

55-63면.

조성규, “인공지능에 기반한 자동화된 행정결정의 행정법적 쟁점”, 동북아법연구 제16권 제4호,

2023, 149-189면.

최승필, “공행정에서 AI의 활용과 행정법적 쟁점 - 행정작용을 중심으로 -”, 공법연구 제49집 제2

호, 2020, 207-242면.

허완중, “민주적 정당성”, 저스티스 통권 제128호, 2012, 132-153면.

홍석한, “민주주의에 대한 인공지능의 위험과 규범적 대응 방안”, 헌법학연구 제28권 제1호,

2022, 127-159면.

[외국문헌]

Berger, Ariane, Der automatisierte Verwaltungsakt - Zu den Anforderungen an eine

automatisierte Verwaltungsentscheidung am Beispiel des § 35 a VwVfG, NVwZ 2018, S.

1260-1264.

Braun Binder, Nadja, Vollautomatisierte Verwaltungsverfahren im allgemeinen

Verwaltungsverfahrensrecht?, NVwZ 2016, S. 960-965.

Djeffal, Christian, Das Internet der Dinge und die öffentliche Verwaltung - Auf dem Weg zum

automatisierten Smart Government?, DVBl 2017, S. 808-816.

Schliesky, Utz, Digitalisierung - Herausforderung für den demokratischen Verfassungsstaat,

NVwZ 2019, S. 693-701.

Siegel, Thorsten, Automatisierung des Verwaltungsverfahrens - zugleich eine Anmerkung zu §§

35a, 24 I 3, 41 IIa VwVfG, DVBl 2017, S. 24-28.

Stegmüller, Martin, Vollautomatische Verwaltungsakte - eine kritische Sicht auf die neuen § 24 I

3 und § 35 a VwVfG, NVwZ 2018, S. 353-440.

Martini, Mario/Nink, David, Subsumtionsautomaten ante portas? - Zu den Grenzen der

Automatisierung in verwaltungsrechtlichen (Rechtsbehelfs-)Verfahren, DVBl 2018, S.

1128-1138.

26페이지

행정법연구제72호 60

AI-based automated administrative acts

and the principle of democratic rule of law

Kim, Chanhee*

42)

‘AI-based automated administrative acts’ refers to automated administrative acts in

which the final decisions are made by an automated system operated by artificial

intelligence(AI) algorithms. AI-based automated administrative acts are performed by AI

algorithms that completely replace human decision-making and exercise autonomy to learn,

judge, and decide on their own. This type of administrative act was unimaginable when

the concept of administrative acts was established in our current legal system. Therefore,

AI-based automated administrative acts require a distinct legal evaluation compared to

traditional administrative acts, and a new regulatory system should be established with

consideration of these differences.

AI-based automated administrative acts are expected to significantly improve the

efficiency and rationality of administration. However, on the other hand, concerns arise

due to the autonomy and opacity of AI, which may lead to disharmony with the existing

legal system and violation of constitutional values. Therefore, in building a new regulatory

framework for AI-based automated administrative acts, it is crucial to find a balance

between harnessing the advantages of AI technology and minimizing its side effects. In

this process, the principle of the democratic rule of law serves as both a guide and a

constraint.

① The autonomy of AI, excluding human decision-making, poses challenges to securing

organizational-personal democratic legitimacy, which is predicated on the decision-making

of human officials. Furthermore, the opacity of AI algorithms complicates the achievement

of substantial democratic legitimacy, which is recognized only when the contents of

administrative acts are retroactively recognized as the will of the people. The complexity

of AI technology, stemming from its autonomy and opacity, ② makes it difficult to

  • Senior Research Officer, Constitutional Research Institute, Ph.D. in Law, Attorney-at-Law.

27페이지

인공지능기반자동화행정행위와민주적법치국가원리 61

establish a legal regulatory system for AI-based automated administrative acts, causing a

crisis in the rule of law, and ③ makes it difficult to secure procedural legitimacy. The

aforementioned problems from the perspective of democratic rule of law can ultimately be

addressed by ensuring transparency, explainability, and controllability of AI algorithms.

Therefore, the regulatory framework for AI-based automated administrative acts should be

designed to ensure the transparency, explainability, and controllability of AI algorithms

within the principle of the democratic rule of law.

Key Words: automated administrative acts, autonomy of AI, opacity of AI, democratic

legitimacy, rule of law, due process of law