인공지능 행정이 행정절차·행정소송에 미치는 영향에 대한 시론적 고찰

원본 파일: 인공지능 행정이 행정절차·행정소송에 미치는 영향에 대한 시론적 고찰.pdf
변환 일시: 2026-04-09 22:44

1페이지

사단법인 행정법이론실무학회 행정법연구 제62호 2020년 8월 Korea Administrative Law and Practice Association Administrative Law Journal Vol. 62, August 2020

인공지능 행정이 행정절차･행정소송에 미치는

영향에 대한 시론적 고찰*

1)

임 성 훈 **

국문초록

행정 분야에서 인공지능 활용이 확대될 것으로 예상되는 상황에서 인공지능 알고리즘이 가지는 예

측불가능성과 자율성으로 말미암아 인공지능 알고리즘의 투명성 및 책임성을 어떻게 확보할 것인가

가 문제된다. 이를 위하여 인공지능 활용에 대한 윤리적 대응이나 인공지능규제를 위한 특별법과 별

도로 법치주의와 적법절차 관점에서 행정법적 대응이 검토되어야 한다.

미국에서는 인공지능 행정과 관련하여 최근에 인공지능에 의한 집행 대상 선정과 사회보장급부와

관련된 재결을 중심으로 다양한 논의가 이루어지고 있다. 인공지능 행정의 장점을 중시하면서 그 도

입에 적극적인 입장에서는 인공지능의 블랙박스적 성격도 기존의 행정절차법상 투명성 내지 이유제

시의 기준 및 행정소송에서의 법원의 존중 원칙에 비추어 수용가능하고, 청문 등 절차 적용이 반드시

요구되는 것이 아니며, 인공지능을 통한 규칙제정도 가능하다고 한다. 반면 자동화행정 및 인공지능

의 블랙박스적 성격에 대한 대응을 강조하는 입장에서는 행정절차법상 투명성과 관련하여 인공지능

알고리즘과 관련한 정보를 최대한 공개하여야 하고 인공지능 시스템 문제와 관련하여 청문 등 절차

적용이 필요하다고 한다. 아울러 인공지능에 대한 법원의 통제를 강화하기 위하여, 종전에 사법심사

대상에서 제외되었던 행정집행 대상 선정에 대한 사법심사를 확대하거나 인공지능 행정에 대하여는

법원의 존중을 제한함으로써 법원이 엄격심사를 하여야 한다는 논의도 이루어지고 있다.

인공지능 행정의 투명성 및 책임성 확보를 위하여 우리 행정절차 및 행정소송에서 다음과 같은 사

항이 논의될 필요가 있다.

첫째, 인공지능에 의한 집행 대상 선정 관련하여 법위반 탐지의 효율적 수행을 위하여 인공지능을

활용하면서도 조사대상 선정에 대한 객관성과 공정성을 강화하기 위하여 필요한 경우 별도의 심의

절차로 보완하는 것을 제도적으로 고려할 수 있다.

둘째, 사회보장급부에서의 민원과 관련하여서는 민원 처리를 위한 인공지능 시스템은 처분기준과

양식을 반영하여 설계가 이루어져야 한다는 점에서, 강화된 처분기준 설정은 인공지능의 불투명성을

보완하는 효과적인 방안이 될 수 있다.

이 논문은 2019학년도 충북대학교 학술연구지원사업의 연구비 지원에 의해 연구되었음 ** 법학박사, 충북대학교 법학전문대학원 부교수

2페이지

행정법연구 제62호 136

셋째, 인공지능 행정에 대한 행정소송법적 대응과 관련하여서는, 인공지능 시스템 문제로 인한 파

급효과를 최소화하기 위해서 인공지능에 의한 구체적인 행정작용이 이루어지기 이전이라도 인공지능

알고리즘에 대한 사법심사를 허용하고, 인공지능 행정의 투명성을 확보할 수 있도록 인공지능 행정의

이유제시에 대한 판단기준을 강화하는 방안이 검토되어야 한다.

마지막으로 인공지능 도입으로 행정효율이 증가하고 행정절차 비용이 감소하게 되면, 이는 행정효

율의 관점에서 마련된 행정절차 예외 적용 범위를 축소할 유인이 될 수 있다. 인공지능의 투명성 확

보가 규제 회피에 악용될 수 있다는 부분과 연결되는 밀행성(密行性)을 중심으로 행정절차 예외사유

를 최소화함으로써 인공지능 행정의 확대와 병행하여 행정절차 적용범위를 확대하는 방향으로 나아

갈 수 있을 것이다.

주제어: 인공지능 행정, 행정절차, 투명성, 정보공개, 처분기준 설정･공표

목 차

Ⅰ. 서론

Ⅱ. 미국에서의 인공지능 행정에 대한 행정법적 관점에

서의 분석

Ⅲ. 우리 행정법에서의 인공지능 행정에 대한 행정절차,

행정소송의 적용 방향

Ⅳ. 결론

Ⅰ. 서론

행정분야에서의 인공지능 활용

바야흐로 인공지능의 시대이다. 인공지능 기술은 이미 민간영역에서 활용 영역이 확대되는

추세이고, 공공 영역에도 인공지능 기술을 이용하는 사례가 늘고 있다.1) 공공 분야에서의 인

공지능 활용은 공공부문 내부적으로는 업무프로세스의 자동화를 통하여 효율성 제고를 기대

할 수 있고, 인공지능시스템은 인간보다 더 많은 데이터를 빠르게 처리할 수 있어 정밀하고

1) 국내외의 인공지능 활용 현황과 공공 활용에 관한 개괄적인 내용은 우선 이상길, “국내외 AI 활용 현 황과 공공 적용”, 뺷ICT SPOT ISSUE뺸 S18-08(2018. 12.), 10-25면 참조, 인공지능 기반 공공서비스의 구체적인 시행 또는 추진내역은 한국정보화진흥원, 뺷지능형정부 구현을 위한 인공지능 활용 윤리에 관 한 연구뺸, 2018, 13-15면 참조.

3페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 137

신속하며 시민들의 요구사항에 부합하는 공공서비스를 제공할 수 있다는 장점이 있다.2) 인공

지능 행정에 관한 정부 추진 전략을 살펴보면, 정부는 2016년 4월 ｢전자정부 2020 기본계획｣

을 발표하면서 인공지능을 포함한 “지능정보기술 발전에 따른 전자정부 패러다임 전환”을 배

경으로 “인지･예측기반 지능행정 실현”을 중점과제로 제시한 이후,3) 2017년 3월에는 ｢지능형

정부 기본계획｣을 발표하면서 지능형정부에서 인공지능의 활용방안을 제시하였고,4) 2019년

이후에는 공공 영역에서의 인공지능 활용 확대를 위하여 2019년도 6월 24일 제2회 전자정부

의 날 기념식에서 ‘지능형 정부 비전 및 추진전략’을 공표하면서 그 전략목표로 ‘인공지능을

활용한 대국민서비스 혁신, 알아서 처리하는 똑똑한 행정 구현’을 제시하였다.5) 이후 2019년

10월 29일 국무회의에서 ｢디지털 정부혁신 추진계획｣을 발표하였으며, 2019년 12월 17일 국

무회의에서 ｢인공지능(AI) 국가전략｣을 발표하면서, 그 목표 중 하나로 ‘최고의 디지털 정부

구현’을 제시하면서 ‘AI 기반 디지털 정부’로 이행 및 ‘초기 AI 시장의 마중물로서 공공부문

이 선도적으로 AI를 적극 도입･활용하고, 이를 통해 맞춤형･지능형 공공서비스로의 전환을

가속화’하는 것을 추진전략을 제시하였다.6) 이러한 정부의 전략에 따르면 공공 분야에서의

인공지능 활용은 확대될 것으로 예상된다.

인공지능 행정의 적용 방식

현 단계에서는 행정업무 중 정책결정과 같은 영역에 직접적으로 인공지능을 활용하는 사

례를 찾아보기 어려운 측면이 있고, 주로 시민의 편의에 도움을 주는 방향으로의 접근이 주

축을 이루고 있다.7) 실제로 ｢인공지능(AI) 국가전략｣에서는 시민의 편의에 도움을 주기 위한

공공서비스의 혁신으로 ‘각종 급부적 서비스의 DB화 및 AI 활용으로 사각지대 없이 도움이

필요한 국민을 먼저 찾아 선제적 맞춤형 서비스 제공’이 추진과제로 제시되었다.8) 그 이외에

공공영역에서의 인공지능의 활용 유형으로 자동화서비스,9) 예측서비스,10) 그리고 적발 및 규

2) 김길수, “공공부문에서의 인공지능 활용에 관한 연구”, 뺷한국자치행정학보뺸 제33권 제1호(2019 봄), 40-41면.

3) 행정자치부, “전자정부 2020 기본계획”, 2016. 4., 8면.

4) 행정안전부, “지능형 정부 기본계획”, 2017. 3., 여기에서 인공지능 활용 사례로는 ➀ 개인비서 서비스 (인공지능 행정비서), ➁ AI-신문고를 통한 민의분석 로보틱스 플랫폼, ➂ 인공지능을 활용하여 숨은 정 책수요를 발굴･제안하고 의사결정권자에 빅데이터를 기반으로 조언해 주는 ‘AI 보좌관’등이 제시되었다.

5) 행정안전부, “4차 산업혁명 시대, 국민과 함께 지능형 정부로”, 2019. 6. 24. 보도자료, 5면.

6) 관계부처 합동, “인공지능 국가전략”, 2019. 12., 36면.

7) 한국정보화진흥원, 앞의 책, 36면 참조.

8) 관계부처 합동, 앞의 글, 37면.

9) 단순반복적인 일반 행정업무의 자동화

10) 인공지능을 활용해 공공 및 사회서비스를 제공하기에 앞서 예측의 정확성을 높이고자 하는 것 (예 : 날씨예측, 도로교통 이상행위 파악)

4페이지

행정법연구 제62호 138

제서비스11)를 제시하는 견해가 있다.12) ｢인공지능(AI) 국가전략｣에서는 적발 및 규제서비스의

일환으로 환경오염 대응,13) 국민생활 안전,14) SoC 안전확보15)와 같은 활용과제가 제시되고

있다.16) 행정업무에서의 인공지능 활용은 차세대 지능형정부의 구현의 연장선상에 있는 것으

로서 전자정부법상 기존 전자정부의 패러다임에 따르면, 전자정부법의 목적과 정의 규정상의

‘국민에 대한 행정업무를 효율적으로 수행’(국민편의 제고), ‘행정의 생산성, 투명성 및 민주

성 제고’(행정업무 및 판단부담 경감)를 추구하는 것인데, 여기서 더 나아가 인공지능을 행정

의 정책결정에 직접 활용하는 것은 기존 전자정부 서비스의 한계를 넘어서는 차원의 논의에

해당한다.17)

인공지능 블랙박스(Blackbox)와 투명성(Transparency)

인공지능은 규칙기반 중심의 자동시스템(automated system)18)에서 머신러닝(machine

learning)19)의 일종인 딥러닝(deep learning)20)을 활용한 자율시스템(autonomous system)으로 발

전함에 따라,21) 인공지능 기술의 설계, 생산, 사용 등과 관련하여 알고리즘 편향, 투명성, 책

무성 등의 윤리적 문제가 발생한다. 머신러닝은 데이터를 활용하여 규칙을 찾는 것으로서 규

칙은 수학적으로 함수(function)로 구성되고, 새로운 데이터를 함수에 입력하면 그 데이터에

대한 예측이나 판별을 할 수 있게 된다. 이러한 함수를 구성함에 있어서는 가설함수를 세우

고 최적함수를 찾기 위하여 매개변수(parameter)22)를 결정하여야 하는데, 그 결정을 위한 학

11) 공공안전을 위한 적발이나 규제를 집행하기에 앞서 판단 결정에 필요한 정보 제공 (독성물질 검사, 재 무제표 부정 탐지, 세금 미납 적발, 범죄 발생 지역 파악, 소방시설 검사 건물 선정, 수질검사, 음식물 위생검사 순서 선정)

12) 최상옥, “인공지능 기반 공공서비스와 신공공성”, 월간 공공정책 152호(2018. 6.), 8-9면.

13) 중단기 미세먼지 예측기술 개발, 지하수 오염 감시 및 예측

14) 범죄정보 분석을 통한 범죄 발생 예측･대응

15) AI･5G 융합을 통한 지하공동구, 상하수도, 철도 등 시설물 안전관리

16) 관계부처 합동, 앞의 글, 37면.

17) 한국정보화진흥원, 앞의 책, 44-53면 참조.

18) 규칙이 주어지면 그에 해당하는 답을 내어놓는 방식으로, 시스템 외부에서 인간이 모두 규칙을 만들거 나 조합을 해야 한다. 전문가 시스템(expert system)이라고도 한다.

19) 머신러닝은 말 그대로 기계가 학습을 하는 것이다. 사람이 미리 정해놓은 규칙 없이 기계가 데이터를 분석하여 데이터들의 사이에 존재하는 규칙을 학습하고, 그러한 학습이 이루어지고 나면 새로운 데이 터에 대한 판별이나 예측을 컴퓨터가 수행한다.

20) 머신러닝의 모델 중 하나로 뉴럴 네트워크(Neural Network) 모델이 있는데, 이 모델은 뇌의 신경구조를 논리적으로 모방하여 지적인 처리를 컴퓨터에 시키는 것이다. 딥러닝은 인간의 뇌가 수많은 뉴런들의 연결망으로 구성된 것과 유사하게 이러한 인공신경망을 여러 개의 계층(layer)으로 구성하여 만든다.

21) 인공지능, 머신러닝, 딥러닝의 개념에 관하여는 일단 한국행정연구원, 뺷인공지능 기술의 행정분야 활용 에 관한 탐색적 연구뺸, 2019, 16-45면 참조.

5페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 139

습단계를 거치게 된다. 이러한 과정을 거쳐서 만들어진 최적함수에 따라 처리 과정이 자동적

으로 수행되는 인공지능 알고리즘이 만들어지는 것으로서, 머신러닝, 딥러닝, 인공지능, 알고

리즘은 자율시스템이라는 점에서 상호 연관관계에 있다.

양질의 충분한 데이터가 입력되고, 정확한 가설함수가 수립되고, 학습방법도 완벽하여 객

관적인 인공지능 알고리즘이 만들어지고, 그러한 인공지능 알고리즘이 도출하는 결과도 공정

하다면, 인공지능 활용에 아무런 문제가 없을 것이다. 그러나 현실은 양질의 충분한 데이터라

는 조건부터 구비되기 어려운 상황이고, 이에 더하여 학습방법이 적절하지 않을 수도 있다.

나아가 딥러닝의 경우 스스로 데이터를 입력하여 학습하는 과정에서 서로 복잡하게 연결된

수많은 계층이 상호작용하므로 인공지능 알고리즘은 예측불가능성과 자율성을 갖게 되어 알

고리즘 설계자도 인공지능의 의사결정 과정을 정확히 알 수 없는 문제가 있다.23) 따라서 인

공지능으로 인한 결정에 있어 문제가 발생하면 그 문제의 해결을 위하여 인공지능 블랙박스

안에서 정보처리 절차에 대하여 정확히 파악하고 설명할 수 있어야 하는데, 이러한 관점에서

인공지능 알고리즘의 투명성 확보가 중요한 문제로 대두된다.

인공지능에 대한 윤리적 대응

민간분야에서는 인공지능 윤리기준에 대한 다양한 논의가 있었다.24) 방송통신위원회는

2019년 11월 11일 ｢이용자 중심의 지능정보사회를 위한 원칙｣을 발표하였는데, 특히 ‘투명성

과 설명가능성’에 대하여는 “이용자가 이해할 수 있도록 관련 정보를 작성해야 하며, 이용자

기본권에 피해를 유발했을 때 예측, 추천, 결정의 기초를 사용한 주요요인을 설명할 수 있어

야 함”이라고 하고 있다.25) 한편

인공지능 행정에 대한 윤리적 대응의 필요성과 관련하여, 인공지능 기술 자체의 발전 방향

을 예측할 수 없다는 불확정성으로 인하여 사전에 기술적･관리적 보호조치와 같은 법규범을

통한 규율은 한계가 있을 수 있으므로, 인공지능 기술 및 응용 수준이 초기인 상황에서는 다

소 포괄적인 행위준칙 및 윤리기준을 정립하여 활용하는 것이 타당하다는 입장도 있다.26)

인공지능 행정에 대한 행정법적 대응의 필요성

민간영역의 인공지능 윤리기준에 관한 논의가 인공지능 행정에도 적용될 수 있는 측면이

22) 두 개 이상의 변수 사이의 함수 관계를 간접적으로 표시할 때 사용하는 변수이다.

23) 이에 관한 보다 상세한 내용은 한국행정연구원, 앞의 책, 43-44면 참조.

24) 국내외 주요 인공지능 윤리 가이드라인에 관하여는, 한국정보화진흥원, 앞의 책, 55-84면 참조.

25) 방송통신위원회, “이용자 중심의 지능정보사회를 위한 원칙”, 2019. 11. 11.자 보도자료, 3면.

26) 한국정보화진흥원, 앞의 책, 110-113면 참조.

6페이지

행정법연구 제62호 140

있기는 하다. 반면, 행정분야의 경우에는 민간영역과 달리 기존에 인공지능 행정에 대하여도

법치주의, 행정절차 등의 법원칙 및 이러한 법원칙이 구체화된 실정법이나 판례가 적용된

다.27) 따라서 행정분야에서는 “윤리적 대응이냐 아니면 인공지능규제법에 의한 특별법적 대

응이냐”와 별도로 ‘행정법적 대응’에 대한 검토를 통하여 인공지능 블랙박스의 문제에 대한

행정법적인 규율 가능성과 한계를 점검하여야 한다.28) 이하에서는 인공지능 행정의 허용성과

한계에 대하여 행정법적 관점에서의 분석이 이루어진 미국에서의 최근 논의를 소개하고, 이

를 참고하여 우리나라의 실정법 및 판례의 관점에서 인공지능 행정에 대한 행정법적 대응방

안에 대하여 검토해 본다.

Ⅱ. 미국에서의 인공지능 행정에 대한 행정법적 관점에서의 분석

논의의 전제 – 미국에서의 인공지능 활용 현황

최근 미국의 연구보고 결과에 따르면, 142개의 연방행정기관에 대한 조사 결과 64개 기관

(45%)이 인공지능 또는 러닝머신 활용에 관한 경험이 있는 것으로 확인되는데, 그 활용분야

는 ➀ 법위반사실에 대한 행정집행 대상 선정, ➁ 정책 형성을 위한 자료 수집 및 분석, ➂

재결(Adjudication) 업무 보조, ➃ 공공서비스 제공(우편서비스, 챗봇 등), ➄ 행정기관 내부

업무로 분류된다.29)

27) 인공지능이 행정법 이론에 미치는 영향에 관하여는 김광수, “인공지능규제법 서설”, 뺷토지공법연구뺸 제 81집(2018. 2.), 302-306면; 김도승, “인공지능 기반 자동행정과 법치주의”, 뺷미국헌법연구뺸 제30권 제1 호(2019. 4.) 105-138면 참조. 참고로 독일에서는 연방행정절차법 제35a조의 “법령에 의해 허용되고 재 량 또는 판단여지가 없는 경우, 행정행위는 전적으로 자동화 설비를 통해 발령될 수 있다”라는 규정을 통하여 ‘완전자동화 행정행위’를 도입하여는데, 이에 관하여는 김중권, “인공지능시대에 완전자동적 행 정행위에 관한 소고”, 뺷법조뺸 제723권(2017. 6.) 146-182면; 박훈민, “전자정부와 자동화된 행정결정에 대한 법도그마틱상 검토필요성 – 독일과 네덜란드에서의 법제와 논의를 중심으로 한 시론 -”, 뺷행정법 연구뺸 제52호(2018. 2.) 57-77면; 이재훈, “독일 연방절차법상 전자동화 행정행위 도입 및 주요 쟁점”, 뺷행 정법학뺸 제16호(2019. 3.) 111-138면 참조. 다만 행정자동결정은 의사결정구조가 단순하고 결과예측이 가능하며 인간 공무원의 개입이 용이한 반면, 인공지능 행정은 비정형적, 비구조적이며 매우 복잡하고 결과에 대한 예측과 설명이 곤란하고 공무원의 개입이 어렵다는 점에서 질적 차이가 있고, 그 연장선 상에서 독일법상으로는 인공지능을 기반으로 한 완전자동화 행정행위는 독일연방행정절차법 제35a조의 적용대상이 아니어서 허용되지 않는 것으로 보인다(김도승, 위의 글, 120면; 이재훈, 위의 글 116면 참조).

28) 인공지능 행정을 위한 알고리즘 설계와 활용에 관한 사전적인 기준 설정을 위한 가이드라인을 수립함 에 있어서도, 단순한 ‘윤리적’ 내용을 넘어서 ‘행정법적’ 원칙과 기준이 인공지능 행정 분야에 구체적으 로 적용되는 내용이 반영되어야 한다는 점에서도, ‘윤리적 대응’과 관련하여서도 ‘행정법적 대응’에 대 한 검토가 병행될 필요가 크다.

29) David Freeman Engstrom, et al., “Government by Algorithm: Artificial Intelligence in Federal Administrative Agencies”, REPORT SUBMITTED TO THE ADMINISTRATIVE CONFERENCE OF

7페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 141

인공지능을 활용하기 이전의 자동화 단계에서부터 완전자동화 시스템(fully automated

system)30)과 인간이 개입하는 혼합시스템(mixed system)31)으로 구분되었는데, 혼합시스템에는

(1) 행정기관이 자동적으로 결정을 생성하지만 그에 대하여 이의(appeal)을 허용하는 방식, (2)

자동화된 일차적 결정에 대하여 인간 담당자가 관여하여 최종적인 결정을 하는 방식, (3) 시

민에게 자동화된 조언(automated advice)만 하고 최종적인 결정을 하지 않는 방식이 있다.32)

완전자동화된 인공지능 행정이 이루어지는지에 관하여는, 인공지능이 행정결정을 보조하기

는 하지만 인간의 결정을 완전히 대체하는 인공지능이 아직 등장하지는 않았으나,33) 인공지

능 기술의 발전과 활용가능한 데이터의 확대로 인공지능의 역할이 증대되어 행정작용에 있어

서도 자동적으로 감사 또는 검사를 수행하고, 세금 환급 사기를 판별하고, 비행기 조종사의

면허를 받거나, 재해지원금을 수여할지를 결정하는 것이 멀지 않은 미래에 가능할 것이라고

예상하기도 한다.34) 한편 인공지능의 자동화된 의사결정과 인공지능의 보조를 받는 인간의

의사결정을 구분하는 것은 사실상 어렵다는 입장35) 또는 인간이 알고리즘을 설계하고 데이터

를 선택하며 사후 관리도 함으로써 인공지능의 결정 과정에 시간적으로 그리고 내용적으로

관여하는 이상 ‘전적인 자동화’라는 개념은 성립하기 어렵다는 입장36)도 있다. 이와 같이 인

공지능 행정이 자동화된 의사결정을 하는지 아니면 인간을 보조하는지에 관하여 다양한 견해

와 입장을 전제하면서도 그 구분에 큰 의미를 두지 않고,37) 인공지능 행정에 대한 행정법 이

론과 판례의 적용에 관한 논의가 이루어지고 있다는 점38)이 특기할 만하다.39)

THE UNITED STATES, 2020. 2., at 16-17.

30) 독일에서의 ‘완전자동화 행정행위’와 유사한 개념으로 볼 수 있다.

31) 독일에서의 ‘자동장치를 이용한 행정행위’와 유사한 개념으로 볼 수 있다.

32) Danielle Keats Citron, “Technological Due Process”, 85 Wash. L. Rev. 1249, 1263-1267 (2008).

33) Cary Coglianese & Lavi M. Ben Dor, “AI in Adjudication and Administration”(2020), Faculty Scholarship at Penn Law. 2118, Available at https://scholarship.law.upenn.edu/faculty_scholarship/2118, 18.

34) Cary Coglianese & David Lehr, “Transparency and Algorithmic Governance”, 71 Admin. L. Rev. 1, 8-9 (2019)

35) Mariano-Florentino Cuéllar, “Cyberdelegation and the Administrative State” (Stanford Public Law Working Paper No. 2754385, 2016), Available at https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2754385, 20.

36) Aziz Z. Huq, A Right to a Human Decision (May 3, 2019). Virginia Law Review, Vol. 105, U of Chicago, Public Law Working Paper No. 713, Available at SSRN: https://ssrn.com/abstract=3382521, 25-28.

37) 인공지능 이전에도 자동화행정의 문제가 완전자동화 시스템인지 혼합시스템인지와 무관하게 발생한다 고 본 견해로는 Citron, supra note 32, at 1267.

38) 다만 인공지능으로 인한 투명성 문제는 인간이 최종적인 결정을 하는 경우에는 발생하지 않는데, 왜냐 하면 인간이 자신의 결정을 정당화하는 별도의 이유를 가져야 하기 때문이라고 보기도 한다. Coglianese & Lehr, supra note 34, at 31.

39) 이는 독일에서 연방행정절차법 제35a조가 완전자동화 행정행위에만 적용되고, 유럽 일반정보보호규정 (GDPR) 제21조 및 제22조에서 규정하는 프로파일링 및 자동화된 의사결정의 대상이 되지 않을 권리 및 설명을 요구할 권리도 인간의 개입 없이 자동화된 처리가 이루어지는 경우에만 적용된다는 것에 대비

8페이지

행정법연구 제62호 142

행정절차법적 관점에서의 논의

가. 인공지능 이전 자동화 시스템에서의 문제와 대응방안

이와 관련하여서는 (1) 자동화 시스템 코드(code)를 만드는 과정에서 규칙제정(rulemaking)

에 해당하는 내용의 생성이나 변경이 있음에도 규칙제정절차의 누락, (2) 재결(adjudication)에

있어 통지(notice) 결여 및 청문(hearing)의 생략, (3) 자동화된 결정이 잘못되었을지 모른다고

의심하는 경우라 하더라도 그에 의존하는 자동화 편향(automation bias)의 문제의 해결방안이

행정법적 관점에서 논의되었다.40)

첫째, 규칙제정절차 누락과 관련하여 보면, 미국의 행정입법(rule)은 입법적 규칙(legislative

rule)과 비입법적 규칙(non-legislative rule)으로 구분되는데, 입법적 규칙은 통지 및 의견제출

(notice and comment) 절차를, 비입법적 규칙은 공표 절차를 거쳐야 한다. 완전자동화 시스템

에서 규칙제정절차가 누락되는 것은 그 시스템의 불투명성으로 인하여 새로운 규칙을 알거나

다툴 수 없게 되는 상황이 발생하기 때문이므로, (1) 시스템공급자가 원시코드(source code)41)

를 공개하도록 제도화함으로써 이를 통하여 잘못 코드화된 내용이 수정되도록 하여야 하고,

(2) 행정기관은 규칙의 코드화에 대하여 프로그래머에 지속적으로 조언하면서 필요한 절차를

거쳐야 한다고 하였다.42)

둘째, 통지 결여와 관련하여서는, 결정을 뒷받침하는 사실관계와 규칙을 기록하는 감사 추

적(audit trail)43)을 활용하면, 재결의 상대방에게 결정의 이유를 제시할 수 있고 자동화결정

과정을 담당공무원이 비판적으로 평가할 수 있다고 하였다.44)

다음으로 청문 결여에 관하여 보면, Mathew v. Eldridge 사건45)에서 미연방대법원은 개별

된다.

40) Citron, supra note 32, at 1253-1255.

41) 시스템 소프트웨어(OS)나 응용 소프트웨어 등 컴퓨터 소프트웨어를 개발하는 경우에 그 동작의 모든 것을 기록해 놓은 것이다. 보통 인간이 읽고 쓸 수 있는 텍스트파일의 형식으로 보존된다. 원시코드에 서 사용되는 언어는 인간은 그 의미를 알 수 있지만, 컴퓨터는 이해할 수 없다. 따라서 원시코드에서 사용된 언어를 기계언어로 번역해서 컴퓨터가 이해할 수 있는 형식으로 변환한 것이 OS나 응용 프로 그램으로서 배포된다. 일반적으로, 기계언어는 인간이 해독할 수 없는 것이기 때문에 개발자가 원시코 드를 공개하지 않는 한 컴퓨터 프로그램의 상세한 설계도를 알 수 없다. (네이버 지식백과 두산백과)

42) Citron, supra note 32, at 1308-1313.

43) 입력된 데이터가 어떤 변환 과정을 거쳐 출력되는지의 과정을 기록하여 추적하는 방법. 하나의 처리 과정 또는 하드웨어의 고장, 정전 동안에 일어나는 입출력 오류를 추적하고 각 단계의 이상 유무를 검 정하는 데 사용된다. 정보 처리 시스템에서는 감사 기록 데이터를 이용하여 사용자의 비인가된 행위, 사용자 행위의 처리 과정, 정보 시스템 활용 현황 등에 대한 정보를 조사한다. (네이버 지식백과 IT용 어사전, 한국정보통신기술협회)

44) Id. at 1305-1306.

45) 424 U.S. 319(1976)

9페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 143

적 상황에서 요구되는 절차에 대하여 탄력적으로 적용되는 형량심사(balancing-test) 기준을 제

시하였는데, 그 형량요소는 (1) 공무집행으로 영향을 받는 사익, (2) 절차를 적용하지 않는 경

우 잘못된 결정을 내릴 위험과 절차를 적용하는 경우 잘못된 결정을 내릴 위험, (3) 절차에

수반되는 부담이다. 이와 같은 Mathew 기준을 엄격하게 적용할 경우 자동화 시스템 오류를

청문에서 다루는 절차적 부담이 크기 때문에 청문 절차 적용에서 제외되는 것으로 해석될 위

험이 있으나, 반면 청문 과정에서 자동화 시스템 오류의 시정을 통하여 시스템 적용에 따른

대량의 다른 사건의 문제를 일거에 해결이 가능하므로 그러한 절차로 얻게 되는 공익도 크다

는 점에서 청문 개최 요건을 충족한다는 적극적인 해석도 가능하다고 보았다.46)

마지막으로 자동화 편향을 완화하기 위한 방안으로, 청문절차를 실질화하기 위해서는 청문

담당 공무원과 법관에게 자동화 시스템이 틀릴 수 있다는 내용의 자동화 편향에 대한 교육을

제공하고, 청문 담당 공무원이 어떠한 이유에서 자동화 시스템의 결정을 신뢰하는지에 대하

여 설명하도록 하는 방안이 제시되었다.47)

이상의 논의와 같이 인공지능 이전의 자동화 시스템에 대하여 행정절차법을 엄격히 적용

하는 견해가 가능하였던 것은, 자동화 시스템의 경우 시스템 작동에 관한 자료를 저장 및 확

인할 수 있고 시스템 결정 과정에 인간 공무원의 감독과 통제를 통하여 행정절차법을 준수할

방안을 마련할 수 있기 때문이었던 것으로 보인다.

나. 인공지능 행정에서의 투명성 확보에 관한 논의

(1) 투명성 확보에 있어서의 한계

투명성 확보를 위해서는 알고리즘에 투입되는 정보와 도출되는 결과 그리고 그 결과를 도

출하는 주요한 요소에 대한 완전한 설명을 제공하는 것이 가장 이상적일 것이다. 그러나 머

신러닝 알고리즘은 해독불가능성으로 인하여 시스템 엔지니어도 어떻게 그러한 결과에 도달

했는지 이해하기 어려운 경우가 많고, 알고리즘 시스템의 원시코드나 데이터를 모두 공개하

더라도 감독이 불가능한 경우도 있다.48) 또한 시스템 전문가도 결과물을 이해하기 어려우므

로 비전문가인 당사자나 법관은 더더욱 그에 대한 소송제기 및 판단이 어렵고, 나아가 데이

터와 알고리즘이 자기학습을 통하여 계속 변경되기 때문에 장기간이 소요되는 규칙제정절차

나 소송을 통한 투명성 확보도 한계가 있음도 지적된다.49)

46) Citron, supra note 32, at 1308.

47) Id. at 1306-1307.

48) Engstrom, et al., supra note 29, at 76.

49) Id. at 77, 투명성으로 인공지능 시스템의 공정성과 적법성을 확보하기는 어렵다고 하면서 그 확보를 위한 방법으로 절차적 규칙성(procedural regularity)을 제안하는 견해도 있다. 이 견해에 따르면 (1) 모 든 결정에 동일한 정책 또는 규칙이 적용되고, (2) 결정의 대상이 특정되기 전에 정책을 특정하고 신뢰 성있게 기록함으로써 특정한 개인에 대하여 불공정하게 불이익을 부과할 가능성을 줄이고, (3) 모든 결

10페이지

행정법연구 제62호 144

한편 미국 정보자유법(Freedom of Information Act)상 비공개사유(Exemption)로는 ‘영업정

보’로서 ‘영업비밀 및 제3자로부터 취득한 것으로 비익특권이 인정되거나 비밀에 속하는 상

업상 혹은 금융상의 정보’50)와 ‘법집행기록’으로 ‘법집행목적으로 위하여 수집된 기록 또는

정보’로서 ‘집행절차를 방해할 것이 합리적으로 예측될 수 있는 경우’51)와 법집행을 위한 수

사 또는 소추의 지침을 공개하게 되는 경우로서 그 공개가 법의 잠탈을 초래할 것이 합리적

으로 예측될 수 있는 경우’52)를 규정하고 있다.53) 그 결과 공공조달을 통한 민간의 알고리즘

은 지적재산권이나 영업비밀로 인하여 공개가 제한될 수 있고, 법위반 탐지를 위한 알고리즘

이 공개될 경우 수범자가 탐지를 회피하기 위해 이를 활용할 수 있다는 점에서 이는 비공개

정보에 포함되는 것으로 볼 수 있다.54)

(2) 투명성 적용 정도의 차이

투명성의 장단점은 행정활동의 성격이나 관계되는 법익에 따라 달라질 수 있다. 적발 및

규제의 경우 알고리즘 공개는 규제 당사자가 그 알고리즘을 이용하여 규제를 회피함에 따른

규제 목적을 달성하지 못하는 문제가 발생할 수 있다.55) 반면 사회보장급부와 관련한 재결절

차에서는 잘못된 결정으로 인하여 침해되는 급부수혜자의 권리가 급부수혜를 위한 알고리즘

의 악용으로 인한 문제보다 더 중하다고 볼 수 있다.56) 이와 유사한 관점에서 규칙제정을 통

한 인공지능 도입57)에 대하여도 법위반 탐지 및 집행 분야에서 통지 및 의견제출 절차는 인

공지능 활용에 장애가 될 것이나, 사회보장급부의 재결을 위한 인공지능 도입의 경우에는 통

지 및 의견제출 절차를 적용하는 것이 바람직하다는 견해도 있다.58)

정은 사전에 특정한 정책 및 결정을 위하여 입력한 정보를 기초로 재현 가능하고, (4) 결정을 위하여 임의로 선택된 정보의 입력이 필요한 경우, 그와 같이 입력하는 정보는 모든 이해당사자의 통제에서 벗어나는 방식으로 시스템을 구성해야 한다는 입장이다. Joshua A. Kroll, et al., “Accountable Algorithms”, 165 U. Pa. L. Rev. 633, 657 (2017).

50) 5 U.S.C. §552(b)(4)

51) 5 U.S.C. §552(b)(7)(A)

52) 5 U.S.C. §552(b)(7)(E)

53) 이에 관하여는 경건, “미국 정보공개법제의 개관”, 뺷서울법학뺸 15권 1호(2007. 8.), 127-128면 참조.

54) Cary Coglianese & David Lehr, Regulating by Robot: Administrative Decision Making in the Machine-Learning Era, 105 Geo. L.J. 1147, 1210 (2017)

55) 인공지능 알고리즘에 관한 기준과 변수가 공개되는 경우, 규제 상대방은 해당 알고리즘 시스템에서 유 리한 결과를 얻기 위해 해당 변수와 입력값을 조작할 수 있다. Engstrom, et al., supra note 29, at 86.

56) Id. at 76.

57) 인공지능 도입이 반드시 통지 및 의견제출 절차 적용대상으로 보기 어렵다고 하면서, 그 절차는 장기간 이 소요되는 것으로서 변화하는 정책문제나 규제환경에 역동적인 정부의 대응을 방해할 수 있다는 견해 로 David Freeman Engstrom & Daniel E. Ho, “Algorithmic Accountability in the Administrative State”, CSAS Working Paper 19-34(2019. 11.), Available at https://papers.ssrn.com/sol3/papers.cfm?abstract_id=27 54385, 34.

58) Id. at 40.

11페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 145

(3) 인공지능 알고리즘에 관한 정보공개와 이유제시의 충족

정보공개는 이유제시 요건 충족에 상당한 영향을 미치는데, 왜냐하면 인공지능의 결정에

대한 설명을 위해서는 공개 여부가 문제되는 원시코드와 데이터가 필요하기 때문이다.59) 투

명성 확보를 위하여 알고리즘 사양과 데이터에 대해서는 최대한 많은 정보가 공개되고, 이를

통하여 인공지능이 도출한 결과에 최소한 이론적으로 재현할 수 있어야 결정의 이유와 방법

의 공개라는 기본적인 목표는 달성할 수 있다.60)

미국법상 실체적 적법절차 준수 여부는 이유에 의해 뒷받침될 수 있으면 실체적 합리성이

인정되는데, 이를 위하여는 실체적 적법절차 요청을 충족시키기 위하여 필요한 매개변수와

함수 이외에 추가로 알고리즘의 정확성(오류가 없음)에 관한 정보도 제공하여야 하고, 여기에

는 (1) 알고리즘에 입력한 데이터, (2) 시험 데이터 세트로 평가하였을 때 알고리즘이 얼마나

정확하게 작동하였는지에 관한 자료, (3) 해당 결정이 알고리즘이 고장 없이 산출한 결과임을

검증한 자료가 포함된다.61) 이러한 정보는 비공개대상에 해당하지 않으므로 정보공개와 관련

하여 제한이 있다 하더라도 이유제시와 관련한 적법절차는 준수될 수 있게 된다.62)

나아가 알고리즘 공개를 위해서는 민간 계약자와의 계약 조건을 변경하여 공개범위를 명

확하게 하면서 영업비밀 보호대상에서 제외하거나, 민간 업체와 계약하는 대신 알고리즘 설

계를 위한 소스 공개의 경쟁이 이루어지도록 할 수도 있으며, 독자적으로 알고리즘을 설계하

면서 대중의 의견을 반영하는 등의 해결방안을 강구할 수도 있다.63)

(4) 알고리즘 정보공개에 관한 미국 법원의 판결 사례64)

미국 법원은 아래와 같이 알고리즘에 관한 정보를 공개하지 않는 것이 적법절차 위반이라

는 취지의 판결을 한 바 있다.

민간 회사가 개발한 알고리즘으로 교사의 성과를 평가하고 열등한 평가를 받은 교사를 해

고함에 있어 위 알고리즘 소스 코드 및 데이터에 관한 정보가 민간 회사의 영업비밀이라는

이유로 공개를 거부한 것과 관련하여, 법원은 알고리즘 개발 회사가 영업비밀을 유지할 권리

가 있더라도 배심원단은 비공개 알고리즘을 기초로 한 고용상의 결정이 적법절차 위반인지를

고려할 수 있다고 하였다.65)

59) Coglianese & Lehr, supra note 34, at 34.

60) Coglianese & Lehr, supra note 55, at 1213.

61) Coglianese & Lehr, supra note 34, at 40-41.

62) Id. at 47-49.

63) Id. at 36.

64) 다만 아래 사례들은 자동화 알고리즘에 관한 사례로서, 인공지능 알고리즘이 사용된 경우에 대하여 법 원이 어떻게 판단할지는 지켜볼 필요가 있다. Coglianese & Ben Dor, supra note 33, at 29.

65) Hous. Fed’n of Teachers, Local 2415 v. Hous. Indep. Sch. Dist., 251 F. Supp. 3d 1168; Coglianese & Ben Dor, supra note 33, at 27-28에서 재인용.

12페이지

행정법연구 제62호 146

알고리즘에 의한 의료비지원 예산 결정으로 인하여 지원이 감소한 원고들이 알고리즘 사

용을 문제삼으면서 제기한 집단소송에서, 법원은 알고리즘의 방법론, 사용한 변수 및 변수의

가중치를 공개하지 않았다는 이유로 알고리즘의 사용을 금지하는 임시명령을 하였고, 이후

피고가 대체시스템을 개발하여 관련 정보를 공개하고 결정의 정확성에 대한 이의절차를 허용

한 후에 임시명령을 해제하기도 하였다.66)

이에 대하여, 공개할 수 있는 모든 정보를 공개하지 않더라도 합법적으로 알고리즘을 사용

할 수 있음을 시사한 판결67)도 있다.68) 이 사건에서 피고인은 형사사건에서 재범 위험성에

관하여 알고리즘을 사용하여 작성한 보고서를 판결에 참고하는 것에 대한 문제를 제기하면

서, 위 알고리즘을 개발한 민간회사가 위험점수가 어떻게 산정되는지 및 개별 요인이 어떻게

평가되는지에 관하여 영업비밀이라고 하면서 공개하지 않은 것이 적법절차위반이라고 주장하

였다. 이에 대하여 법원은 위험점수 산정에 사용된 변수의 목록을 공개하였고 피고인이 제출

한 답변과 공개된 피고인의 종전 범죄 이력에 근거하여 위험분석이 이루어졌고, 피고인이 재

범 위험성에 관한 보고서에 나열된 질문과 답변이 정확한지 확인할 수 있는 기회를 제공하였

으므로 적법절차 위반이 아니라고 판단하였다.

(5) 투명성 확보를 위한 시스템 구성

공공분야와 민간분야를 막론하고 투명성과 설명가능성 확보를 위한 시스템으로 인공지능

내부 절차를 인간이 직관적으로 이해할 수 있도록 하는 ‘설명가능 인공지능’(Explainable AI)

이 발전하고 있어 기술의 발전에 따른 투명성 준수 가능성은 증대된다.69)

한편 이러한 설명가능 인공지능의 발전에 관한 법원의 역할에 주목하는 견해도 있다. 이

견해에 따르면 법원은 인공지능 결정에 대한 설명을 요구하는 다양한 사건을 다루면서 개별

사안을 기초로 한 구체적 타당성 있는 판단을 통하여 ‘설명가능 인공지능에 관한 보통

법’(common law of xAI)을 형성한다고 한다.70) 특히 행정에서 인공지능을 사용함에 있어 행

정기관의 이유제시와 관련한 문제는 설명가능 인공지능을 통하여 어느 정도 해결이 가능한

데, 이유제시 준수에 관한 판단에서 법원은 행정기관이 사용하는 각각의 인공지능에 대하여

효과적이고 실현가능한 설명의 구체적인 기준을 제시하게 된다.71) 이와 같은 법원에 의한 기

준 설정은 연방 법령에 의한 기준 설정보다 예측가능성이 부족할 수는 있지만, 급변하는 기

66) Michael T. v. Bowling, No. 2:15-cv-09655, 2016 WL 4870284(S.D. W. Va. Sept. 13, 2016), Id. at 28-29에서 재인용.

67) State v. Loomis, 881 N.W.2d 749 (Wis. 2016)

68) Coglianese & Lehr, supra note 34, at 38.

69) Coglianese & Lehr, supra note 34, at 54.

70) Ashley Deeks, “The Judicial Demand for Explainable Artificial Intelligence”, 119 Colum L. Rev. 1829, 1830-1831 (2019)

71) Id. at 1842

13페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 147

술 발전을 즉각적이고 세밀하게 반영할 수 있다는 장점도 있다.72)

다. 인공지능과 규칙제정

(1) 인공지능에 대한 규칙제정 권한 위임

미국에서는 급변하는 규제 환경에 대응할 필요와 관련하여 인공지능에 의한 규칙제정 가

능성도 논의되고 있는데, 그와 관련한 가장 기본적인 쟁점으로 입법권위임금지원칙

(non-delegation doctrine)과 관련하여 인공지능에 규칙제정 권한을 부여할 수 있는지에 대한

논의를 살펴본다.73)

우선 의회가 행정기관의 장이 아니라 인공지능에 권한을 위임할 수 있는지가 문제되는데,

이와 관련하여 사인(私人)에 대한 권한위임이 참고가 된다. 사인의 경우에는 사회적으로 최적

이 아니지만 개인적으로는 최적이 되는 이익충돌 상황에 직면할 수 있는 반면, 인공지능의

경우에는 사인과 달리 인공지능 운영 주체가 설정한 목적에 최적화하도록 되어 있다는 점에

서, 인공지능 운영 주체가 정부인 이상 사적 이익과의 충돌 문제는 발생하지 않는다고 한

다.74) 또한 미국 법원은 정부가 사인에 대한 지시와 통제를 할 수 있는 경우에 사인에 대한

위임을 허용하였는데, 정부가 알고리즘의 사양 및 알고리즘의 결과를 집행행위로 전환하는

것을 통제할 수 있다면 사인에 대한 위임과 유사하게 인공지능에 대한 위임도 허용될 수 있

다고 한다.75)

다음으로 의회가 행정기관에 권한을 위임하였는데 해당 기관의 장이 그 권한을 행사하기

위해 인공지능을 사용할 수 있는지가 문제된다. 이는 우선 ‘해당 법률이 인공지능 사용을 제

한하는지’라는 법률해석의 문제로서, 법률에서 권한행사 주체로 ‘행정기관의 장’을 규정하고

있는 경우에 인공지능에 권한행사를 재위임하는 것이 의회가 위임한 권한을 초과하는지가 쟁

점이다. 이에 대하여도 행정기관의 장이 소속 직원에 대한 감독과 통제를 할 수 있으면 소속

직원에 재위임을 할 수 있는 것처럼, 인공지능에 대하여도 마찬가지로 재위임이 가능하다고

한다.76)

(2) 인공지능 도입에 있어 통지와 의견제출 절차 적용 여부

행정기관의 인공지능 채택이 규칙제정의 성격을 가지는 것으로 보면, 인고지능 채택을 위

하여 규칙제정절차, 특히 입법적 규칙에 대한 통지와 의견제출 절차가 적용되어야 하는지가

문제된다.77) 이에 대하여는 인공지능 알고리즘을 도입함에 있어 항상 통지 및 의견제출 절차

72) Id.

73) 이에 관하여는 Coglianese & Lehr, supra note 55, at 1177-1184.

74) Id. at 1180.

75) Id. at 1180-1181.

76) Id. at 1182-1183.

14페이지

행정법연구 제62호 148

가 적용되는 것은 최선이 아니라고 하면서 통지 및 의견제출 절차는 장기간이 소요되어 혁신

을 저해하고 급변하는 정책 문제 및 규제 환경에 정부가 역동적으로 대응하는 것을 저해할

수 있다는 견해도 있다.78)

라. 인공지능 알고리즘을 사용한 재결에 관한 논의

(1) 인공지능 알고리즘 사용으로 인한 장단점

인공지능 행정으로 처분절차를 신속하게 하는 한편 처분자별로 편차를 줄이고 정확성을

증진시킬 수 있고, 단순반복적인 업무를 감경함으로써 처분자가 절차에 집중할 수 있도록 하

는 장점이 있으나, 처분자의 재량을 감소시키는 한편 처분자가 알고리즘에 의한 결정에 과도

하게 의존하는 문제인 ‘자동화 편향’(automation bias)을 야기하는데, 그 결과 알고리즘이 회피

한 쟁점은 검토하지 않고 기록을 기초로 한 재심사를 하지 않는 문제가 발생할 수 있다.79)

(2) 인공지능 시스템 문제에 대한 청문 절차 적용 여부

이에 대하여는 당해 사안에서의 이익형량을 중심으로 한 현행 청문 시스템은 인공지능 시

스템 문제의 발견 및 수정에 잘 들어맞지는 않지만, 자동화 시스템에 관하여 위에서 본 바와

같이 Mathew 기준을 적용함에 있어서는 인공지능이 적용됨에 따라 당해 처분 이외의 다른

대량의 행정작용과 관련된 문제가 해결된다는 점이 충분히 고려되어야 한다고 하면서도,80)

처분상대방에게 통지 및 알고리즘의 정확성에 대한 검증을 위하여 전문가가 청문에 참여하도

록 하는 경우 절차비용이 대폭 증가하게 되고, 이와 같이 인공지능 수단에 대한 청문을 전면

적으로 허용할 경우 인공지능 도입의 인센티브가 줄어들게 된다는 현실적 한계가 지적되기도

한다.81)

관점을 달리하여 Mathew 기준을 기초로 인공지능 알고리즘 사용에 따른 오류 비율이 높지

않으면 인공지능 알고리즘의 사용은 인간 판단의 편견이나 인간적 오류를 감소시킴으로써 적

법절차의 가치를 증진한다는 견해도 있다, 이 견해에 따르면 (1) ‘공무집행으로 영향을 받는

사익’은 인공지능과 무관하고, (2) ‘절차를 적용하지 않는 경우 잘못된 결정을 내릴 위험’과

관련하여서는, 행정기관은 청문절차가 생략된 인공지능 재결절차 도입을 정당화하기 위해서

는 인간인 공무원 앞에서 청문절차와 비교할 때 인공지능의 오류 비율이 충분히 낮음을 확인

하여야 하고, 이와 관련하여서는 인공지능 알고리즘이 인간의 편견과 실수를 줄일 수 있다는

77) 참고로 독일의 경우에는 완전자동화 행정행위는 법령의 근거가 필요하고, 우리나라 행정기본법안도 자 동적 처분은 법령으로 정하도록 하고 있다.

78) Engstrom & Ho, supra note 58, at 40.

79) Engstrom, et al., supra note 29, at 83.

80) Id. at 84.

81) Engstrom & Ho, supra note 58, at 32.

15페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 149

점이 유리한 요소로 고려될 수 있고, (3) 절차에 수반되는 부담은 청문 생략에 따른 비용 절

감은 절차 생략의 유리한 요소로 본다.82) 다만 이 견해에서는 반대신문권(right to

cross-examination)의 관점에서, 인공지능 시스템 오류와 관련하여 인공지능의 감독과 검토를

위한 중립적이고 독립적인 전문가단체를 설립하거나, 자동화된 재결 절차에 관한 규칙에 대

하여 사전에 전문가위원회의 자문을 받는 방법을 제시한다.83)

인간에 의한 청문 절차의 불필요성에 관한 가장 극단적인 입장으로 인간에 의한 결정을

받을 권리가 인정될 필요가 적다는 견해도 제기된다. 인간의 의사결정도 완전한 설명이 불가

능하다는 점에서 머신러닝 인공지능이 인간 의사결정자보다 불명확성이 더 크다고 볼 수 없

다는 점에서 투명성의 측면에서 차이가 없고,84) 인공지능의 결정에 대한 설명을 기술적으로

제공함으로써 절차적 만족감도 어느 정도 보장될 수 있는 이상, 결정 과정에서 인간의 관여

는 국가기관과 개인이 상호작용함에 있어 심미적인 선호에 불과한 것이며,85) 나아가 인간이

관여한다고 하여 인공지능보다 더 올바른 결정을 한다는 보장이 없고,86) 개별 결정에서 절차

보장으로 인한 과다한 비용을 소요하는 것보다 인공지능 시스템 문제를 체계적으로 테스트하

고 감독하는 것이 더 효율적이라는 것이다.87)

행정소송법적 관점에서의 논의

가. 행정집행 대상 선정에 활용한 인공지능에 대한 사법심사의 확대

행정기관이 규제 집행에 나아갈지에 관한 결정은 사법심사에서 배제된다는 것이 미연방대

법원의 입장으로,88) 이에 따르면 인공지능에 의한 행정집행 대상 선정은 사법심사가 배제되

고, 나아가 인공지능의 블랙박스와 같은 성격으로 인하여 사범심사는 더더욱 어렵게 될 수도

있다. 이에 대하여 의회와 법원이 집행 대상 선정에 대한 사법심사를 가능하도록 법률이나

판례를 변경함으로써 인공지능 규제집행에 대한 통제 강화를 도모할 수 있음이 논의된다.89)

이러한 논의에 따르면, 알고리즘 집행에서 집행 대상 선정 기준 및 순위 부여에 관한 정보가

82) Coglianese & Lehr, supra note 55, at 1186-9, 이 논문에서는 미국 법원에서 수용가능한 오류 비율과 관련하여 3.3% 또는 4.4%는 허용되나 11.67%는 오류 위험이 높은 것으로 판단하는 사례를 제시하면서 5% 이하의 오류 비율이라면 법원이 수용할 수 있는 범위로 볼 수 있다는 입장이다.

83) Id. at 1190.

84) Huq, supra note 36, at 21-25.

85) Id. at 36-37.

86) Id. at 40.

87) Id. at 43.

88) Heckler v. Chaney, 470 U.S. 821 (1985), 이는 행정기관의 자원 배분의 문제는 법원이 판단하기 어렵 다는 사고를 바탕으로 한다.

89) Engstrom, et al., supra note 29, at 76.

16페이지

행정법연구 제62호 150

제공될 경우 그에 대하여는 인간인 공무원의 임의적 결정보다 사법심사를 용이하게 할 수 있

고, 이를 통하여 집행절차는 지금보다 더 투명하게 될 수도 있다고 한다.

나. 인공지능 알고리즘에 대한 집행 전 심사(Pre-Enforcement Review)

행정기관의 인공지능 채택을 규칙제정으로 보게 되면, 사전적으로 규칙제정절차의 적용 여

부가, 그리고 사후적으로는 인공지능 알고리즘에 의한 집행이 실행되기 이전이라도 집행 전

심사를 통하여 인공지능 알고리즘에 대한 사법심사를 받을 수 있는지가 문제된다.

미국 연방대법원은 Abbott aboratories v. Gardner90)에서 행정입법에 대한 집행 전 심사를

인정하면서, (1) 행정입법에 대한 사법심사의 적합성(fitness)으로서 ‘순수한 법적 문제(purely

legal question)’가 쟁점인지, 그리고 (2) 최종성(finality)과 관련하여 집행시까지 사법심사 보류

로 인한 당사자의 어려움(hardship) 또는 즉각적이고 중대한(immediate and significant) 영향을

받는지를 기준으로 판단하였다.91) 이후 Bennett v. Spear92)에서는 최종성에 관하여 행정기관

절차의 완성(the consummation of an agency process)으로서 ‘법적 결과(legal consequence)’를

발생시키는 것이라고 판단하였다.

행정기관의 인공지능 알고리즘 사용이 시험적 단계(pilot stage)를 넘어서는 이상 이는 행정

기관 절차의 완성으로 볼 수 있고, 인공지능 알고리즘 도구를 통하여 행정기관의 집행 조치

가 잠재적으로 개시될 수 있는 것은 ‘법적 결과’의 수준에 이르는 것으로 볼 수 있다.93) 문제

는 인공지능 알고리즘 도구가 ‘순수한 법적 문제’이다. 만약 알고리즘이 주어진 사실관계를

대입하여 법적 결과를 예측하는 것으로서, 그러한 법적 결과의 예측이 행정활동의 근거인 실

체법에 부합하는지만 문제된다면 ‘순수한 법률문제’의 성격을 가진다고 볼 수 있다. 반면 인

간인 공무원이 인공지능 알고리즘 도구에 의존하는 정도가 높지 않고 인간이 결정에 개입하

는 정도가 큰 경우에는 법과 사실의 혼합(mixed law and fact)이 문제되는 경우로서 사법심사

의 적합성 요건을 충족하지 못할 수 있다.94)

또한 비입법적 가이드라인과 절차적 규칙에 대하여 집행 전 심사가 가능한지에 대하여는

하급심 법원에서도 논란이 있고,95) 입법적 규칙과 비입법적 규칙을 구분하는 것이 어렵다96)

90) 387 U.S. 136 (1967)

91) 이에 관한 상세한 내용은 금태환, “미국행정입법심사에 있어서의 성숙성”, 뺷행정법연구뺸 제9권(2003. 5.), 209-201면 참조.

92) 520 U.S. 154 (1997)

93) Engstrom & Ho, supra note 58, at 35.

94) Id.

95) 비입법적 규칙인 해석규칙이나 정책성명도 사건의 성숙성을 갖춘 경우 사법심사의 대상이 될 수 있지 만, 법적으로 구속력이 없기 때문에 입법적 규칙보다 사법심사의 대상이 되기가 훨씬 어려울 것이라는 설명으로 박균성, “미국 행정입법제도의 시사점”, 뺷행정법연구뺸 제46호(2016. 8.) 84면 참조.

96) 입법적 규칙과 비입법적 규칙의 혼재에 관하여는 김성배, “미국에서의 행정입법의 분류와 비법규적 행

17페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 151

는 점까지 감안하면, 알고리즘 도구에 대한 집행 전 심사가 허용되는지에 대한 불확실성이

크다는 점도 지적된다.97)

다. 인공지능 행정에 대한 법원의 존중(deference)에 관한 논의

(1) 쉐브론 존중(Chevron deference)에 관한 논의

인공지능 이전의 자동화 시스템에 대하여 존중이 제한되어야 한다는 견해가 제시되었는

데,98) 프로그래머가 코드로 정책을 변경하는 경우 이를 뒷받침할 기록이 없고 이유제시도 이

루어지지 않은 것이므로 이는 ‘자의 및 변덕(Arbitrary and Capricious)’ 금지 위반으로 판단할

수 있고, 이 경우 행정기관은 사후적으로 이유를 보완할 수도 없다고 보았다. 그리고 행정기

관이 하급공무원에 권한을 위임한 경우에는 쉐브론 존중99)이 적용되지 않고, 프로그래머가

설득력있는 설명도 제시하지 않아 스키드모어 존중(Skidmore deference)100)도 제공되지 않아

프로그래머가 이유제시 없이 작성한 코드에 의한 정책에 대하여는 이론적으로는 법원의 존중

이 부여되지도 않는다고 보았다. 이러한 견해는 인공지능의 블랙박스와 같은 성격에도 유사

하게 적용될 수 있을 것이다.

이에 대하여 법원이 설명가능 인공지능에 관한 보통법을 형성한다고 본 견해에 의하면, 법

원이 개별 사안에서 행정기관이 이유제시의 기준에 부합하는 설명가능 인공지능을 사용하는

경우 행정에 대한 존중과 관련된 우려를 불식시킬 수 있다고 보기도 한다.101)

한편 법원의 존중을 정치적 책임과 연결시켜 보는 견해도 있다.102) 인공지능은 인간인 행

정기관의 장과 같이 의회, 대통령, 시민에게 정치적으로 반응하지 않기 때문에 인공지능에 대

한 존중을 제한하고 인간인 행정기관의 장에게 더 많은 존중을 부여하면 행정기관이 정치적

인 책임을 부담하는 주체인 인간이 결정에 관여하도록 하게 된다는 것이다.

(2) ‘자의 및 변덕’ 심사(Arbitrary and Capricious Review)에서의 존중

기존의 판례의 태도에 따르면 인공지능 행정에 대하여 이유제시 정도가 그다지 높지 않고

인공지능의 전문적 판단에 대하여 사법적 존중이 부여되어야 한다는 견해도 제시되고 있

정규칙에 대한 통제문제”, 뺷법학논총뺸(국민대학교 법학연구소), 28권 3호(2016. 2.), 506-511면 참조.

97) Engstrom & Ho, supra note 58, at 35-36.

98) Citron, supra note 32, at 1298-1299.

99) Chevron U.S.A. Inc. v. Natural Res. Def. Council, Inc., 467 U.S. 837 (1984).

100) Skidmore v. Swift & Co., 323 U.S. 134 (1944), 행정청이 비입법적 규칙을 제정할 때에는 입법적 규 칙에 비하여 간이한 절차를 거칠 수 있으나, 비입법적 규칙에 대하여는 쉐브론 존중을 하지 않고 행정 청에게 덜 유리한 것으로서 그 해석이 설득력이 있어야 존중받는다는 스키드모어 존중만이 주어진다. 쉐브론 존중과 스키드모어 존중에 관하여는 김성배, 앞의 글, 518-520면 참조.

101) Deeks, supra note 72, at 1842.

102) Cuéllar, supra note 35, at 21.

18페이지

행정법연구 제62호 152

다.103) ‘자의 및 변덕’ 심사에서 엄격심사(hard look review)를 함에 있어 이유제시가 없으면

‘자의 및 변덕’에 해당한다고 판단하지만, 그러한 이유는 심리학자, 역사가 또는 정치과학자

가 요구하는 것과 같은 완전한 설명을 요구하지 않고, 오히려 인간인 행정가가 결론에 도달

하기 위한 정신적 과정을 심리해서는 안 되며 행정이 제시한 이유만을 조사할 수 있다는 것

으로서, 정신적 과정을 심사하지 않아도 된다면,104) 인공지능에 있어서도 인공지능 내부 과정

자체는 심사대상이 아니라는 것이다.105)

그리고 법원은 높은 수준의 기술적 전문성을 요하는 경우106) 또는 대량의 예측 판단을 수

반할 때107) 행정기관의 결정을 존중하는 경향을 보여 왔으므로, 기술적 전문성을 기초로 예

측 판단을 수행하는 인공지능을 기초로 한 행정기관의 결정에 대하여 사법적 존중을 기대할

수 있다는 주장도 있다.108) 즉 ‘자의 및 변덕’ 심사에 있어 (1) 합법적으로 유효한 목적을 증

진하도록 알고리즘 시스템이 구성되었고, (2) 오작동하지 않고 타당한 결과를 도출하는 등 정

상적으로 작동하며, (3) 실제로 당초의 의도에 부합하게 사용된다는 점을 보여주는 것 이상이

요구된다고 보기는 어렵다고 한다.109)

소결

이상의 논의를 종합하면, 미국에서도 인공지능 행정을 어떤 기준에서 어느 정도로 수용할

것인지에 대하여 관점에 따라 다양한 논의가 이루어지고 있음을 알 수 있다. 인공지능 행정

의 장점을 중시하면서 그 도입에 적극적인 입장에서는 인공지능의 블랙박스적 성격도 기존의

행정절차법상 투명성 내지 이유제시의 기준 및 행정소송에서의 법원의 존중 원칙에 비추어

수용가능하다고 보고, 나아가 Mathew 기준을 적용하더라도 청문 등 절차 적용이 반드시 요

구되는 것이 아니고 인공지능을 통한 규칙제정도 가능하다고 본다. 반면 자동화행정 및 인공

지능의 블랙박스적 성격에 대한 대응을 강조하는 입장에서는 행정절차법상 투명성과 관련하

여 인공지능 알고리즘과 관련한 정보가 최대한 공개되고 결정의 이유 제시와 관련하여 설명

가능 인공지능이 강조되고, 인공지능 시스템 문제와 관련하여 Mathew 기준을 적용하더라도

청문 등 절차 적용이 필요하고 나아가 집행 전 심사를 통한 법원의 사전적 심사도 논의된다.

아울러 인공지능에 대한 법원의 통제를 강화하기 위하여, 종전에 사법심사 대상에서 제외되

103) Coglianese & Lehr, supra note 34, at 42-47.

104) Morgan v. United States, 304 U.S. 1, 18 (1938)

105) Coglianese & Lehr, supra note 34, at 43.

106) Marsh v. Or. Nat. Res. Council, 490 U.S. 360, 371 (2011)

107) Trout Unlimited v. Lohn, 559 F.3d 946, 959 (9th Cir. 2009)

108) Coglianese & Lehr, supra note 34, at 44.

109) Id. at 47.

19페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 153

었던 행정집행 대상 선정에 대한 사법심사를 확대하거나 인공지능 행정에 대하여는 법원의

존중을 제한함으로써 법원이 엄격심사를 하여야 한다는 논의도 이루어지고 있다.

물론 행정절차 및 행정소송에 의하여 인공지능 행정에 대한 충분한 대응이 이루어진다고

보기 어려운 측면도 있다. 이에 대하여는 행정기관의 인공지능 사용에 관하여 모니터링, 조사

및 권고하는 인공지능 감독 위원회(AI oversight board)의 설립하는 조직법적인 대응책을 마련

하거나, 행정기관으로 하여금 특히 인공지능 행정이 적절하게 기능하는지를 확인하기 위하여

임의로 선별된 사안에서 인간의 결정과 인공지능의 결정을 비교하는 벤치마킹 방법을 사용하

도록 하는 방안도 제안된다.110)

Ⅲ. 우리 행정법에서의 인공지능 행정에 대한 행정절차, 행정소송의 적용 방향

논의의 전제와 방향

인공지능 행정에 대한 행정절차 및 행정소송의 관점에서의 접근을 위해서는 우선 인공지

능 행정이 행정절차 및 행정소송 적용 대상인 처분에 해당하여야 한다. 이러한 관점에서 처

분에 해당하지 않는 인공지능 행정작용(예를 들어 행정 내부적인 활동의 자동화나 공공시설

의 안전관리를 위하여 인공지능을 활용하는 것)은 원칙적으로 논의 대상에 포함되지 않는다.

이러한 이유에서 미국에서도 인공지능에 의한 집행 대상 선정과 사회보장급부와 관련된 재결

을 중심으로 많은 논의가 이루어진 것으로 보인다. 이에 이 논문에서도 ‘인공지능을 통한 법

위반 탐지 및 조사대상 선정’과 ‘신청에 대한 민원처리’에서의 인공지능 활용을 중심으로 살

펴보기로 한다. 우리의 경우 전자에 대하여는 행정조사기본법, 후자에 대하여는 ｢민원 처리에

관한 법률｣(이하 ‘민원처리법’이라 한다)이라는 실정법을 두고 있으므로, 이러한 실정법을 검

토의 출발점으로 삼는다. 그리고 미국의 경우 인공지능 알고리즘에 대한 규칙제정 관련 행정

절차 적용이 논의되고 있는데, 그에 대응하여 인공지능 알고리즘의 투명성 확보를 위해 우리

행정절차법상의 처분기준 설정･공표 제도가 어떻게 활용될 수 있는지를 함께 검토한다.111)

다음으로 인공지능 알고리즘에 재량권을 인정할 수 있는지도 문제이다. 독일 연방행정절차

법 제35a조는 완전자동화 행정행위는 “재량 또는 판단여지가 없는 경우”에 적용된다고 규정

110) Engstrom, et al., supra note 29, at 77.

111) 우리 행정절차법 시행령 제23조는 입법예고에 관하여는 법제업무 운영규정이 정하는 바에 따르도록 하고 있고, 법제업무 운영규정 제2조는 입법예고 대상인 ‘법령’의 의미를 ‘법률･대통령령･총리령 및 부 령“으로 한정하고 있어, 인공지능 알고리즘의 설게 기준이 위 법령으로 제정되지 않는 이상 행정상 입 법예고 적용대상으로 보기 어렵다. 따라서 인공지능 알고리즘의 투명성 확보 실현을 위하여 입법예고 가 아니라 처분기준 설정･공표 제도를 비교 검토 대상으로 한다.

20페이지

행정법연구 제62호 154

하고, 2020년 3월 6일 입법예고된 행정기본법안 제23조도 완전히 자동화된 시스템으로 처분

을 할 수 있는 경우로 “재량이 있는 경우”를 제외하고 있다. 미국에서도 인공지능 이전의 자

동화 시스템 단계에서 재량이나 불확정개념에서는 자동화 시스템이 적절하지 않다는 논의도

있었다.112) 물론 인공지능 기술의 발전에 따라 인간 대신 인공지능 알고리즘이 합리성이 절

대적인 기준이 되는 정책결정 분야를 잠식해 들어가게 될 것이고,113) 이 경우 알고리즘에 재

량권을 부여도 논의될 수 있을 것이나, 일단 이하에서는 인공지능 알고리즘이 재량이 없는

경우를 전제로 검토를 진행하기로 한다.114)

한편 미국의 논의에서 보는 바와 같이 행정소송 관점에서 이유제시나 사법심사강도에 관

한 기존의 사법심사에 관한 법리가 인공지능 알고리즘에 대한 통제나 기준설정에 그대로 적

용될 수 있는지 아니면 인공지능 행정의 투명성과 책임성을 확보하기 위하여 법원의 임무와

역할에 변화가 필요한지를 논의한다. 특히 행정입법에 대한 법원의 사법심사가 미진한 우리

의 현 상황에서 법원이 개별처분과 행정입법이 혼재된 인공지능 알고리즘115)에 대한 통제 강

화를 위해 나아가야 할 방향도 설정해 본다.

인공지능에 의한 법위반 탐지 및 조사대상 선정

미국에서 집행 대상 선정은 사법심사의 대상에서 제외된다고 보기 때문에 인공지능에 의한

법위반의 탐지에 대하여 판례의 변경 또는 입법론적 대응이 필요한 상황이다. 반면 우리 대법

112) Citron, supra note 32, at 1304에서는, 규칙(rule)과 기준(standard)의 관점에서 보면, 일관성이 더 중요 하거나 인간의 편견(bias)이 더 문제가 되는 경우, 규칙이 적용되어 구체적인 재량 행사가 필요하지 않 은 경우에는 자동화(automation)가 더 낫지만, 법문언 자체에서 ‘결정권자가 - 할 수 있다(decision maker may)’라고 되어 있거나 기계적인 형량이 불가능한 충돌되는 이익을 고려하여야 하는 불확정개념 (indeterminate term)으로 되어 있는 경우에는 자동화는 적절하지 않다고 한다.

113) 윤상오/이은미/성욱준, “인공지능을 활용한 정책결정의 유형과 쟁점에 관한 시론”, 뺷한국지역정보화학 회지뺸 제21권 제1호(2018. 3.), 45면.

114) 다만 행정작용의 법적 형식이 기속행위인지 재량행위인지를 기준으로 재량의 유무가 판별되지는 않는 다. 예를 들어 수익적 처분의 법적 성격이 기속행위인 경우 인공지능 활용은 문제가 없으나, 재량행위 또는 법규에서 정한 제한 사유 이외에 중대한 공익을 이유로 허가신청에 대하여 거부할 수 있는 소위 기속재량행위에 해당하는 경우 인공지능을 활용할 수 있는지가 문제될 수 있다. 이러한 경우에도 재량 요소에 대한 처분기준을 통하여 재량이 영으로 수축하거나 허가신청을 거부할 수 있는 중대한 공익에 대한 처분기준이 일의적으로 규정되어 있는 경우에는 재량권이 인정되는 경우에 해당하지 않는다고 볼 수도 있다. 이와 관련하여 미국에서는 자동화절차에서 코드(code)로 변환하기 쉬운 방향을 취하다 보면 구체적 사안에 적합한 재량행사가 필요한 경우에도 일의적으로 적용되는 코드(code)를 적용하여 재량권 행사 포기가 증가하는 문제가 발생할 수도 있음이 지적되기도 한다(Citron, supra note 32, at 1255 참조).

115) 행정의 특징은 개별적이고 구체적으로 행정행위를 통하여 법관계를 형성하는데 인공지능 기술의 도입 으로 행정이 내재적으로 입법과 융합할 가능성을 지적하는 견해로, 김광수, 앞의 글, 302면, 미국에서도 인공지능에 의한 행정의 의사결정은 규칙제정과 재결의 구분을 희미하게 한다고 논의된다. Engstrom, et al., supra note 29, at 84.

21페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 155

원은 세무조사의 처분성을 인정하고 있어,116) 미국과 문제 상황을 달리한다고 볼 수 있다. 이

러한 우리 대법원 판례를 행정조사에 일반적으로 적용하면, 인공지능에 의한 법위반을 탐지하

여 이를 기초로 행정조사 대상으로 결정하는 것은 사법심사의 대상이 된다. 나아가 우리 대법

원은 법치국가원리에 따라 이러한 세무조사 권한이 남용되어 세무조사에 중대한 위법 사유가

있는 경우 이러한 세무조사에 의하여 수집된 과세자료를 기초로 한 과세처분은 위법하다는

입장으로서,117) 조사대상 선정의 위법 여부를 기초로 법원은 조사대상에 처분이 위법하다는

판단을 할 수도 있다.

행정조사기본법에 의하면, 행정조사는 조사목적을 달성하는데 필요한 최소한의 범위 안에

서 실시하여야 하며(제4조 제1항), 조사목적에 적합하도록 조상대상자를 선정하여 행정조사를

실시하여야 한다(제4조 제2항). 조사대상의 자의적인 선정을 방지하기 위하여 명백하고 객관

적인 기준에 따라 조사대상을 선정하는데(제8조 제1항), 조사대상자는 그 선정기준 열람을 신

청할 수 있으며(제8조 제2항), 행정기관의 장은 ‘행정기관이 당해 행정조사업무를 수행할 수

없을 정도로 조사활동에 지장을 초래하는 경우’에는 열람 대상에서 제외할 수 있다(제8조 제

3항 제1호). 이러한 행정조사기본법상 조사대상 선정에 관한 내용은 인공지능에 의한 조사대

상 선정에도 그대로 적용된다. 특히 법위반 탐지 및 조사대상 선정과 관련한 알고리즘 공개

가 규제 회피에 악용될 수 있어 투명성 적용 정도에 차이가 발생한다는 미국의 논의는 이미

행정조사기본법의 열람 제외 대상의 규정으로 실정법화 되어 있다고 볼 수도 있다.118)

인공지능이 자동적으로 조사대상을 선정할 수 있는가? 행정조사기본법에 따르면 행정기관

의 장이 출석요구서(제9조 제1항), 보고요구서(제10조 제1항) 또는 자료제출요구서(제10조 제2

항), 현장출입조사서(제11조 제1항)를 발송하고, 국세기본법에 따르면 세무공무원은 세무조사

를 통지(제81조의7 제1항)하도록 규정하고 있다. 이러한 현행 법령상으로는 아직까지는 인공

지능이 조사대상을 선별함에 활용된다 하더라도 이는 행정 내부적인 작용이고 인간인 공무원

이 실제 조사활동을 수행하기 위하여는 인간인 공무원의 결정 및 통지가 필요할 것이다. 나아

가 세무조사의 경우 대상자 선정의 공정성 확보를 위하여 ‘공정과세위원회’의 심의를 거쳐야

한다는 주장도 있고,119) 지방세의 경우에는 지방자치단체장이 필요하다고 인정하는 경우에는

세무조사대상자 선정도 지방세심의위원회의 심의 대상이 된다(지방세기본법 제147조 제1항

116) 대법원 2011. 3. 10. 선고 2009두23617, 23624 판결

117) 대법원 2016. 12. 15. 선고 2016두47659 판결

118) 조사대상 선정 기준의 사전공표에 관하여는 행정조사기본법에는 도입되어 있지는 않은데, 조사활동에 지장을 초래하는 경우를 제외하고 선정기준을 원칙적으로 사전에 공표하도록 하는 것이 바람직하다는 견해가 있고{김영조, “행정조사기본법의 문제점과 개선방안”, 뺷공법학연구뺸 제8권 제3호(2007. 8.), 112 면}, 세무조사에 관하여는 국세기본법 제81조의6에서 선정기준을 명문화하고 있다. 인공지능 알고리즘 이 사용하는 법위반 탐지 및 대상자 선별 기준은 열람 제한에서와 마찬가지로 규제 회피가 문제되는 경우에는 사전공표 대상에서도 제외될 것이다.

119) 이상환, “세무조사대상자 선정과 조사방법에 관한 연구”, 뺷세무와 회계 연구뺸 제18호(8권 2호)(2019. 7.), 223면

22페이지

행정법연구 제62호 156

제5호)는 점도 제도 구성에 참고할 수 있다. 인공지능의 블랙박스적 성격에 따라 객관성과 공

정성이 확보되지 않은 상태에서 인공지능에 대한 자동화 편향이 우려되는 경우라면, 법위반

탐지의 효율적 수행을 위하여 인공지능을 활용하면서도 위와 유사한 심의 절차로 보완하여

운영하는 것을 제도적으로 고려할 수 있을 것이다.

인공지능에 의한 민원처리

가. 미국와의 논의 상황의 차이

미국에서는 헌법상 적법절차원칙의 적용의 차원에서 사회보장급부 재결과 관련하여

Mathew 기준에 따른 청문절차 적용 여부가 논의되는 반면, 우리의 경우 실정법인 행정절차

법의 해석론의 차원에서 대법원이 신청에 대한 거부처분은 행정절차법 제21조 제1항의 ‘당사

자의 권익을 제한하는 처분’에 해당하지 않아 사전통지 및 의견제출 대상이 아니라는 입

장120)으로, 그 논의의 출발점에 차이가 있다. 위 대법원 판례의 해석론을 전제로 하게 되면,

인공지능 행정 활성화의 관점에서는 인공지능에 의한 민원 서비스를 수행함에 있어 사전통지

및 의견제출 절차를 거치지 않아도 되므로 행정 효율성을 높일 수는 있다. 그렇지만 인공지

능의 블랙박스적 성격과 관련한 투명성 확보를 위하여 어떤 보완적인 조치가 필요한지 및 현

행법 하에서 그러한 보완이 가능한지, 오히려 인공지능에 의한 민원 서비스를 수행하는 경우

사전통지 및 의견제출이라는 절차적 보장을 강화해야 하는 것 아닌지에 대한 검토가 필요하

다.121)

나. 투명성 확보를 위한 처분기준 설정･공표

투명성 확보를 위해 우선 생각할 수 있는 보완책으로는 행정청이 공표한 처분기준과 미리

마련한 신청서의 양식이 있다. 민원처리법은 행정절차법을 구체화하여122) 민원의 신청에 필

120) 대법원 2003. 11. 28. 선고 2003두674 판결

121) 우리나라 헌법상 적법절차원칙의 적용에 관하여 헌법재판소는 헌법 제12조에 규정된 적법절차원칙은 모든 국가작용 전반에 적용되는 것으로서, 적법절차원칙에서 도출되는 중요한 절차적 요청으로, 당사자 에게 적절한 고지를 행할 것, 당사자에게 의견 및 자료 제출의 기회를 부여할 것 등을 들 수 있는데, 이 원칙이 구체적으로 어떠한 절차를 어느 정도로 요구하는지는 규율되는 사항의 성질, 관련 당사자의 권리와 이익, 절차의 이행으로 제고될 가치, 국가작용의 효율성, 절차에 소요되는 비용, 불복의 기회 등 다양한 요소를 비교하여 개별적으로 판단하여야 한다는 입장이다(헌법재판소 2018. 6. 28. 선고 2012헌 마191 결정 등 참조). 이러한 헌법재판소의 판단기준은 미국의 Mathew 기준에서의 탄력적으로 적용되 는 형량심사와 유사한 측면이 있다.

122) 행정절차법에 의하면, 신청에 필요한 구비서류 등을 게시하거나 이에 대한 편람을 갖추어 두고 누구나 열람할 수 있도록 하여야 하고(제17조 제3항), 구비서류의 미비 등 흠이 있는 경우에는 보완에 필요한 상당한 기간을 정하여 지체 없이 신청인에게 보완을 요구하여야 한다(제17조 제5항).

23페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 157

요한 사항을 게시하거나 편람을 비치하고(제13조), 민원문서에 보완이 필요한 경우에는 보완

을 요구하며(제22조 제1항), 민원인이 보완하지 않은 경우 그 이유를 밝혀 민원문서를 되돌려

보낼 수 있다(제25조 제1항)고 규정하고 있다. 한편 대법원은 보완이 가능함에도 보완을 요구

하지 않고 신청을 거부한 것은 재량권의 범위를 벗어난 것이라고 보았다.123) 결국 민원 신청

절차는 ➀ 행정청의 처분기준 및 양식 마련 Æ ➁ 신청인의 처분기준, 양식에 따른 신청 Æ

➂ 행정청은 신청이 처분기준 및 양식에 부합하는지 판단하고 흠이 있는 경우에는 보완을 요

구하는 단계를 거치게 되는데, 그 과정에서 처분기준과 제출 자료가 사전에 구체적으로 정해

지면 예측가능성과 투명성을 높일 수 있다.124)

인공지능 시스템으로 민원을 처리함에 있어, 제재적 처분에 비하여 수익적 처분에서 처분

기준을 더 구체적으로 설정할 수 있고,125) 민원 처리를 위한 인공지능 시스템은 처분기준과

양식을 반영하여 설계가 이루어져야 한다는 점에서, 강화된 처분기준 설정은 인공지능의 불

투명성을 보완하는 가장 효과적인 방안이 될 수 있다. 행정절차법 제20조 제1항이 “행정청은

필요한 처분기준을 해당 처분의 성질에 비추어 되도록 구체적으로 정하여 공표하여야 한다.”

라고 하고, 제2항에서 공표하지 않을 수 있는 예외 사유로 “처분기준을 공표하는 것이 해당

처분의 성질상 현저히 곤란하거나 공공의 안전 또는 복리를 현저히 해치는 것으로 인정될 만

한 상당한 이유가 있는 경우”라고 규정하고 있어 ‘필요한 행정처분을 구체적으로 설정’하는

것에 관하여는 예외 규정을 두고 있지 않다. 그리고 민원을 처리하는 인공지능 자체에 재량

권을 인정하는 것이 아닌 이상, 구체적인 처분기준을 인공지능이 처분을 하면서 정하도록 할

수는 없고 사전에 확정하여 시스템 설계에 반영할 필요가 있다. 인공지능을 활용하고자 하는

행정청으로서는, 행정절차법 제20조 제1항에서 ‘필요한’ 처분기준에 관한 해석을 함에 있어,

인공지능의 활용에서 특히 구체적 처분기준 설정의 필요성 요건이 충족된다는 점을 충분히

고려하여야 한다.

설정된 처분기준의 공표의무까지 인정할 것인가? 이는 처분기준이 얼마나 구체적으로 규정

되는지 그리고 그와 같은 처분기준의 공표로 인하여 수익적 처분을 발급받기 위하여 알고리

즘을 악용할 위험이 얼마나 되는지와 관련된다. 인공지능이 설계자에 대하여도 불투명하다는

문제와 관련하여 처분기준 설정의무는 엄격하게 인정할 필요가 있을 것이나, 일단 처분기준

이 설정되어 있는 경우 비공개(in-camera) 심리절차를 통하여 사후적인 심사가 가능하다는 점

에서 공표의무는 설정의무보다는 완화된 해석이 가능하다고 볼 수 있다. 설정된 처분기준을

123) 대법원 2004. 10. 15. 선고 2003두6573 판결, 다만 보완의 대상이 되는 흠은 보완이 가능하여야 하고 민원인의 단순한 착오나 일시적인 사정 등에 기한 경우여야 하는 것으로서, 보완이 불가능하거나 민원 인의 착오나 일시적인 사정과 무관한 흠은 보완 요구 대상에서 제외하고 있다.

124) 최계영, “거부처분과 사전통지”, 뺷행정법연구뺸 제18호(2007. 8.), 291면 참조.

125) 박재윤, “처분기준의 설정･공표와 신뢰보호”, 뺷행정법연구뺸 제59호(2019. 11.), 125면, 참고로 일본은 신청에 의한 처분 절차에서의 심사기준은 법적 의무로 규정한 반면, 불이익처분에서의 처분기준은 노 력 의무로 규정하고 있다.

24페이지

행정법연구 제62호 158

전부 공표하지 않고 알고리즘을 악용할 위험의 회피하는 수준에서 개략적으로만 공표할 수도

있을 것이다.126)

다. 보완 요구 및 이의(異議) 절차의 재구성

인공지능에 의한 민원처리에서는 인공지능의 처리와 인간인 공무원 관여를 유기적으로 구

성할 필요가 있다. 인공지능이 신청인 제출 자료가 진정성이나 신빙성의 기준을 충족하지 못

하거나 공표되지 않은 처분기준에 관한 자료가 결여된 것으로 판별하는 경우,127) 자동적으로

거부처분으로 나아가는 것이 아니라 그에 대한 보완 요구를 하고 신청인이 추가 제출한 자료

를 인공지능이 재심사하거나 인간인 공무원이 이를 심사하여 최종 결정하는 방법을 채택할

수 있다. 또는 위 사유로 인공지능이 자동적으로 거부통지를 하고 민원처리법 제35조에 따른

이의신청에 대하여 인간인 공무원(행정기관의 장)이 최종 판단을 하도록 할 수도 있다.128) 이

와 같은 보완 요구 또는 이의 절차를 활용함으로써 인공지능의 판단에 대하여 곧바로 사법심

사가 이루어지기 전에 신청인이 의견을 제출하고 인간인 공무원의 판단을 받을 수 있는 절차

를 구성할 수 있다.

인공지능 행정에 대한 법원의 사법심사

가. 인공지능 알고리즘에 대한 사전적 심사 방법 모색

인공지능 활용시 대량의 행정작용이 자동적으로 이루어지게 되므로 인공지능 시스템 문제

로 인한 파급효과를 최소화하기 위해서는 그 문제에 대하여 최대한 조기에 다툴 기회가 제공

되어야 한다. 따라서 인공지능에 의한 구체적인 행정작용이 이루어지기 이전이라도 인공지능

알고리즘을 구성하는 처분기준에 대한 사법심사를 허용할 필요가 있다.

우리 대법원은 학교폐지조례,129) 보건복지부 약가 고시130)와 같은 제한적인 사안에서만 고

126) 대법원 2019. 12. 13. 선고 2018두41907 판결 참조.

127) 이러한 사유는 대법원 2004. 10. 15. 선고 2003두6573 판결이 보완 대상으로 보는 ‘보완이 가능하여야 하고 민원인의 단순한 착오나 일시적인 사정 등에 기한 경우’에 엄격하게 해당한다고 보기는 어렵다. 따라서 이러한 사유에 대하여 보완 요구를 확대 적용하기 위해서는 민원처리법 제22조 제1항의 ‘민원 문서에 보완이 필요한 경우’를 보다 적극적으로 해석하여 ‘민원 처리를 위해 필요한 사항의 보완’도 포 함하는 것으로 적극적인 해석이 필요하다.

128) 이 경우 이의신청과 거부처분에 대한 행정심판 또는 행정소송이 별도 절차로 구성되어 이의 절차 진 행 중에 행정심판 청구기간이나 행정소송 제소기간이 진행되는 문제가 있으나, 행정기본법(안) 제44조 와 같이 이의 결과 통지일로부터 90일 이내에 행정심판 또는 행정소송을 제기할 수 있도록 하여 이의 신청 절차가 진행되는 동안 행정심판 및 행정소송의 제소기간이 정지된다는 규정을 두게 되면 위와 같 은 문제는 해결이 가능하다.

129) 대법원 1996. 9. 20. 선고 95누8003 판결

25페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 159

시나 조례가 행정소송의 대상이라고 인정한다. 이러한 대법원의 입장을 엄격하게 적용하면

인공지능 알고리즘을 직접 대상으로 한 행정소송 제기는 쉽지 않을 것으로 예상된다. 이에

대하여는 행정입법으로 국민의 권익이 직접 침해된 경우에는 행정소송을 통한 권리구제의 길

을 열어주어야 하고,131) 이 경우 헌법재판소의 법령헌법소원에서의 직접성, 현재성 기준이 참

고가 된다132)는 논의가 인공지능 알고리즘에는 더더욱 적용되어야 한다고 본다. 헌법재판소

는 별도의 집행행위를 요하지 않는 경우나 집행행위가 있더라도 집행기관의 재량 없이 일정

한 집행행위를 하는 경우에는 직접성이 인정된다고 보는데, 완전자동화된 인공지능 시스템으

로 통지까지 자동적으로 이루어지는 경우나 처분의 종류 및 내용에 대한 판단은 알고리즘을

활용한 행정시스템에 의하여 결정되고, 행정청이 이를 형식적으로 통보하는 형태로 처분이

이루어지는 경우133)에는 위 직접성 요건이 충족된다고 볼 수 있다. 인공지능이 인간인 공무

원을 보조하는 경우에도 자동화 편향을 고려하여 인간인 공무원의 관여가 형식적인 것에 불

과하면 직접성 인정이 가능한 경우도 있을 것이다.134) 그리고 법령 시행 이전이라도 “장래

불이익을 입게 될 수도 있다는 것을 현재의 시점에서 충분히 예측할 수 있는 경우”에는 현재

성의 예외가 인정되는데, 이러한 현재성 예외 법리를 적용할 경우 인공지능 알고리즘에 대하

여 미국에서 논의되는 ‘집행 전 심사’와 유사한 사법적 통제가 가능하게 된다.

나. 이유제시 위반에 대한 판단 기준 강화

우리 대법원은 이유제시에 관하여 “행정청의 자의적 결정을 배제하고 당사자로 하여금 행

정구제절차에서 적절히 대처할 수 있도록 하는 처분의 근거 및 이유제시 제도의 취지에 비추

어, 처분을 하면서 당사자가 그 근거를 알 수 있을 정도로 이유를 제시한 경우에는 처분의

근거와 이유를 구체적으로 명시하지 않았더라도 그로 말미암아 그 처분이 위법하다고 볼 수

는 없다”135)고 함으로써, 처분의 이유제시의 정도를 완화하고 있는데, 이러한 판례의 경향은

130) 대법원 2003. 10. 9.자 2003무23 결정

131) 박균성, 앞의 글, 95면.

132) 금태환, 앞의 글, 230-231면.

133) 김광수, 앞의 글, 303면.

134) 헌법재판소는 재량권이 인정되는 경우에도 예외적으로 직접성을 인정하기도 한다. 행형법시행령 제145 조 제4항이 별도의 집행행위를 매개로 하지 않고 금치 처분을 받으면 접견･서신수발이 금지되는 것을 전제로 한 규정을 두면서, 제145조 제2항 단서에서 예외적으로 교화 또는 처우상 특히 필요하다고 인 정하는 때에는 접견･서신수발을 허가할 수 있는 재량권을 규정하고 있는 경우라도, 헌법재판소는 “위와 같은 접견･서신수발 금지의 통지를 받은 가족이나 금치 처분을 받은 수형자 본인, 혹은 제3자가 접견 신청을 하는 것은 예외적인 경우이고, 그 외에는 금치 처분을 받은 수형자에게 접견･서신수발이 금지 된다고 보는 것이 일반적이므로, 제도적으로 금치 처분을 받은 자에 대해서는 별도의 집행행위 없이 행형법시행령 제145조 제2항에 의하여 접견･서신수발이 금지되는 것으로 보는 것이 타당하다”고 하면 서 직접성을 인정하였다. (헌법재판소 2004. 12. 16. 선고 2002헌마478 결정)

135) 대법원 2019. 1. 31. 선고 2016두64975 판결 등 참조.

26페이지

행정법연구 제62호 160

행정의 자의억제기능보다 당사자의 불복신청에 대한 편의제공기능에 초점을 맞추면서 행정경

제 및 소송경제적인 측면에 대한 고려를 강화한 것으로 평가된다.136)

행정기관이 인공지능을 활용함에 있어 현행 대법원 판례 수준의 완화된 설명만으로 이유

제시의무를 준수하는 것으로 오해할 소지가 없지 않다. 그러나 인공지능의 블랙박스적 성격

및 투명성 확보의 관점에서 위와 같은 이유제시에 대한 대법원의 입장은 적어도 인공지능이

활용되는 경우에는 그대로 적용되기는 어렵다고 본다. 인공지능이 활용되는 경우 인공지능을

운용하는 행정기관이나 당사자 모두 인공지능 결정의 이유를 정확히 파악하기 어렵기 때문에

인공지능이 활용된 행정작용에 있어서는 그 결정에 대한 설명이 가능한 한 구체적으로 생성

되어 이유제시 절차를 통하여 당사자에게 제공될 필요가 있다. 인공지능을 활용하는 것 자체

로 행정의 효율성이 높아지게 되고, 설명가능 인공지능을 운용할 경우 이유제시를 위한 행정

부담이 크다고 보기도 어렵기 때문에, 행정경제의 측면에서도 인공지능을 활용하는 경우 이

유제시 정도를 경감할 이유를 찾기 어렵다. 오히려 소송경제적 측면에서는 구체적인 이유제

시가 있어야 당사자의 설득기능이 높아지고 인공지능 블랙박스에 대한 법원의 심사가 더 용

이해질 수 있다. 법원은 이유제시 정도에 대한 법원의 판결이 행정기관이 인공지능을 설계함

에 있어 어느 정도의 설명을 제공할 것인지를 반영하는 기준이 된다는 점을 충분히 고려하여

인공지능 행정의 투명성을 충분히 확보할 수 있는 수준의 이유제시 정도를 제시하여야 한다.

다. 알고리즘의 결과에 대한 기속적 심사 vs. 알고리즘의 정확성에 대한 과정적 심사?

우리 대법원은 기속과 재량에 관한 사법심사 방식에 관하여, 기속의 경우에는 “그 법규에

대한 원칙적인 기속성으로 인하여 법원이 사실인정과 관련 법규의 해석･적용을 통하여 일정

한 결론을 도출한 후 그 결론에 비추어 행정청이 한 판단의 적법 여부를 독자의 입장에서 판

정하는 방식”으로, 재량의 경우에는 “법원은 독자의 결론을 도출함이 없이 당해 행위에 재량

권의 일탈･남용이 있는지 여부만을 심사”한다고 판시한다.137) 이러한 심사방식을 인공지능

알고리즘에 적용하면, 인공지능에 재량권이 부여되지 않는다고 보는 경우, 법원은 인공지능

알고리즘이 올바르게 작동하여 결과를 도출하는지와 무관하게 독자적으로 결론을 도출하여

인공지능 알고리즘의 결과와 비교하는 방식으로 심사를 할 수 있다. 이와 같은 기속적 심사

방식에 따르면 인공지능의 블랙박스적 성격에 따른 별다른 제한 없이 법원이 인공지능 알고

리즘에 의한 개별 처분의 위법을 독자적으로 판단할 수 있다는 점에서, 이는 개별 처분에서

의 알고리즘 결과에 대한 적법성 통제를 위한 최후의 보루로 볼 수 있다.

한편 인간인 공무원과 달리 인공지능의 경우에는 시스템 문제로 인하여 개별 처분의 결과

136) 안동인, “행정절차법의 처분절차상 주요 쟁점 –절차보장의 확대를 위한 적극적 해석의 필요성-”, 뺷행 정법연구뺸 제49호(2017. 6.), 18면.

137) 대법원 2001. 2. 9. 선고 98두17593 판결

27페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 161

가 잘못될 수 있는데, 이 경우 그 시스템 문제는 개별 처분에 국한되는 문제가 아니라 시스

템이 적용되는 전 분야의 문제이기 때문에, 그러한 잘못의 반복을 막기 위해서는 시스템 문

제에 대한 근본적 해결이 필요하게 된다. 이 경우 알고리즘 시스템의 정확성에 대한 적법성

통제를 위하여 법원은 시스템 문제가 다투어지는 경우 알고리즘의 결과와 별도로 독자적 결

론을 도출하는 대신 알고리즘이 결과를 도출하는 과정에서 정확하게 작용하였는지를 심사하

여 시스템 문제로 인하여 잘못된 결과에 이르렀는지 여부를 판단할 수도 있을 것이다.138) 그

러한 과정적 심사에서 법원은 알고리즘 사양과 데이터에 대한 정보가 정보공개법상 비공개대

상정보에 해당한다 하더라도 필요한 경우에는 비공개심리절차를 통하여 이를 제출하도록 함

으로써, 정보공개법상 비공개대상으로 인한 인공지능의 투명성 제한 문제를 법원의 사법심사

의 틀 내에서 일정 정도 해결할 수 있게 될 것이다.

Ⅳ. 결론

이상에서 기존 행정절차, 행정소송 및 민원처리법, 행정조사기본법 등의 실정법에 구현되

어 있는 공법적 가치와 이론이 인공지능 행정 분야에 적용될 수 있는 부분 및 인공지능 행정

분야의 특수성으로 인하여 기존 제도와 이론이 인공지능 행정분야에서 어떻게 변용 또는 재

구성되어야 하는지를 살펴보았다. 인공지능의 공공 분야 도입이 체계적으로 이루어지지 못하

고 있다는 평가도 있는 상황에서139) 그 분석은 한계가 있을 수밖에 없지만, 공공분야에서 인

공지능 활용이 확대됨에 있어 인공지능 행정 제도가 법치주의에 부합하는 방향으로 자리잡을

수 있도록 인공지능 행정의 구성과 행정절차, 행정소송 이론의 상호 영향 관계에 관하여 보

다 활발한 논의가 이루어져야 할 것이다.

공공 분야에 인공지능 도입에 있어 행정의 효율성은 높이면서 인공지능 도입으로 인한 문

제점을 검증하고 보완하기 위하여는 단순반복적인 업무, 기준과 조건이 명확한 업무에 우선

적으로 인공지능을 도입하는 유형별, 단계적 접근이 이루어질 필요가 있다.140) 이러한 관점은

입법적으로 독일 연방행정절차법 제35a조 및 행정기본법안 제23조에서 재량은 완전자동화 대

138) 인공지능은 엄청난 양의 데이터를 빠른 시간 내에 처리하며 스스로 학습하는 능력까지 갖춘 상태에서 알고리즘 결과를 도출하기 때문에, 데이터처리 및 예측과 관련하여 인공지능이 인간보다 훨씬 우월한 능력을 보유하는 부분에서는 인간인 법관이 인공지능 알고리즘 결과에 대하여 독자적으로 판단하기 어 려운 경우가 발생할 수도 있다. 이러한 경우 법원이 기속적 심사를 위하여 판단능력을 어떻게 보완할 것인지가 문제된다. 이 경우 법원은 기속적 심사에 대한 대안으로 알고리즘 시스템 문제에 대한 과정 적 심사를 할 수도 있을 것이다.

139) 정소윤, “인공지능 기술의 행정 활용에 관한 연구동향 및 쟁점 분석”, 뺷한국지역정보화학회지뺸 제22권 제4호(2019. 12.), 197면.

140) 윤상오/이은미/성욱준, 앞의 글, 54-55면.

28페이지

행정법연구 제62호 162

상에서 제외하는 것으로 반영되고 이에 이 논문에서는 인공지능에 재량이 없는 경우를 전제

로 검토를 하였다. 인공지능에 모든 결정권을 주기보다는 인간이 결정권을 가지면서 인공지

능을 인간을 보좌하는 역할로 활용하는 것에서 시작하지만, 장래에는 일정 기간 검증을 거쳐

점점 더 인공지능의 권한과 적용범위를 확대하여 재량권 부여나 정책결정에도 활용하는 방향

으로 나아가게 될 것이다.141) 이와 같이 행정에서 인공지능의 임무와 역할이 확대되는 과정

에서 인공지능 행정의 투명성과 적법성 확보되도록 입법에 의한 사전적인 제도화 및 사후적

인 법원의 통제가 균형있게 구성되어야 한다. 이는 인공지능 기술의 발전 및 행정 분야에의

도입에 따라 행정절차 및 행정소송 관련 법리도 그에 맞추어 계속 발전해 나가야 함을 의미

한다.

행정분야에 인공지능 도입됨으로 인하여 행정효율 증가 및 행정절차 비용 감소가 이루어

지게 되면, 행정효율의 관점에서 마련된 행정절차 예외 적용 범위의 축소에 대한 논의도 필

요하다. 행정절차법상 처분기준 공표(법 제20조 제2항), 사전통지(시행령 제13조), 처분의 이

유제시(법 제23조 제1항)의 예외사유는 ➀ 행정효율의 관점에서 규정하는 것과,142) ➁ 처분의

신속성으로 절차를 거칠 여유가 없는 경우,143) ➂ 처분기준이나 처분 내용이 미리 알려질 경

우 공익 손상이 발생하여 밀행성(密行性)이 필요한 경우144)로 나누어 볼 수 있다. 그 중 행정

141) 인공지능은 각종 계획 수립을 위한 근거 데이터 및 분석결과 제공, 패턴 변화에 대한 자동 알림, 학습 을 통한 알고리즘을 제공하고, 인공지능 시스템은 자동화 모델의 구축과 해당 상황 및 대안에 따른 대 응을 통해 관련 현황 및 정책 대안에 대한 다양한 시뮬레이션이 가능하고 대안의 가능한 비용을 평가 할 수 있으므로 복잡한 상호관계에 대한 예측 분석을 통해 공공 정책 관련 의사결정이 최적화될 것이 라고 한다. 인공지능 기술의 행정분야 활용에 관한 탐색적 연구 54-55. 한편 정책문제가 객관적인 사실 이나 근거에 기반하여 결정할 수 있는 경우에는 데이터를 기반으로 인공지능이 정책결정에 활용될 수 있을 것이나, 정책문제 자체가 많은 이해관계자들과 이들의 주장과 가치가 얽혀 있는 복잡한 성격을 띠는 경우 절차적 민주성과 정치성을 결여한 인공지능이 객관적인 데이터만으로 결정이나 판단을 하는 것은 한계가 있음이 지적되기도 한다. 위의 글, 50면

142) 사전통지 예외사유 중 ”2. 법원의 재판 또는 준사법적 절차를 거치는 행정기관의 결정 등에 따라 처 분의 전제가 되는 사실이 객관적으로 증명되어 처분에 따른 의견청취가 불필요하다고 인정되는 경우, 법령 또는 자치법규에서 준수하여야 할 기술적 기준이 명확하게 규정되고, 그 기준에 현저히 미치지 못하는 사실을 이유로 처분을 하려는 경우로서 그 사실이 실험, 계측, 그 밖에 객관적인 방법에 의하여 명확히 입증된 경우, 법령등에서 일정한 요건에 해당하는 자에 대하여 점용료･사용료 등 금전급부를 명하는 경우 법령등에서 규정하는 요건에 해당함이 명백하고, 행정청의 금액산정에 재량의 여지가 없 거나 요율이 명확하게 정하여져 있는 경우 등 해당 처분의 성질상 의견청취가 명백히 불필요하다고 인 정될 만한 상당한 이유가 있는 경우“, 이유제시 예외사유 중 “1. 신청 내용을 모두 그대로 인정하는 처 분인 경우, 2. 단순･반복적인 처분 또는 경미한 처분으로서 당사자가 그 이유를 명백히 알 수 있는 경 우“가 이에 해당한다.

143) 사전통지 예외사유 중 “1. 급박한 위해의 방지 및 제거 등 공공의 안전 또는 복리를 위하여 긴급한 처분이 필요한 경우”, 이유제시 예외사유 중 “3. 긴급히 처분을 할 필요가 있는 경우”가 이에 해당한다.

144) 사전통지 예외사유 중 “3. 의견청취의 기회를 줌으로써 처분의 내용이 미리 알려져 현저히 공익을 해 치는 행위를 유발할 우려가 예상되는 등 해당 처분의 성질상 의견청취가 현저하게 곤란한 경우”와 처 분기준 공표 예외사유가 이에 해당한다. 참고로 처분기준 공표 예외사유에는 행정에 부여된 재량권이 구체적인 사안에서 탄력적으로 행사되도록 하는 것이 공공의 안전 또는 복리에 더 적합한 경우라는 범

29페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 163

효율의 관점에서 예외가 인정되는 경우는 인공지능의 도입으로 행정비용 절감이 가능하고,

신속성이 문제되는 경우도 인공지능이 전자적으로 즉시적인 통지나 이유제시를 할 수 있다는

점에서 과연 예외사유로 계속 인정할 필요가 있는지 의문이다. 반면 밀행성 문제는 인공지능

에 관한 정보공개를 통한 투명성 확보145)가 규제 회피에 악용될 수 있다는 부분과도 연결되

는 쟁점으로, 인공지능 행정에서 행정절차의 예외사유는 밀행성을 중심으로 최소한도로 재구

성되어는 방향으로 나아가야 하지 않을까 한다.

(투고일: 2020. 8. 9. 심사완료일: 2020. 8. 21. 게재확정일: 2020. 8. 28.)

주가 별도로 인정된다. (대법원 2019. 12. 13. 선고 2018두41907 판결 참조)

145) 2019. 12. 10. 개정되고 2020. 6. 11.부터 시행되는 행정절차법 제5조 제3항은 ‘투명성’과 관련하여 “행 정청은 상대방에게 행정작용과 관련된 정보를 충분히 제공하여야 한다”라는 규정을 신설하여, 행정절차 의 투명성이라는 관점과 행정작용에 관한 정보공개를 입법적으로도 연결하고 있다.

30페이지

행정법연구 제62호 164

참고문헌

[국내문헌]

논문

경 건, “미국 정보공개법제의 개관”, 뺷서울법학뺸 15권 1호(2007. 8.)

김광수, “인공지능규제법 서설”, 뺷토지공법연구뺸 제81집(2018. 2.)

김길수, “공공부문에서의 인공지능 활용에 관한 연구”, 뺷한국자치행정학보뺸 제33권 제1호

(2019 봄)

김도승, “인공지능 기반 자동행정과 법치주의”, 뺷미국헌법연구뺸 제30권 제1호(2019. 4.)

김성배, “미국에서의 행정입법의 분류와 비법규적 행정규칙에 대한 통제문제”, 뺷법학논총뺸(국

민대학교 법학연구소), 28권 3호(2016. 2.)

김영조, “행정조사기본법의 문제점과 개선방안”, 뺷공법학연구뺸 제8권 제3호(2007. 8.)

김재선, “미국 행정절차법상 행정입법절차와 그 사법상 통제 – 행정입법에 대한 실질적 분

류와 절차적 통제 논의를 중심으로 -”, 뺷행정법학뺸 제17호(2019. 9)

김재완, “EU 일반정보보호규정(GDPR)의 알고리즘 자동화 의사결정에 대한 통제로서 설명을

요구할 권리에 대한 쟁점 분석과 전망”, 뺷민주법학뺸 69권(2019. 3.)

김중권, “인공지능시대에 완전자동적 행정행위에 관한 소고”, 뺷법조뺸 제723권(2017. 6.)

금태환, “미국행정입법심사에 있어서의 성숙성”, 뺷행정법연구뺸 제9권(2003. 5.)

박균성, “미국 행정입법제도의 시사점”, 뺷행정법연구뺸 제46호(2016. 8.)

박재윤, “처분기준의 설정･공표와 신뢰보호”, 뺷행정법연구뺸 제59호(2019. 11.)

박훈민, “전자정부와 자동화된 행정결정에 대한 법도그마틱상 검토필요성 – 독일과 네덜란

드에서의 법제와 논의를 중심으로 한 시론 -”, 뺷행정법연구뺸 제52호(2018. 2.)

안동인, “행정절차법의 처분절차상 주요 쟁점 –절차보장의 확대를 위한 적극적 해석의 필요

성-”, 뺷행정법연구뺸 제49호(2017. 6.)

윤상오/이은미/성욱준, “인공지능을 활용한 정책결정의 유형과 쟁점에 관한 시론”, 뺷한국지역

정보화학회지뺸 제21권 제1호(2018. 3.)

이국현, “적법절차원리에 의해 요구되는 행정처분절차의 절차적 요건-미국법에서의 논의와 그

시사점을 중심으로-”, 뺷저스티스뺸 통권 144호(2014. 10)

이상환, “세무조사대상자 선정과 조사방법에 관한 연구”, 뺷세무와 회계 연구뺸 제18호(8권 2

호)(2019. 7.)

이재훈, “독일 연방절차법상 전자동화 행정행위 도입 및 주요 쟁점”, 뺷행정법학뺸 제16호

(2019. 3.)

정소윤, “인공지능 기술의 행정 활용에 관한 연구동향 및 쟁점 분석”, 뺷한국지역정보화학회지뺸

제22권 제4호(2019. 12.)

31페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 165

최계영, “거부처분과 사전통지”, 뺷행정법연구뺸 제18호(2007. 8.)

최상옥, “인공지능 기반 공공서비스와 신공공성”, 월간 공공정책 152호(2018. 6.)

황의관, “사법심사대상인 행정청 행위에 관한 미국과 한국법의 비교연구”, 뺷미국헌법연구뺸 제

25권 제3호(2014. 12.)

자료

관계부처 합동, “인공지능 국가전략”, 2019. 12.

방송통신위원회, “이용자 중심의 지능정보사회를 위한 원칙”, 2019. 11. 11.자 보도자료

이상길, “국내외 AI 활용 현황과 공공 적용”, 뺷ICT SPOT ISSUE뺸 S18-08(2018. 12.)

한국정보화진흥원, 뺷지능형정부 구현을 위한 인공지능 활용 윤리에 관한 연구뺸, 2018

한국행정연구원, 뺷인공지능 기술의 행정분야 활용에 관한 탐색적 연구뺸, 2019

행정안전부, “지능형 정부 기본계획”, 2017. 3.

____, “4차 산업혁명 시대, 국민과 함께 지능형 정부로”, 2019. 6. 24. 보도자료

행정자치부, “전자정부 2020 기본계획”, 2016. 4.

[외국문헌]

Ashley Deeks, “The Judicial Demand for Explainable Artificial Intelligence”, 119 Colum L.

Rev. 1829 (2019)

Aziz Z. Huq, A Right to a Human Decision (May 3, 2019). Virginia Law Review, Vol. 105,

U of Chicago, Public Law Working Paper No. 713, Available at SSRN:

https://ssrn.com/abstract=3382521

Cary Coglianese & David Lehr, “Regulating by Robot: Administrative Decision Making in the

Machine-Learning Era”, 105 Geo. L.J. 1147 (2017)

____, “Transparency and Algorithmic Governance”, 71 Admin. L.

Rev. 1 (2019)

Cary Coglianese & Lavi M. Ben Dor, “AI in Adjudication and Administration”(2020), Faculty

Scholarship at Penn Law. 2118, Available at https://scholarship.law.upenn.edu/faculty_sc

holarship/2118

Danielle Keats Citron, “Technological Due Process”, 85 Wash. L. Rev. 1249 (2008)

David Freeman Engstrom & Daniel E. Ho, “Algorithmic Accountability in the Administrative

State”, CSAS Working Paper 19-34(2019. 11.), Available at https://papers.ssrn.com/sol3/

papers.cfm?abstract_id=2754385

David Freeman Engstrom, et al., “Government by Algorithm: Artificial Intelligence in Federal

Administrative Agencies”, REPORT SUBMITTED TO THE ADMINISTRATIVE

32페이지

행정법연구 제62호 166

CONFERENCE OF THE UNITED STATES, 2020. 2.

Joshua A. Kroll, et al., “Accountable Algorithms”, 165 U. Pa. L. Rev. 633 (2017)

Mariano-Florentino Cuéllar, “Cyberdelegation and the Administrative State” (Stanford Public

Law Working Paper No. 2754385, 2016), Available at https://papers.ssrn.com/sol3/

papers.cfm?abstract_id=2754385

33페이지

인공지능 행정이 행정절차･행정소송에 미치는 영향에 대한 시론적 고찰 167

A Study on the Effect of Artificial Intelligence Administration on

Administrative Procedures and Administrative Litigation *

Lim, Sunghoon **

146)

In the situation where the use of artificial intelligence is expected to expand in the

administrative field, how to secure the transparency and accountability of the artificial

intelligence algorithm is important because of the unpredictability and autonomy of the artificial

intelligence algorithm. To this end, administrative law responses should be considered from the

standpoint of rule of law and due process, apart from ethical responses to the use of AI or

special laws for AI regulation.

In the United States, various discussions have been conducted regarding AI administration in

recent years, focusing on the selection of execution targets by AI and the decision related to

social security benefits. With a strong emphasis on the advantages of artificial intelligence

administration, and actively adopting it, the black box nature of artificial intelligence is also

acceptable in light of the standards of transparency or declaration of reasons in the

administrative procedure law and the court's deference in administrative litigation. It is said that

the application of administrative procedures(e.g. hearing) is not required, and rules can be

established through artificial intelligence. On the other hand, in terms of emphasizing the

response to the black box nature of automation administration and artificial intelligence, the

information about the AI algorithm should be disclosed as much as possible in relation to

transparency and administrative procedures should be applied regarding AI system problems. In

addition, in order to strengthen the court's control over AI, It is discussed that the court should

review the selection of administrative execution targets that were previously excluded from

judicial review, or limit the court's deference for AI administration.

In order to secure the transparency and accountability of AI administration, the following

matters need to be discussed in Korean administrative procedures and administrative litigation.

First, it is possible to consider supplementing with a separate review procedure to enhance

the objectivity and fairness of the selection of investigation targets by using artificial

intelligence.

This work was supported by the research grant of the Chungbuk National University in 2019. ** Ph.D. in Law, Associate Professor, Chungbuk National University Law School

34페이지

행정법연구 제62호 168

Second, with regard to complaints from the Social Security Administration, the AI system

for handling complaints must be designed to reflect the disposition standards and forms. In this

regard, establishing the enhanced disposal standards can be an effective way to compensate for

the opacity of artificial intelligence.

Third, with regard to the administrative litigation law response to AI administration, to

minimize the ripple effect caused by AI system problems, it allows judicial review of AI

algorithms even before specific administrative actions are performed by AI. And in order to

ensure transparency in AI administration, measures to strengthen the criteria for declaration of

reasons should be considered.

Finally, if the introduction of artificial intelligence increases administrative efficiency and

decreases the cost of administrative procedures, this can be an incentive to reduce the

exceptions of administrative procedure. By minimizing the reason for administrative procedure

exceptions, focusing on secrecy, we will be able to move toward expanding the scope of

administrative procedures in parallel with the expansion of AI administration.

Key Words: Artificial Intelligence Administration, Administrative Procedures, Transparency,

Information Disclosure, Establishment and Public Availability of Disposition

Standards