인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 — 유럽연합 인공지능 관리 법제
원본 파일:
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 — 유럽연합 인공지능 관리 법제 .pdf
변환 일시: 2026-04-09 22:44
1페이지
사단법인 행정법이론실무학회 행정법연구 제64호 2021년 3월 Korea Administrative Law and Practice Association Administrative Law Journal Vol. 64, March 2021
인공지능 안전과 책임 확보를 위한
법제 논의에 관한 검토
— 유럽연합 인공지능 관리 법제 논의에 기초하여 —*
1)
김 재 선**
국문초록
인공지능이란, “특정 목표달성을 위하여 스스로 상황을 분석하고 어느 정도 자율적인 조치를
취하면서 지적인 행위를 수행하는 체계” 또는 “복합적 목표 내에서 데이터의 수집, 해석, 추론,
정보처리 등을 수행하는 인간에 의하여 설계된 소프트웨어 시스템”으로 데이터의 수집과 알고
리즘을 통한 의사결정을 통하여 인간의 개입이 최소화된 상황에서 빠른 속도로 지속적인 일련
의 “작용”(데이터 수집, 알고리즘을 통한 해석·추론·정보처리)을 하게 된다. 빠른 속도, 자동성,
지속성, 반복성을 갖는 인공지능의 일련의 “작용”은 사전에 고도로 설계된 의사결정 방식을 따
르게 되지만 사전설계가 모든 상황에 대응하도록 설계되기 어려울 뿐만 아니라 인공지능은 지
속적으로 스스로 학습하는 기능을 갖고 있으므로 인공지능이 고도화될수록 인간의 통제력은
줄어들게 된다. 인공지능의 “작용”이 적용된 제조물(로봇, 자율주행, 의료기기 등)이 널리 활용
되면서 인공지능이 외부 정보를 잘못 인식(데이터 수집 오류)하거나 정보에 대한 해석·추론·정
보처리에 오류가 발생하는 경우 제조물로 인한 손해가 발생하게 되는데, 이를 사전에 예방하기
위한 안전확보 방안과 사후에 책임의 주체와 방법을 규정하는 책임확보 방안의 마련이 필요하
게 된다.
우리나라의 경우 2020년 지능정보화기본법의 전면 개정으로 지능정보기술을 정의하여 인공
지능의 법제화 가능성을 구체화하였으며, 응용 소프트웨어에 대한 접근성 품질인증 제도(법 제
48조), 기술의 안전성과 신뢰성 확보를 위한 사회적 영향평가(법 제56조), 지능정보기술에 관한
정보보호조치 기준 마련(법 제58조), 지능정보사회윤리준칙 제정(법 제62조) 등을 규정하였다.
이는 기존의 법제가 기술혁신 촉진 등을 위한 법제(예컨대 국가연구개발혁신법), 데이터의 이
- 본고는 한국법제연구원 연구보고서 “정남철계인국김재선, 미래세대 보호를 위한 법적 과제 4-인 공지능(AI)에 대한 유럽연합(EU)의 규제체계와 대응전략을 중심으로-, 한국법제연구원 2020”에서 필자가 담당한 제4장 연구(인공지능에 의한 안전 및 책임문제에 대한 분석 및 대응) 부분을 논문의 형식으로 보완 및 재정리하였습니다. 본 연구에 관한 귀한 조언말씀을 나누어주신 정남철 교수님, 계인국 교수님께 진심으로 감사드립니다. ** 부산대학교 법학전문대학원 부교수, J.D., 법학박사(Ph.D).
2페이지
행정법연구 제64호 158
용과 활용을 위한 법제(예컨대 개인정보보호법, 정보통신망법, 신용정보호호법), 개별 영역에서
의 적용 법제(예컨대 식품의약품안전처의 인공지능 의료기기 허가·심사에 관한 가이드라인,
과학기술정보통신부의 인공지능 학습용 데이터 품질관리 가이드라인) 등 개별적인 적용방안
중심으로 발전하였던 점에 비하여 종합적인 인공지능 활용방안을 제안하였다는 점에서 의미가
있다. 유럽연합의 인공지능의 안전과 책임 확보방안은 기존 법제인 제조물안전지침, 기계지침
등을 적용하되, 제조물에 대한 리스크 평가 인증 제도 등을 도입하고 있다는 점에서 우리나라
의 법령 현황과 비견된다. 이에 따라 유럽연합의 리스크 기반 안전과 책임 논의로 신뢰가능한
인공지능 설계를 위한 법적 체계논의는 인공지능 활용의 리스크 범주를 세분화하여 데이터의
융합 정도, 데이터 활용의 위험성이 중요한 경우에는 신뢰가능한 인공지능에서 제안하고 있는
윤리원칙(인간존중, 위해예방, 공정성, 설명가능성), 현실화를 위한 핵심원칙(인간존엄과 감독.
기술적 견고함과 안전성 확보, 개인정보 보호 및 데이터 거버넌스 확보, 투명성, 다양성·비차별
성·공정성, 사회복지·환경복지, 책임성)이 설계 단계부터 활용 단계에서 고려되도록 할 수 있을
것이며, 지능정보화기본법을 통하여 기술의 신뢰성 확보를 위한 근거법령이 마련되었으므로 이
를 인증제도, 사회적 영향평가, 윤리준칙 등에서 이러한 논의를 참조할 수 있을 것으로 생각된
다.
주제어: 인공지능, 알고리즘, 안전, 책임, 로봇 윤리, 가이드라인
목 차
. 들어가며
. 인공지능 리스크의 의의
. 인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토
. 우리나라에서의 시사점
Ⅰ. 들어가며
인공지능이란, “특정 목표달성을 위하여 스스로 상황을 분석하고 어느 정도 자율적인 조
치를 취하면서 지적인 행위를 수행하는 체계”1) 또는 “복합적 목표 내에서 데이터의 수집,
1) European Commission, ‘Artificial Intelligence for Europe’ (Communication) COM(2018) 237 final (“AI for Europe, 2018”).
3페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 159
해석, 추론, 정보처리 등을 수행하는 인간에 의하여 설계된 소프트웨어 시스템”2)으로 정의
되는 체계로 데이터의 수집과 알고리즘을 통한 의사결정을 기본 원리로 하고 있다.3) 따라
서 인공지능은 외부 정보가 데이터화 되어 저장되도록 하는 시스템과 알고리즘 이라는 내
부적 의사결정과정을 거쳐 특정한 목표를 달성하기 위한 작용을 하게 되는데 이 과정에서
인간의 개입이 최소화된 상황에서 빠른 속도로 지속적인 일련의 “작용”(데이터 수집, 알고
리즘을 통한 해석추론정보처리)이 이루어지게 된다. 빠른 속도, 자동성, 지속성, 반복성을
갖는 인공지능의 일련의 “작용”은 사전에 고도로 설계된 의사결정 방식을 따르게 되지만
사전설계가 모든 상황에 대응하도록 설계되기 어려울 뿐만 아니라 인공지능은 지속적으로
스스로 학습하는 기능을 갖고 있으므로 결국 인공지능이 고도화될수록 인간의 통제력은 줄
어들게 된다.
인공지능의 “작용”이 적용된 제조물(로봇, 자율주행, 의료기기 등)이 널리 활용되면서 인
공지능이 외부 정보를 잘못 인식(데이터 수집 오류)하거나4) 정보에 대한 해석추론정보처
리에 오류가 발생하는 경우 제조물로 인한 손해가 발생하게 되는데, 이를 사전에 예방하기
위한 안전확보 방안과 사후에 책임의 주체와 방법을 규정하는 책임확보 방안의 마련이 필
요하게 된다. 그러나 인공지능의 “작용”의 경우 기술이 빠르게 발전하고 있는 현재의 시대
적 상황에서 당해 작용의 편익에 대응하는 리스크의 정도를 평가하기가 쉽지 않아 안전확
보를 위한 규제정도와 구체적인 방안을 찾기가 쉽지 않으며, 인공지능의 일련의 “작용” 과
정에서 인간 또는 행정청의 “행위”에 관하여 기존의 법체계에서 주된 평가의 수단으로 기
능하였던 “고의 또는 과실”5)을 적용하기도 어렵다는 점이 한계로 나타난다.6)
2) European Commission, ‘High-Level Expert Group on Artificial Intelligence’ (2019). 3) 정남철계인국김재선, “미래세대 보호를 위한 법적 과제4-인공지능에 대한 유럽연합의 규제체계와 대응전략을 중심으로-”, 한국법제연구원, 2020, 70-71면. 4) 예컨대, 한국경제, “미국서 테슬라 자율주행 사고 경찰차 들이받아”, 2021년 3월 18일자. 디지털 투데이, “자율주행차 사고 가장 큰 원인은 뭘까”, 2021년 3월 23일자. 5) 국가배상법 제2조(배상책임) 국가나 지방자치단체는 공무원 또는 공무를 위탁받은 사인(이하 “공무원”이라 한다)이 직무를 집행하면서 고의 또는 과실로 법령을 위반하여 타인에게 손해를 입히 거나, 자동차손해배상 보장법에 따라 손해배상의 책임이 있을 때에는 이 법에 따라 그 손해를 배 상하여야 한다. (중략) 제1항 본문의 경우에 공무원에게 고의 또는 중대한 과실이 있으면 국가 나 지방자치단체는 그 공무원에게 구상(求償)할 수 있다. 6) 인공지능의 자동화된 의사결정에서 인간 개입에 관하여는 인간개입 정도에 관한 기준의 불분명성, 개입 단계의 불분명성, 실질적 인간 개입 실현가능성, 외부감독의 어려움이 있다는 점이 논의되며, 실질적인 인간 개입을 위한 방안으로 개입 정도에 관한 기준 명확화, 개입 단계의 구체화, 인공지 능 판단과정인 알고리즘의 투명성 강화, 외부감독의 실효성 강화 방안이 제안된다. 자세한 내용은 황지은, “인공지능 관점에서 GDPR 제22조의 인간 개입에 대한 분석”, 경제규제와 법, 제13권 제1 호, 2020, 45-52면.
4페이지
행정법연구 제64호 160
이와 같이 인공지능의 안전과 책임을 규율하는 새롭거나 획기적인 법체계가 단기간에 마
련되기 어려운 현실에서7) 유럽연합은 2018년 이후 꾸준한 연구8)와 논의를 거쳐 인공지능
이 적용된 제조물 이용관계에서 나타나는 안전과 책임을 확보하기 위하여 제조물안전기본
지침(“General Product Safety Directive”)을 일반법제로 제안하되, 장기적인 관점에서 리스
크 기반 접근방법으로 인공지능 설계에 관한 지침 마련 등을 제안하였다.9)10) 이에 따라 본
고에서는 인공지능이 적용된 제조물에 관한 안전과 책임 확보를 위한 법제적 검토를 위한
비교법적 연구로 최근 유럽연합에서 논의되고 있는 현행의 입법체계를 조정 및 보완한 입
법방안으로 제조물안전기본지침을 주된 내용으로 검토11)하되, 장기적인 입법방안인 리스크
기반 접근방법으로 인공지능 설계 지침의 내용에 관하여 검토하고자 한다. 제II장에서는 인
공지능 안전과 책임 확보를 위한 전제요건으로 인공지능 리스크의 개념과 유형, 특수성을
7) 선지원, “인공지능 알고리즘 규율에 관한 소고-독일의 경험을 중심으로-”, 경제규제와 법, 제12권 제1호, 2019, 26-29면. 8) 유럽집행위원회는 2018년 인공지능 발전의 방향을 제안한 “유럽을 위한 인공지능(AI for Europe)” 을 발간하였으며, 2019년 전문가 그룹 논의를 거쳐 인공지능 윤리 가이드라인 권고사항(“Policy and Investment Recommendations for Trustworthy AI”)을 제안하였으며, 2020년 인공지능 리스크에 관한 공법적 접근방안을 구체화한 인공지능 백서, 인공지능 활용의 안전과 책임 규율방안을 제안한 인공지능, 사물인터넷 및 로봇의 안전과 책임 보고서를 제출하였다. uropean Commission, ‘Artificial Intelligence for Europe’ (Communication) COM(2018) 237 final (“AI for Europe, 2018”). “Ethics guidelines for trustworthy AI”, available at https://ec.europa.eu/digital-single- market/en/news/ethics-guidelines-trustworthy-ai. (검색일: 2020.9.9.) European Commission. “White Paper on Artificial Intelligence - A European Approach to Excellence and Trust”, 2020. COM(2020), 64 final. Report on the safety and liability implications of Artificial Intelligence, the Internet of Things and robotics. 9) 또한, 유럽연합은 인공지능 규제의 주된 과제로 볼 수 있는 개인정보보호에 관한 규정(GDPR)이 발효되면서 인공지능에 활용되는 데이터의 주체인 개인의 정보요구권(제13조), 데이터 이전요구권 (제20조), 자동화된 의사결정 거부권(제22조)에 관하여도 규정하고 있다. 선지원, “인공지능 알고리 즘 규율에 관한 소고-독일의 경험을 중심으로-”, 경제규제와 법, 제12권 제1호, 2019, 28-30면.
10) 인공지능 리스크에 대한 유럽연합의 대응은 초반에는 유럽의 기술주권 확보와 유럽적 가치 (European Value)를 기초로 하는 가치기반 모델을 중심으로 추진되었다면, 최근에는 이를 구체화하 여 리스크 관리체계의 마련에 관심을 갖고 있는 것으로 이해된다. 유럽적 가치란 “유럽인의 정체성 (European identity)” 논의에서 비롯되며, 유럽적 가치들(European ideas) 논의는 “유럽통합 과정에서 논의되어온 이데올로기적 의제, 유럽 공동의 문화적 중추”로 정의된다. 이러한 유럽적 가치는 “위 기시대의 기본권 보호의 안전장치”로 기능하는 가치로 법치주의의 존중, 자율규제 체계를 포함하 며, 기술변화에 대응하기 위하여 유럽연합국간 협력과 통제를 제안하고 있다. Toggenberg 2008, 112. 이희정, Code만으로 충분한가? 행위는 필요하지 않은가? : 인공지능에 대한 규율을 실행하기, 경제규제와법, 제12권 제2호, 2009. Gabriel N. Toggenburg, “Upholding Shared Values in the EU: What Role for the EU Agency for Fundamental Rights?”, Journal of Common Market Studies 54(5), 2016, 1097-1098.
11) 인종평등지침, 개인정보보호법제(GDPR)도 인공지능을 규제하기 위하여 개선된 기존의 법제 유형으 로 볼 수 있다.
5페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 161
검토하며, 제III장에서는 인공지능 리스크의 안전과 책임을 확보하기 위한 구체적인 방안으
로 기존 법제를 통한 접근방안과 리스크 기반 접근방식에 관한 내용을 검토한다. 마지막으
로 제IV장에서는 우리나라에서의 논의현황과 유럽연합 논의의 시사점을 검토하고자 한다.
Ⅱ. 인공지능 리스크의 의의
- 인공지능 리스크의 개념
인공지능 리스크 관리에 관한 논의는 오늘날 과학기술의 발전에 따른 리스크 관리 논의
차원에서 이해될 수 있다. 전통적으로 위험관리 논의는 경찰행정법 또는 질서행정법에서
유래하였으나 현대 행정법에서 환경법 영역, 과학기술행정법 영역 등 새로운 행정영역에서
신기술의 활용의 편익에 따라 나타나는 위험관리에 관한 논의가 이루어지고 있으며, 이러
한 논의는 인공지능 리스크 관리 분야에서도 적용되고 있다. 우선, 경찰행정법 또는 질서행
정법상 리스크는 “사람의 생명 또는 신체에 위해를 끼치거나 재산에 중대한 손해를 끼칠
우려가 있는” 경우 또는 “위해를 입을 우려가 있는” 경우12), “위험한 사태가 발생하여 사
람의 생명신체 또는 재산에 대한 위해가 임박한 때”13), “생명신체에 위해를 끼치거나 재
산에 중대한 손해를 끼칠 우려가 있는 긴급한 경우”14)로 규정하여 위험이 현존하거나 임박
한 경우 국가가 직접 개입하거나 위험방지조치를 취할 의무가 있다는 점을 중심으로 논의
되어 왔다.15) 이 경우 주로 명시적인 법률에 근거하여 국가작용이 이루어지며 법령상 요건
에 해당하는 상황이 발생하였음에도 국가가 일정한 조치를 취하지 않는 경우 국가배상의
대상이 될 수 있다. 하지만 환경법 또는 과학기술법상 위험관리는 당해 위험이 현존하거나
임박하지 않더라도 당해 위험의 발생개연성이 존재하는 경우에 사전배려적으로 국가가 안
전조치를 마련하거나 발생개연성이 있음을 이유로 개입할 수 있으므로 명시적인 법률상 요
12) 당해 행위에 해당하는 경우 위험발생방지조치를 취할수 있음을 규정하고 있다. 경찰관 직무집행법 제5조 제1항 본문 및 제1항 제2호.
13) 당해 행위에 해당하는 경우 위험방지를 위하여 행정청이 타인의 토지, 건물, 배, 차 등에 출입할 수 있음을 규정하고 있다. 경찰관 직무집행법 제7조.
14) 당해 행위에 해당하는 경우 범죄의 예방과 제지를 위하여 행정청이 필요한 경고조치 후 행위를 제 지할 수 있다. 경찰관 직무집행법 제6조.
15) 이재삼조만형, 위험방지 관리 책임을 위한 법적 개선방안 연구, 동북아법연구, 제14권 제1호, 2020, 364-365면.
6페이지
행정법연구 제64호 162
건이 없더라도 사전예방적 의무규정(예컨대 “환경보전에 관한 국민의 권리의무, 환경오염
과 환경훼손 예방”16))만으로 국가가 사전예방적 조치를 취할 수 있게 된다.
일반적으로 리스크 관리 영역에서 리스크는 법익침해 개연성 또는 손해발생 가능성을 기
준으로 설명되므로 위험은 “법익 침해자에게 귀속시킬 수 있는 법익 침해의 충분한 개연성
이 있거나, 어떤 사건이 진행될 경우 공공의 안전성 또는 공공질서에 손해를 가져올 충분
한 개연성이 있는 경우”로 정의되며,17)18) 위험의 정도에 따라 구체적 위험, 추상적 위험,
잠재적 위험19)으로 분류된다. 위험(Gefahr)과 리스크(Risiko)는 3단계 모델에 따를 경우, 손
해발생의 개연성 정도를 기준으로 위험은 “상당히 높은 개연성”인 반면, 리스크는 “비교적
낮은 개연성” 또는 “손해발생의 먼 가능성”로 분류된다.20)21) 한편, 잔여리스크는 개연성이
거의 없는 경우로 분류되는데, 잔여리스크는 불확실한 가능성으로 발생 개연성이 매우 낮
으므로 법적 규율대상이 되지 않아왔다. 즉, 위험방지는 “구체적 위험의 손해야기 가능성”
을 제한함을 의미하며, 리스크 관리(사전배려)는 “추후 발생할 수 있는 구체적 위험의 방
지”를 의미한다. 리스크와 잔존리스크의 관리는 수범자의 수인가능성을 기준으로 평가되는
데 잔존리스크는 수범자가 수인할 수 있는 정도의 리스크로 법제도적 보호대상에 포섭될
수 없는 것으로 이해된다.22) 그러나 법적 효과에 해당하는 손해발생의 개연성은 평가가 객
16) 위 경우에 국가는 사전예방적 리스크 관리조치를 취하여야 한다는 점을 규정하고 있다. 환경정책기 본법 제1조.
17) 이부하, “위험사회에서 국민의 안전보호의무를 지는 보장국가의 역할”, 서울대학교 법학, 제56권 제 1호, 2015, 141면.
18) 위험 평가에 있어서 수범자를 기준으로 할 때 손해발생 가능성 또는 개연성은 중요한 요소로 평가 되며 이러한 손해는 보호이익의 침해 또는 법익의 객관적인 감소를 기준으로 평가하게 된다. 김현 준, “환경행정법에서의 위험과 리스크”, 환경법연구, 제22권, 2008.
19) 위험은 구체적 위험, 추상적 위험, 잠재적 위험으로 분류되며, 구체적 위험은 “객관적 또는 이성적 인 사실상태에 대한 평가에 의해 현재의 상태나 행위에 아무런 방해 없이 계속 지속된다면 가까운 장래에 관련 보호이익에 대한 손해가 발생할 충분한 개연성이 있는 상태”로 정의되는 반면, 추상적 위험은 “일반적 또는 추상적 사실상태가 갖는 위험”으로 정의된다. 양자는 위험을 예측하거나 관찰 하는 방식에 따라 구분되는데, 구체적 위험이 객관적 사실에 기초하여 위험이 인식 가능하며 손해 발생 개연성이 존재하는 경우에 인정되는 반면, 추상적 위험은 일반적 또는 추상적인 관찰만으로도 손해발생의 개연성이 있다는 점을 충분히 인지할 수 있는 경우에 별도의 손해발생 위험에 대한 입 증가능성이 없더라도 인정될 수 있다. 한편, 잠재적 위험이란, 일반적으로 위험하지 않으나 전문가 의 입장에서 특별한 사정이 있는 경우 위험이 발생할 수 있음을 예상할 수 있는 경우를 의미한다. 이부하, “위험사회에서 국민의 안전보호의무를 지는 보장국가의 역할”, 서울대학교 법학, 제56권 제 1호, 2015, 140-142면., 서정범김연태이기춘, 경찰법연구, 2018, 200-230면.
20) 이부하, “위험사회에서 국민의 안전보호의무를 지는 보장국가의 역할”, 서울대학교 법학, 제56권 제 1호, 2015, 142면.
21) 조태제, “환경행정에서 리스크법의 발전”, 환경법연구, 제33권 제2호, 2011, 437면.
22) 경제학에서 리스크(Risk)는 위험과 기회가 동시에 존재하는 상황을 의미한다. 따라서 위해나 위험과
7페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 163
관적이거나 명확하지 않는데 이러한 개연성 개념을 법규범적 한계 설정의 근거로 설정하기
는 쉽지 않다는 비판에 따라 2단계 모델이 논의되었다. 2단계 모델은 위험발생의 개연성과
손해발생의 가능성을 기준으로 잔여리스크를 제외한 위험과 리스크23)만을 규율하게 되며,
위험은 “위험발생 개연성”을 주요 지표로 하되, 리스크는 “발생 확률 또는 가능성”을 중요
지표로 하게 된다.24)25)26)
- 인공지능 리스크의 유형
인공지능 활용에 따른 리스크는 무형적 리스크(기본권 보호 측면)와 유형적 리스크(생
명신체재산 측면)로 분류된다. 우선, 무형적 리스크는 인공지능 설계에서 특정한 결함이
존재하거나 편향되게 사용함으로써 기본권 침해로 나타나는 리스크를 의미한다. 예컨대 인
공지능 설계에서 표현의 자유, 인간의 존엄성, 소비자의 권리인종적성적종교적 자유 등
이 침해되는 행위를 하도록 규정된 경우, 그러한 의사결정 과정에서 어떠한 의식적 작용
(차별, 인간의 존엄성 훼손, 표현의 자유 제한)에 의하여 발전하였고, 어떠한 작용 단계에서
나타난 오류가 당해 기본권 침해의 결과가 되었는지를 밝히는 것이 주된 쟁점이 된다.27)
유형적 리스크는 인공지능 설계 또는 운영상의 결함으로 인간의 생명신체재산 등에 직접
달리 리스크는 관리(manage)할 수 있는 정도의 위험을 의미한다. 최일규, “한국사회에서 과학기술 과 책임-인공지능 위험사회 개념을 중심으로-”, 일감법학, 제41호, 2018, 232-233면.
23) 이부하, “위험사회에서 국민의 안전보호의무를 지는 보장국가의 역할”, 서울대학교 법학, 제56권 제 1호, 2015, 143면. 김현준, “환경행정법에서의 위험과 리스크”, 환경법연구, 2008. 이기춘, “독일 경 찰질서행정법상 위험방지론과 리스크대비론의 현대적 변화에 관한 연구”, 법학논고, 경북대학교 법 학연구원, 2018, 49-51면.
24) BVerwG DÖV 2003, S. 81 (82). BVerwG 45, 51 (57). 이부하, “위험사회에서 국민의 안전보호의 무를 지는 보장국가의 역할”, 서울대학교 법학, 제56권 제1호, 2015, 143면.
25) 위험은 구체적인 손해발생의 개연성을 전제하므로 대체로 법적 요건(예컨대 경찰관직무집행법상 경 찰권 개입 요건)이 있는 경우, 재량적 국가개입의 요건을 충족한 것으로 이해된다. 한편, 리스크는 손해발생의 개연성이 문제되지 않으며, 현재의 과학기술 수준으로 손해발생 개연성이 존재하지 않 더라도 이를 예측할 수 있는 경우 국가개입 가능성이 인정되며 대표적으로 환경, 원자력, 화학물관 리, 유전물질관리 등 여러 과학기술행정 영역에서 리스크 논의가 이루어지고 있다.
26) 리스크 영역에 대한 국가개입은 국가가 스스로 모든 공적 책임을 부담할 수도 없고, 부담해서도 안 된다는 인식에 따라 보장국가 논의가 나타난다. 보장국가 논의에 따르면 위험이 손해발생의 원인에 해당하는 경우, 국가가 이행책임을 부담하는 반면, 리스크가 손해발생의 원인인 경우 민간 또는 민 간과 국가가 협력하여 이행책임을 부담하되, 위험과 리스크 모든 경우 국가는 이행에 대한 보장책 임을 부담하게 된다. 이부하, “위험사회에서 국민의 안전보호의무를 지는 보장국가의 역할”, 서울대 학교 법학, 제56권 제1호, 2015, 150-157면.
27) European Commission. “White Paper on Artificial Intelligence - A European Approach to Excellence and Trust”, 2020.
8페이지
행정법연구 제64호 164
적인 피해가 나타나게 된다. 예컨대 로봇 수술 또는 자율주행 자동차의 주행 과정에서 인
공지능이 사물이나 데이터를 잘못 인식하거나 잘못 해석하여 다른 결과를 도출하는 경우에
는 회복할 수 없는 피해가 나타날 수 있다. 특히 유형적 리스크의 경우 인공지능 결정의
자동성, 데이터 의존성, 인공지능 결정단계의 불명확성과 복잡성으로 더욱 중요한 리스크로
나타날 수 있다.28)
유형적 리스크는 리스크의 활용 단계별로 분석할 경우, 기술활용 자체에 본질적으로 (손
해발생가능성의 차이는 있더라도) 리스크가 내재되어 있다는 점, 리스크 인식이 쉽지 않다
는 점, 손해 발생 시 광범위하게 나타날 수 있다는 점에서 일반적인 과학기술 위험과 유사
한 특성을 보인다.29) 우선, 인공지능은 인간의 의식적 작용이 일정 부분 생략되므로 그 발
생가능성이 낮거나 실체가 보이지 않는 잠재적 리스크라 할지라도 본질적으로 리스크는 잠
재되어 있다고 볼 수 있다.30) 예컨대 인공지능을 활용한 로봇수술이 이루어질 경우, 데이
터 왜곡 또는 오류, 기계적 결함가능성이 존재하며, 인간이 직접 이행하는 수술이나 진단과
같은 의식적 작용이 개입되지 않으므로 의사결정의 왜곡 가능성은 다른 제조물이나 서비스
보다 높은 가능성으로 기술활용의 본질에 내재하고 있는 것으로 볼 수 있다. 다음으로 인
공지능 리스크는 리스크가 생성되거나 구체적으로 나타나기 시작한 이후에 실제 이용자에
게 인식되기 위해서 일정한 시간적 격차가 발생할 수 있다. 예컨대 인공지능을 활용한 자
율주행 자동차에 의존하여 도로주행을 지속한 경우, 오류가 발생한다 할지라도 사고가 발
생하기 이전에 인간이 기계적 결함을 즉시 인식하기 쉽지 않다. 마지막으로 인공지능이 기
술이 사용되는 경우 광범위한 기술지배 현상이 나타나며 리스크가 한번 발생하는 경우 회
복하기 어려운 손해가 광범위하게 나타날 수 있다. 예컨대 인공지능을 적용한 의료기기가
환자에게 활용될 때, 프로그램의 설계 등에 하자가 발생하는 경우, 적은 수의 환자에게 발
생하는 단수의 피해가 아닌 광범위하고 회복하기 어려운 피해로 나타날 수 있다.31)
28) European Commission. “White Paper on Artificial Intelligence - A European Approach to Excellence and Trust”, 2020, 14-16.
29) 정남철, “현대국가의 규율구조와 규제된 자율규제: 특히 규제거버넌스의 구축과 실현방안을 중심으 로”, 공법연구 제46집 제4호, 2018, 409-437면. 계인국, “빅데이터 시대 전자정부에서의 개인정보보 호 -개인정보보호 원칙의 변화와 도전-”, 2015. 김재선, 과학기술 위험관리에서의 행정법적 쟁점에 관한 소고-미국 행정법상 논의를 중심으로-, 공법연구, 제44권 제3호, 2017, 214-215면.
30) 울리히 벡(Ulrich Beck)은 위험은 “근대화가 발생시키고 도입한 위해와 불안을 체계적으로 정의하 는 방식”으로 정의하면서, 그와 같은 위해와 위험은 과학기술의 발전이 이를 수반하면서 발전할 수 밖에 없다고 설명하면서, 이러한 위험은 현대사회의 위험관리정책(사고에 대한 보험, 예방적 조치 등)에 의하여 설명될 수 없다고 주장하고 있다. Ulrich Beck, 위험사회: 새로운 근대(성)를 향하여, 2007. Peter Rushton, “Risk, Identities and Recognition: A History of Dangerous Categories and Categories of Danger”, 2013, at 21-33.
9페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 165
- 인공지능 리스크의 특수성
인공지능 리스크는 연결성, 자동성, 데이터 의존성, 인공지능 결정단계의 불명확성과 복
잡성을 갖고 있다.32) 첫째, 인공지능은 연결성(connectivity)과 관련된다. 예컨대 어린이 스
마트시계에서 긴급 알람 시스템은 위치추적으로 어린이의 안전확보를 목적으로 하고 있으
나, 이러한 정보가 해킹되거나 외부로 유출될 경우 치명적인 위험이 될 수 있다. 또한, 자
율주행 자동차의 경우, 자동차 전파가 제3자에게 해킹되거나 악의적인 목적으로 사용될 경
우 자동차 사고로 이어질 수 있다. 연결성이 결여된 경우에도 문제가 될 수 있는데, 예컨
대 화재경보체계에서 연결성이 단절된다면 화재나 범죄로부터 인간을 보호할 수 없게 된
다. 둘째, 인공지능은 자동성(autonomy)과 관련된다. 인공지능 결정이 리스크 평가라는 의
사결정(안전정보 제공, 사전경고)을 통하여 이루어지는데, 인공지능이 사전에 리스크를 인
지하지 못한 경우 이에 대한 대응이 이루어지지 못한 경우가 문제된다. 또한, 스스로 학습
하는 방식은 인공지능의 행동을 통제하기 어려우므로 인간의 신체 또는 정신의 안전에 미
치는 영향을 예상하기 어려운 경우가 발생할 수 있다. 예컨대 돌봄로봇 등 노약자를 돌보
기 위한 인공지능이 활용된 제조물은 자동결정을 통해 최적화된 서비스를 제공하지만 경우
에 따라 인간에게 과도한 스트레스, 장기간의 불편, 정신건강에 불편을 초래할 수 있게 된
다. 셋째, 인공지능은 데이터 의존성(data-dependency)을 갖는다. 예컨대 과일 수확을 위한
농업용 로봇이 썩은 과일 발견을 목적으로 제작된 경우, 썩은 과일에 관한 데이터가 잘못
입력된 경우 판매가능한 과일에 대한 일정한 조치를 취할 수 있는 등 잘못된 선택을 하게
된다. 넷째, 인공지능은 모호성(opacity)과 관련된다. 가치연결고리(value chain)를 통한 의사
결정이 이루어지므로 손해발생의 원인을 규명하기 어려워진다. 예컨대 자율주행자동차의
사고 책임에서 특정한 결과에 대하여 여러 측면에서의 원인(제조사-설계자-프로그램 관리자
-이용자-국가(시스템 관리 등))이 결합하여 나타날 수 있다. 다섯째, 인공지능은 복잡성
(complexity)과 관련된다. 의료기기 또는 주행장치(기차, 자동차, 항공기 등) 등 복잡한 의
사결정과정으로 이루어진 인공지능의 경우 의사결정구조에서 예측가능한 사용범위를 넘어
서는 의사결정을 하는 경우 인간이 이를 의식적으로 통제하기 어려워진다. 예컨대 인공지
능의 복잡성은 주로 소프트웨어의 결함에서 나타나는데 소프트웨어가 업데이트되는 등 변
화가 이루어질 때 이를 발견하기 어려워진다.33)
31) 한국산업기술원, “의료로봇의 규제: 위험 요소를 최소화하면서 기회를 극대화하기”, 2016, 10-12면.
32) COM(2020), 64 final. Report on the Safety and liability implications of Artificial Intelligence, the Internet of Things and robotics, 5면.
10페이지
행정법연구 제64호 166
Ⅲ. 인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토
- 기존 법제를 활용한 인공지능 안전과 책임 논의
1) 논의의 전개
유럽연합의 인공지능 안전과 책임에 관한 논의는 크게 제조물 안전에 관한 일반적인 책
임법제를 인공지능 법제에도 적용할 수 있을지가 주로 문제되는데 이는 인공지능의 고도화
정도에 따라 달리 판단될 수 있다. 우선, 인공지능의 자율성이 낮아 손해발생 등에 인간의
의식적 작용이 상당히 개입되는 경우, 기존의 법제에 따르면 원칙적으로 인공지능 소프트
웨어가 설치된 제조물은 그 자체로 기존 법제에서의 제조물로 보고 당해 제조물의 사실상
지배자인 사용자가 민사상의 책임을 부담하는 것으로 보아 사용자의 과실유무 등이 검토된
다. 하지만 인공지능의 자율성이 고도로 발달하여 인공지능이 소유자 또는 점유자인 사인
이 통제하기 어려운 상태에서 손해가 발생한다면, 동물책임법리에서 활용하는 엄격책임 법
리를 적용할 수 있다.
유럽연합 인공지능 백서에서는 인공지능의 활용으로 나타나는 유형적 또는 무형적 리스
크에 대하여 현재의 제조물 책임 법리(일반 제조물 안전 지침 등)로 해결하기 어려운데 그
이유는 인공지능 기술의 불투명성, 소프트웨어와 제조사의 분리의 한계, 소프트웨어의 손쉬
운 변경가능성, 책임주체의 불명확성에 있다고 설명한다. 첫째, 인공지능 기술의 불투명성
(opaqueness)으로 기존 법규의 안전과 책임법리(책임 부담, 손해배상 등)를 적용하기 어렵
다는 점을 지적한다. 인공지능 지침에서는 이를 블랙박스 효과로 분류하면서 의사결정 구
조에 대한 불명확성으로 손해배상 책임주체, 입증책임 범위 등을 명시하기가 어렵게 된다.
둘째, 제조물 안전과 책임에 관한 현행의 법체계에서는 인공지능과 같은 순수한 소프트웨
어 또는 인공지능 기반 서비스에 관하여는 별도의 규정이 없다. 제조물책임에 관한 일반법
규 외에 의료기기에 관한 법규, 자율주행자동차에 관한 법규 등 개별 법규를 적용하여 위
험과 책임 범위를 규정할 수 있지만 개별 법규 내에서 이루어지는 규율체계는 한계가 있다
는 점이 지적된다. 셋째, 규제체계에서는 출시 당시 제품의 안전성과 책임성에 초점을 맞추
는 반면, 인공지능을 활용한 제품은 시스템과 내용을 손쉽게 변경할 수 있으므로, 일반 제
조물책임에 관한 법리를 적용하기가 쉽지 않다. 넷째, 인공지능 상품의 공급체계가 복잡하
게 구성되어, 책임주체를 밝히기가 쉽지 않다. 예컨대 상품이 출시된 이후 새로운 제3의
33) COM(2020), 64 final. Report on the Safety and liability implications of Artificial Intelligence, the Internet of Things and robotics.
11페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 167
공급주체가 인공지능 서비스를 업데이트 하는 경우, 책임주체가 누가 되어야 하는지 밝히
기가 쉽지 않다. 다섯째, 기존의 법체계에 규율되지 않은 새로운 리스크가 지속적으로 나타
나고 있다. 예컨대 보안서비스와 같이 지속적 연결성이 끊어질 때의 문제점, 인공지능 활용
으로 인간의 정신건강에 미치는 영향 등이 고려되지 않았다는 점이 지적된다.
2) 기존 법제를 활용한 인공지능 안전과 책임 논의
유럽집행위원회의 ‘인간 중심의 인공지능을 통한 신뢰형성’에서는 “인공지능은 안전과
설계보안을 결합하여 모든 단계에서 물질적심리적 안전성을 보장하여야 한다.”라고 정의
하고 있다.34) 유럽연합의 제조물 안전관련 체계는 일반적으로 필수 안전기준과 합법성/안
전성 평가절차로 구분되며, 이 중 필수적 안전기준을 충족한 경우, 리스크 평가절차를 거치
게 된다. 제조물에 관한 일반안전지침으로는 제조물안전기본지침(“General Product Safety
Directive”)이 있으며, 개별 안전관련 입법으로는 기술지침, 무선설비지침, 의료기기지침, 장
난감 안전지침, 측정기기지침, 차량승인법규등이 적용된다.
[유럽연합의 제조물 안전관련 체계]35)
34) COM(2020), 64 final. Report on the Safety and liability implications of Artificial Intelligence, the Internet of Things and robotics.
35) COM(2020), 64 final. Report on the Safety and liability implications of Artificial Intelligence, the Internet of Things and robotics. 5면.
12페이지
행정법연구 제64호 168
우선, 유럽연합 조약(제94조 및 제251조)과 유럽 제조물에 대한 일반지침(General
Product Safety Directive)에 따르면 유럽연합 내 제조업자는 높은 수준의 소비자 보호 및
이용자 건강과 안전 보장 방안을 마련하여야 하므로, 입법자는 제조물 안전확보를 위한 제
조업자 및 유통업자의 의무를 규정하여야 하며, 각국 정부가 소비자 안전보장 및 신속한
정보교류가 필요한 경우 이를 집행할 수 있도록 규정하여야 한다.36) 특히 입법자는 제품의
안전성 보호를 위한 일반원칙 제정에 있어서 조약 제95조에서 정의하고 있는 “높은 수준의
소비자의 안전과 건강보호” 규정을 준수하되,37) 특히 어린이와 노약자 등 특별한 위험에
노출될 수 있는 소비자 보호조치를 포함하여야 한다.38) 제조물 관련 조약에 따르면, 유럽
연합은 일반안전규정의 효과성과 일관성을 촉진하기 위하여 유럽인들의 자발적 기준
(European voluntary standards)을 마련하여야 하며(조약 제14조), 규제기관의 감독의무(조약
제18조), 리스크의 존재평가 및 예방관련 정보보상방안 및 가능성에 대한 소비자 고지
의무(조약 제19조), 제조물 감시기관 설립 및 권한 부여(조약 제22조), 회원국간 네트워크
체계(리스크 평가제품테스트전문지식 교류공동감시체계제품회수) 마련(조약 제25조),
제품회수(리콜) 체계 마련(조약 제26조), 리스크 기준을 정의한 가이드라인의 제정(조약 제
28조), 심각한 안전상 문제 발생 시 유럽위원회의 신속한 개입(조약 제31조), 제품리콜 시
적절한 보상 또는 구제수단 마련(조약 제37조)을 규정하고 있다.
조약에 근거하여 인공지능 규율방안에 관한 논의를 거쳐 유럽집행위원회는 2020년 인공
지능 백서와 2020년 “인공지능사물인터넷 및 로봇공학의 기술과 안전과 책임”에 관한 보
고서39)를 발간하였다. 안전과 책임에 관한 보고서에 따르면 인공지능에 관한 안전과 책임
입법체계에 관한 입법체계(“Union Product safety legislation or framework”)는 제조물안전
확보를 위하여 관련된 모든 리스크를 고려하여야 한다고 설명하면서, 특히 기존의 법체계에
서 일반 제조물책임지침(General Product Safety Directive)40)을 인공지능 제조물 체계에 관
한 일반법으로 소개하고 구체적인 내용은 개별 영역의 법제를 따르도록 규정하고 있다.41)
36) 유럽연합 조약(Treaty establishing the European Community) 제251조.
37) 유럽연합 조약(Treaty establishing the European Community) 제5조.
38) 유럽연합 조약(Treaty establishing the European Community) 제6조, 제8조.
39) COM(2020), 64 final. Report on the Safety and liability implications of Artificial Intelligence, the Internet of Things and robotics.
40) Directive 85/374/EEC.
41) 유럽연합의 제조물안전지침(2001/95/EC)에 따르면, 제조물의 일반안전요건에 대한 적합성은 회원국 의 법규, 기준, 제품안전평가위원회 권고, 산업안전기준, 최신기술기준, 소비자의 기대가능성 등을 기준으로 평가되며, 제조사 및 유통사는 소비자에게 안전에 대한 정보를 제공하며, 유통사는 유통 과정에서 발견한 리스크에 관한 정보(원산지, 위험회피를 위한 조치)를 제공하여야 한다. 특히 리스
13페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 169
인공지능과 관련된 책임은 사전예방적 법체계로 리스크 관리 체계와 위험이 나타나는 경
우의 손해배상 법체계로 구분된다. 우선, 사전예방적 리스크 관리는 국가(또는 관리자) 차
원의 예방적 조치와 관련되므로 제조사 또는 국가(등록허가자)는 소프트웨어의 리스크 발
생 가능성을 인지하는 경우 사전고지를 의무화하는 방안, 리스크에 대한 사전예방적 보상
체계(예컨대 책임보험제도)를 마련하는 방안, 국가간지역간제조사간소비자간 리스크 관
리체계의 격차를 줄이기 위한 공통 가이드라인 마련 방안 등이 제안된다. 다음으로, 사후
책임관계를 밝힘에 있어서 현행의 법체계에서 책임원리를 구성할 경우, 우선, 손해발생의
원인(제품, 서비스)을 확인하고 책임자(소유자, 운전자, 서비스 제공자)를 명확히 하여야 하
며, 다음으로 인공지능이 손해발생을 피할 수 있었음에도 불구하고 사고가 발생한 경우, 손
해발생의 범위를 확정하고 손해배상 대상 및 범위를 확정하는 일반적인 민사책임법리가 적
용된다. 제조물책임지침에 따르면 제품의 하자로 발생한 손해에 대하여는 엄격책임원칙, 이
용자 과실에 의한 손해는 피해자가 손해를 입증하고 과실과 손해 사이의 인과관계를 입증
하는 경우 배상책임이 인정된다. 다만, 인공지능 서비스의 경우 제조사에 소프트웨어 설계
자, 제조물 제조사, 서비스 이용자, 인공지능 제조물의 허가권자(감독기관) 등이 모두 동시
에 인공지능의 행위에 관여하였다는 점에서 오작동 등 위험상황이 발생한 경우 당해 불법
행위에 대한 실질적인 행위자를 밝히기 어렵다는 점이 문제된다. 즉, 불법행위 책임 원리를
적용할 경우, 인공지능을 활용한 사용자는 아무런 행위를 하지 않는 상태에서 인공지능이
일련의 “작용”(데이터 수집, 알고리즘을 통한 해석추론정보처리, 판단에 따른 실행행위)
을 하는 경우, 책임 인정의 전제요건인 행위성(行爲性)이 인정되지 않게 된다. 인공지능 설
계자 또는 제조사의 항변을 널리 인정할 경우, 제조물 책임이 인정되지 않을 수 있으며,42)
공작물책임 법리에 따를 경우 역시 공작물 책임에 대한 입증책임은 피해자에게 있으므로
소비자 입장에서는 이를 더욱 입증하기 어렵다는 한계가 나타나게 된다. 예컨대 자율주행
자동차의 사고책임의 경우, 자율주행 시스템 설계자-차량 제조사-차량 소유자-차량 소유자
와 교신하는 정보통신기술(스마트 하이웨이, 네비게이션 등) 책임자 등이 관여하지만 설계
자에게 전적인 책임을 부담시킬 수 없다는 점이 문제된다. 특히 인공지능의 학습 및 자동
결정능력이 급속하게 증가함에 따라 불법행위 발생 원인 규명이 어려워진다는 점(프로그램
오류인지, 사용과정에서의 오류인지 판단이 어려워짐) 등으로 인하여 일반적인 책임원칙을
적용하기 쉽지 않으며,43) 이에 따라 과실판단을 사후에 산정하기 보다 사전에 과실산정에
크 평가 및 대처에 관한 협력필요성을 규정하고 있다.
42) 이와 관련하여 기능이상의 법리를 적용하여 입증책임을 완화하여 책임법리를 확대하려는 논의도 있 다. 오병철, “인공지능 로봇에 인한 손해의 불법행위책임”, 법학연구, 제27권 제4호, 2017.
14페이지
행정법연구 제64호 170
관한 분쟁 가이드라인을 마련하는 방안 등이 논의된다.
- 리스크 기반 인공지능 안전과 책임 논의
1) 논의의 전개
유럽 집행위원회에 따르면, 인공지능 리스크를 다루기 위해서는 기존의 규율체계가 아닌
새로운 접근방식으로 리스크에 기반한 접근방식(risk-based approach)이 제안된다. 예컨대
인공지능으로 나타나는 리스크를 개별 분야의 기술적 특성, 인공지능의 활용 목적, 인공지
능 활용이 개인에게 미치는 영향 등을 기준으로 분류하여 각 분야의 전문적 특수성에 부합
하는 설계 가이드라인 등을 제안하는 방안으로 대표적으로 로봇공학, 자율주행, 의료기기,
에너지, 일반 공공서비스(이민법제 분야, 사회보장제도 분야 등) 등이 포함된다. 동 방식은
2018년 인공지능 고위전문가그룹에서 제안된 후, 2019년 유럽 집행위원회에서 논의된 후
인공지능 윤리 가이드라인(Ethics Guidelines for Trustworthy Artificial Intelligence)을 통하
여 구체적으로 제안되었다.
2) 리스크 기반 인공지능 안전과 책임 논의
리스크가 높은 인공지능(예컨대 기본권과 관련된 기술)에 대해서는 규제를 강화하되, 리
스크가 낮은 인공지능 기술의 경우 규제를 완화하여 인공지능 기술개발을 촉진하기 위한
방안으로 제안되었다. 동 방식에 따르면 우선, 인공지능이 활용되는 경우 기술개발 이전에
사전 적합성 평가(prior conformity assessment)가 이루어져야 한다. 사전 적합성 평가는 인
공지능 활용 이전에 리스크를 사전적으로 평가하는 방식으로 리스크가 높은 영역(high-risk
AI application)을 해당 인공지능의 기술적 특수성, 활용 목적, 개인에게 미치는 영향 등을
기준으로 사전에 범주화하고 해당 영역에 대해서는 새로운 리스크 관리 기준을 적용하도록
하는 방안이다.44) 리스크가 높은 분야에 해당하는 경우 인공지능 리스크에 대한 검증이 이
루어져야 하며, 책임에 관한 규제도 적용된다.45)
구체적으로 리스크가 높은 분야에 대하여는 사전에 다음과 같은 안전성 확보를 위한 조
치가 이루어져야 한다. 첫째, 데이터 세트는 충분한 안전성 보장, 관련된 위험발생 가능성
43) 김성호, “인공지능과 불법행위책임”, 입법과 정책, 국회입법조사처, 제11권 제1호, 2019, 267-268면.
44) 예컨대 인사채용 과정에서 인공지능을 활용하는 경우 인공지능을 활용한 원격생체인식 등은 기본권 침해 가능성이 있으므로 리스크가 높은 영역으로 분류될 수 있다.
45) 인공지능 백서에 따르면 리스크가 높은 영역으로 분류된 경우 일정한 기준(데이터의 안전성 보장, 데 이터 기록 및 보관, 정보공개, 오류발생 예방 및 회복장치, 인간에 의한 감독기준)이 충족되어야 한다.
15페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 171
의 반영, 비차별성 보장을 위한 대표성 부여, 프라이버시와 개인 데이터 보호 등의 안전장
치가 이루어져야 한다. 둘째, 인공지능의 복잡성과 불투명성의 문제를 해결하기 위하여 인
공지능 학습에 필요한 데이터 기록, 데이터 세트, 알고리즘 프로그래밍에 관한 내용들이 기
록 및 보관되어야 한다. 셋째, 인공지능 시스템의 활용 원리(시스템 목적-조건-정확도 등)에
관한 정보공개, 이용자가 이를 쉽게 이용할 수 있도록 보장하여야 한다. 넷째, 인공지능의
오류발생 가능성을 예방하고 안전한 체계로 이용되어야 한다. 즉, 인공지능 시스템은 견고
하고 정밀해야 하며, 시스템 처리결과는 재현가능하여야 하며, 오류 또는 비일관성이 통제
되어야 하며, 외부공격 등 별도의 개입이 있는 경우 회복탄력성이 있어야 한다. 다섯째, 인
공지능 이용체계는 인공지능이 아닌 인간에 의한 감독체계가 마련되어야 한다.46)
3) 신뢰가능한 인공지능 법체계 논의
리스크 기반 법제 접근방법으로 인공지능 설계 단계에서 신뢰가능한 인공지능을 제정하
기 위한 절차와 방법이 제안된다. 신뢰가능한 인공지능 법체계는 2020년 유럽연합 전문가
그룹에서 제안된 방식으로 “모든 영역에서 합법적이고 윤리적이고 강건한 인공지능”을 목
표로 하며 실천단계로 윤리원칙 마련 단계(4대 윤리원칙), 현실화 단계(7대 핵심원칙), 평가
단계로 제안된다.47) 우선, 인공지능 설계의 기본원칙으로 인간의 기본권 보호를 위한 윤리
원칙을 설명하고 있는데, 인간의 자율성(human autonomy) 존중, 위해 예방(prevention of
harm), 공정성 확보(fairness), 알고리즘에 대한 명확성(explicability)을 규율하고 있다. 인간
의 자율성 존중은 인공지능은 인간의 행위를 대리하는 체계로 볼 수 있으므로 인공지능을
활용하더라도 사용자인 인간의 의사결정의 자유가 보장되어야 함을 의미하며, 위해 예방은
인공지능이 취약계층 등 인간에게 유해하게 활용될 수 없음을 의미하며, 공정성은 인공지
능이 특정 집단 또는 개인이 아닌 누구나 접근 가능한 형태로 구현되어야 함을 의미하며,
명확성은 인공지능은 그 적용원칙과 원리를 설명할 수 있어야 하며, 이를 위하여 기술적
또는 산업적인 안정성이 요구됨을 의미한다.
46) 인공지능 의무 부담 수범자에 관하여 리스크를 가장 잘 다룰 수 있는 자에게 적절히 배분한다고 제안하고 있다. 즉, 제조물 개발 단계에서의 리스크는 개발자에게, 이용 단계의 리스크는 제품 또는 서비스의 배분자에게, 인공지능 시스템 설계상의 리스크는 이용되는 제조물이나 서비스에 관여하는 당사자들간에 책임이 분배된다. 인공지능 활용 이전에 사전 적합성 평가(prior conformity assessment)를 제안하고 있다. 사전 적합성 평가는 (특히 고위험군 인공지능의 경우) 인공지능 활용 이전에 테스팅-조사-인증으로 이루어지는 일종의 인증절차를 마련하여 인공지능 활용의 리스크를 사전에 방지하려는 조치가 필요하다는 관점이다.
47) 유럽위원회, “Ethics guidelines for trustworthy AI”, available at https://ec.europa.eu/digital-single-m arket/en/news/ethics-guidelines-trustworthy-ai. (검색일: 2020.9.9.)
16페이지
행정법연구 제64호 172
신뢰가능한 인공지능을 구체화하기 위한 7대 원칙으로 인간존엄과 감독(기본권 보장), 기
술적 견고함과 안전성 확보, 개인정보 보호 및 데이터 거버넌스 확보, 투명성, 다양성비차
별성공정성, 사회복지환경복지, 책임성을 제안한다. 대표적으로 인간존엄과 감독 원칙은
기본권을 보장하되 자율성을 저해하지 않는 평등사회 구현을 목표로 하며, 데이터 거버넌
스 측면에서는 데이터를 이용한 차별을 금지하고 개인정보 이용에 관하여는 유럽연합 데이
터보호법제의 적용을 받게 되며, 문제발생에 대처하기 위하여 데이터 기록 관리체계를 마
련하여야 하며 이 경우 데이터 세트를 암호화 대상, 저장 대상, 기록방식 등을 구체화하여
야 한다. 사회복지와 환경복지 측면에서는 지속가능한 성장이 가능하도록 데이터가 활용되
어야 하며, 책임 영역에서는 책임성을 보장하기 위한 법적 체계를 마련되어야 한다.
마지막으로 신뢰할 수 있는 인공지능 평가를 위하여 인공지능 요구사항과 솔루션에 대한
평가기준 마련, 인공지능에 대한 성과 개선과 이해관계인 참여 등이 제안되었다.
[신뢰가능한 인공지능을 위한 법적 체계]48)
48) “Ethics Guidelines for Trustworthy Artificial Intelligence”, Independent High-Level Expert Group on Artificial Intelligence, 2020, 8면.
17페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 173
- 개별 사례로 로봇공학 영역에서 안전과 책임 논의
1) 인공지능 로봇의 정의
로봇공학의 규율대상으로 지능형 로봇과 자율형 로봇으로 구분되며, 유럽연합 결의안은
두 개념을 분리하여 설명하고 있다. 우선, 자율형(intelligent) 로봇에서 자율은 “외부통제
또는 외부영향을 받지 않고 독자적으로 의사결정을 할 수 있는 능력”으로 정의되며, 로봇
의 자율성은 “순수한 기술적 정의”로서 로봇이 주변 환경과 상호작용을 하는 정도에 따라
평가된다고 설명한다.49)50) 한편, 지능형(smart) 로봇은 (i) 센서를 통하여 확보한 자율성으
로 데이터를 교환하며 이를 분석하며, (ii) 경험과 상호작용을 통한 학습능력을 갖추고, (iii)
로봇이라는 신체적(또는 물리적) 형체를 갖추고, (iv) 환경에 적절하게 행동을 조절하는 능
력을 갖춘 로봇으로 정의된다. 유럽연합 결의안은 두 개념을 분리하면서 이 중 자율형
(intelligent) 로봇이라는 표현을 채택하고 있는데 이는 로봇 자체의 지능판단 능력 보다는
외부영향 없이 독자적으로 판단할 수 있는지를 기준으로 규율대상을 판단한 것으로, 인간
의 개입없는 독자적인 인공지능의 행위를 주된 논의의 대상으로 규율하고 있는 것으로 이
해된다.51)
2) 인공지능 로봇에 대한 유럽연합 논의의 전개
유럽연합은 로봇 영역에서 2010년 민간을 중심으로 한 설계지침에 해당하는 “로봇 엔지
니어를 위한 윤리적 행동지침(A Code of Ethical Conduct for Robotics Engineers)”52)이 작
성되었다. 당해 지침은 로봇설계자들이 지켜야 하는 윤리를 설계자들이 직접 작성한 것으
로 로봇 설계에 있어서 안전성, 윤리성, 효과성을 확보하여야 하며, 이를 위해서 (i) 로봇
설계자가 로봇의 모든 행동에서 책임이 있다는 점을 인식하고 (ii) 인간의 물리적 안전 뿐
만 아니라 인간의 권리를 고려하여야 하며, (iii) (고의든 아니든) 로봇설계에 대한 허위정
보가 유포되면 최선을 다해 고쳐야 하며, (iv) 법규(조례국내법국제법)를 준수하여야 하
49) European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)).
50) ISO 8373 기술표준에 따르면 자율형(intelligent) 로봇은 “환경 변화를 감지하고 외부와의 상호작용 을 통하여 행동을 조정할 수 있는 로봇”으로 정의된다. 김자회주성구장신, “지능형 자율로봇에 대한 전자적 인격 부여-EU 결의안을 중심으로-”, 법조협회, 제66집 제4권, 2017, 133면.
51) 김자회주성구장신, “지능형 자율로봇에 대한 전자적 인격 부여-EU 결의안을 중심으로-”, 법조협 회, 제66집 제4권, 2017, 125-134면.
52) IEEE, “A Code of Ethics for Robotics Engineers”, 2010.
18페이지
행정법연구 제64호 174
며, (v) 이해관계를 공개하고, (vi) 건설적 비판을 수용하고, (vii) 전문가 모두가 설계지침을
준수하도록 독려하여야 한다는 점을 7대 원칙으로 규정하였다. 이러한 설계자들의 지침과
함께 유럽의회는 “연구윤리위원회 지침(Code for Research Ethics Committee)”에서 독립성,
능력, 투명성과 신뢰성을 강조하며, 위원회 구성 및 감독체계 마련에서의 독립성과 전문성
을 강조하였다.
한편, 유럽연합은 2014년 인공지능에 관하여 추진된 여러 연구결과 중 로보로 프로젝트
(RoboLaw)의 결과물로 제출된 로봇 규제에 관한 가이드라인(Guidelines on Regulating
Robotics)53)을 채택하였다. 본 가이드라인은 유럽의 현행법제로 로봇 영역을 규율할 수 있
을지 아니면 새로운 법제도가 필요한지에 관한 문제를 제시하고, 문제를 해결하기 위한 과
정에서 로봇의 포괄개념으로 본질, 자율성, 운영환경 등을 고찰하고, 이 중 “자율주행 자동
차, 수술로봇 로봇 인공기관, 돌봄 로봇”에 대하여 분석하였다. 당해 보고서에서는 원칙적
으로 로봇에 대하여 기존의 법령과 달리 규제할 필요가 있는 것은 아니며, 윤리강령 도입
의 중요성, 로봇의 사회적 효용을 고려한 기술허용과 자원의 효율적 배분, 기술에 대한 민
주적이고 공개적인 논의 필요성 등을 제안하였다.
한편, 유럽연합은 2016년 유럽의회 법사위원 위원인 Mary Delvaux가 작성한 초안보고서
를 작성한 이후, 2017년 인공지능 로봇에 관한 현안을 해결하기 위한 결의안을 작성하였
다. 2016년 제출된 초안 보고서에서는 최근 10년간 로봇 공학의 발전 성과, 아시모프의 로
봇 3원칙을 규정한 후, 지능형 로봇의 개념 정의, 로봇 윤리 강령, 로봇연구기관의 투명성
과 책임성 확보, 설계면허 등을 제안하였다.54) 보고서는 로봇의 필요성과 활용 가능성을
전제하되, 인공지능이 사회적 불안감을 유발하는 존재가 될 수 있다는 점을 지적하면서 로
봇이 오작동을 일으킬 경우 즉시 스위치를 끌 수 있는 킬 스위치(Kill Switch)를 제안하면
서 인공지능 로봇에 관한 사회적 논의를 제안하는 계기가 되었다.
이후, 유럽연합 의회는 인공지능 로봇의 규제 필요성을 논의하였다. 대표적으로 인공지능
로봇을 노동시장에 고용할 수 있게 허용하면서 안전성과 책임 확보 차원에서 로봇세 도입
을 논의하였으며, 인공지능의 책임 차원에서 인공지능에 전자적 인간의 지위를 부여하는
방안이 논의되었다. 이후 2017년 인공지능에 관한 전자적 인격권은 부여하되 로봇세 논의
는 제외한 “로봇에 관한 민사법적 규율에 관한 유럽의회의 결의 권고안”(“European
53) Final Report Summary - ROBOLAW (Regulating Emerging Robotic Technologies in Europe: Robotics facing Law and Ethics), 2014.
54) Mady Delvaux, “Draft Report with recommendations to the Commission on Civil Law Rules on Robitics(2015/2103(INL)”, Committee on Legal Affairs, 2016.
19페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 175
Parliament Resolution with recommendations to the Commission on Civil Law Rules on
Robotics”)을 채택, 인공지능과 로봇의 민사책임에 대하여 법률을 제정할 것을 권고하였
다.55)
본 권고안은 일반원칙으로 아시모의 원칙 준수, 책임투명성 관련 규칙의 준수, 보편적
인간존엄 가치의 준수를 정의하고 있으며 책임, AI개발과 민사법적 활용, 연구개발, 윤리원
칙, 유럽위원회의, 지적재산권과 데이터의 흐름, 표준화안전보안, 책임강화방안을 논의하
고 있다. 특히 권고안에서는 일반적인 제조물 결함에 대해서는 제조물 지침을 적용하되, 책
임을 강화하기 위한 가이드라인 제정의 필요성을 논의하였으며, 로봇 사용 윤리원칙의 제
도화, 데이터의 투명성 강화를 위한 블랙박스 장착 의무화, 특수임무 로봇에 대한 기밀정보
관리방안 마련, 로봇공학 표준위원회의 설립, 의무보험제도의 도입, 보상펀드 마련, 로봇에
대한 전자인격 부여 등을 제안하였다.
3) 기존 법제를 활용한 안전과 책임 논의
로봇의 활용이 증가함에 따라 로봇에 대한 안전과 책임 확보를 위하여 기존 법제인 제
조물안전기본지침과 산업용 로봇을 규율하기 위하여 제정된 기계지침(Directive
2006/42/EC)56)이 기본법제로 적용되며, 안전확보를 위하여 인공지능 안전표준의 제정57),
책임부여 방안에 관하여 현행 법체계 중 공작물책임 또는 동물책임을 유추 적용하여 엄격
책임 원칙을 채택하는 방안, 로봇에 대한 전자적 인격권을 부여하여 책임능력을 인정하는
방안, 의무보험 또는 보상기금제도를 도입하는 방안 등이 제안되고 있다.58)59)
55) European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)). 윤혜선, “인공지능 규제 정책에 관한 연구: 주요국 의 규제 정책 사례를 중심으로”, 정보통신정책연구, 제26권 제4호, 2019, 154-155면.
56) Directive 2006/42/EC.
57) 유럽표준기구(European Standardisation Organisation, ESO) 또는 국제표준기구(International Standardisation Organisation, ISO)를 활용한 국제안전표준제정이 요구된다.
58) European Parliament, REPORT with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL).
59) 유럽의회의 동 결의안에 따르면 지능형 로봇의 자율성의 발전 정도에 따라 책임주체성 인정여부와 책임범위 여부가 달리 평가된다. 동 결의안은 지능형 로봇은 “근본적으로 책임있는 주체가 확인되 는 경우, 책임은 로봇의 자율성의 정도와 비례하여 결정된다. 로봇의 학습능력 또는 자율성이 커질 수록 책임은 낮아지며, 로봇에 대한 교육자의 책임은 더 커지게 된다. 다만 로봇의 유해한 행위에 대해서는 교육으로 습득한 기술과 자체학습능력에 따라 습득한 기술을 구분하여 최소한의 로봇이 아닌 사람에게는 책임을 부여하여야 한다”고 규정하고 있다. European Parliament, REPORT with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL).
20페이지
행정법연구 제64호 176
지능형 자율로봇에 대한 전자적 인격권(“electronic persons”)을 부여하여 책임 주체를 밝
히려는 논의는 기존의 책임법제를 인공지능이 적용된 제조물에 그대로 적용할 수 있다는
점에서 의미가 있다.60) 인공지능 로봇의 인격권은 “민사적으로 유효한 권리와 의무가 부여
되며, 민형사적 행위에 대한 책임”을 부여받게 되는데, 이 경우 도덕적 가치에 대한 표현도
가능해지며, 국제법적으로도 일반적인 인격권을 부여받게 된다. 다만, 로봇에 대한 인격권
을 부여할 경우 어느 정도의 인격권이 부여될 것인가, 인간이 로봇의 인격권을 인지할 수
있을까, 인간이 인공지능이 합리적으로 결정하고 신뢰할만한 존재임을 인식할 수 있을 것
인가, 도덕적 책임을 인공지능에게 물을 수 있을 것인가 하는 문제점이 지적된다. 유럽연합
결의안에 따르면 “지능형 자율로봇이 전자적 인간으로서 지위를 가지고 제3자에 대한 피해
를 입히는 경우” 또는 “자율로봇이 인간과 상호작용하여 의사결정을 할 수 있는 경우”에
이들의 자율성과 의사결정 능력에 대한 영향평가를 거쳐 책임의 정도를 결정하게 된다. 현
재 유럽연합에서 논의되고 있는 로봇에 대한 전자인격 부여 여부는 로봇의 의식적 작용의
알고리즘 자체보다는 행위에 대한 책임문제를 해결하기 위한 방안으로 이해된다. 하지만
로봇에 인격권을 부여하여 책임을 인정하더라도 인격권의 주체로서 의식 또는 의사결정 과
정에서의 의지적 결단이 결여된 상태에서 인공지능 로봇이 실질적인 책임 주체로서 책임을
부여받기가 어렵다는 점이 지적된다.61)
4) 리스크 기반 인공지능 안전과 책임 논의
리스크 기반에 기반한 규제 논의는 로봇공학 영역에서도 로봇공학 연구기관에 자율성을
부여하되, 신뢰가능한 인공지능의 설계를 위한 지침을 사전에 제안하는 방안으로 설계단계
에서의 윤리지침의 준수를 중요한 목표로 제안한다. 지능형 로봇의 발전이 빨라지면서 각
단계에서 인간의 통제력 강화의 필요성이 강조된다. 대표적으로 리스크의 발생을 전제로
신뢰할 수 있는 지능형 로봇을 설계하도록 사전지침 마련의 필요성이 논의되었다. 예컨대
유럽의회에서 채택된 유럽의회 결의 권고안에 따르면 로봇의 3원칙(“첫째, 로봇은 인간을
다치게 해서는 안되며, 위험에 처한 인간을 방관해도 안된다. 둘째, 로봇은 제1원칙에 상충
되지 않는 한 인간의 명령에 복종해야 한다. 셋째, 로봇은 제1원칙과 제2원칙에 상충되지
않는 한 스스로를 보호하여야 한다.”)을 기본원칙으로 하되, 로봇 설계의 기본원칙으로 선
60) Aída Ponce Del Castillo, “A law on robotics and artificial intelligence in the EU?”, Foresight Brief, 2017.
61) 김자회주성구장신, “지능형 자율로봇에 대한 전자적 인격 부여-EU 결의안을 중심으로-”, 법조협 회, 제66집 제4권, 2017, 141-145면.
21페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 177
한 이용(로봇은 인간의 이익을 위해서 활용되어야 한다.), 악의 없는 이용(로봇 제1원칙으
로 인간을 해치지 않아야 한다.), 자율성(로봇과의 정보교류 등 상호작용에서 일정한 조건
이 주어진 경우 외부의 압박없이 자율적인 결정능력을 보유한다.), 정의실현(보건영역 등
사회적 이익이 공정하게 배분되어야 한다.)이 제안되었다.62) 또한, 기본권 보호, 신뢰성, 안
전성, 가역성, 프라이버시 보호, 이익극대화와 손해축소를 기본 가치로 제안하고 있다.
Ⅳ. 우리나라에서의 시사점
우리나라의 경우 2020년 지능정보화기본법의 전면 개정으로 지능정보기술을 “데이터를
전자적 방법으로 수집분석가공 등 처리하는 기술, 초연결지능정보통신망 기반 기술 등”
으로 정의하며, 지능정보화는 “지능정보기술 및 지능정보기술과 다른 기술자원 등의 융합
을 기반으로 정보화가 고도화되거나 고도화될 수 있는 것” (법 제2조)로 규정하여 인공지
능의 법제화 가능성을 구체화하였으며, 응용 소프트웨어에 대한 접근성 품질인증 제도(법
제48조), 기술의 안전성과 신뢰성 확보를 위한 사회적 영향평가(법 제56조), 지능정보기술
에 관한 정보보호조치 기준 마련(법 제58조), 지능정보사회윤리준칙 제정(법 제62조) 등을
규정하였다.63) 이는 기존의 법제가 기술혁신 촉진 등을 위한 법제(예컨대 국가연구개발혁
신법), 데이터의 이용과 활용을 위한 법제(예컨대 개인정보보호법, 정보통신망법, 신용정보
호호법), 개별 영역에서의 적용 법제(예컨대 식품의약품안전처의 인공지능 의료기기 허가
심사에 관한 가이드라인, 과학기술정보통신부의 인공지능 학습용 데이터 품질관리 가이
드라인) 등으로 인공지능 활용에 따른 개별적인 적용방안 중심으로 발전하였던 점에 비하
여 종합적인 인공지능 활용방안을 제안하였다는 점에서 중요한 의미가 있을 것으로 생각된
다.
유럽연합의 인공지능의 안전과 책임 확보방안은 기존 법제인 제조물안전지침, 기계지침
등을 적용하되, 제조물에 대한 리스크 평가 인증 제도 등을 도입하고 있다는 점에서 우리
나라의 개별 법령을 개정한 현황과 유사하게 비교할 수 있다. 인공지능이 적용된 제조물의
62) 로봇 기술의 발전은 인간의 능력을 대체하는 것이 아니라 보완하는 것이라는 점을 감안하고 인간 과 로봇의 사이 감정적 관계의 발전가능성을 고려할 때 인간의 통제력을 강조하는 점을 지적한다. 이보연, 유럽연합의 인공지능 관련 입법 동향을 통해 본 시사점, 법학논문집, 제43집 제2호, 2019, 6-20면. European Parliament, REPORT with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL).
63) 김대인, “인공지능과 행정법총론체계의 변화”, 경제규제와 법, 제13권 제2호, 2020, 108-113면.
22페이지
행정법연구 제64호 178
특수성(연결성, 자동성, 데이터 의존성, 모호성, 복잡성) 등을 고려하여 리스크 평가 조치,
리스크 대응 조치 등에 관한 도입 논의 역시 우리나라에서도 개별 법령의 개정을 통하여
이루어지고 있는 것으로 이해된다. 이에 따라 유럽연합의 리스크 기반 안전과 책임 논의로
신뢰가능한 인공지능 설계를 위한 법적 체계논의는 우리나라의 법체계 마련에 일정한 시사
점이 있을 것으로 생각된다. 구체적으로 인공지능 활용의 리스크 범주를 세분화하여 데이
터의 융합 정도, 데이터 활용의 위험성이 중요한 경우에는 신뢰가능한 인공지능에서 제안
하고 있는 윤리원칙(인간존중, 위해예방, 공정성, 설명가능성), 현실화를 위한 핵심원칙(인
간존엄과 감독. 기술적 견고함과 안전성 확보, 개인정보 보호 및 데이터 거버넌스 확보, 투
명성, 다양성비차별성공정성, 사회복지환경복지, 책임성)이 설계 단계부터 활용 단계에
서 고려되도록 할 수 있을 것으로 생각된다. 국가정보화기본법을 통하여 기술의 신뢰성 확
보를 위한 근거법령이 마련되었으므로 이를 인증제도, 사회적 영향평가, 윤리준칙 등에서
이러한 논의를 참조할 수 있을 것으로 생각된다. 또한, 신뢰가능한 인공지능에서 제안하고
있는 평가체계로 평가리스트를 마련하여 인공지능이 적용된 제조물에 대한 평가방식도 구
체화할 수 있을 것으로 생각된다. 특히 인공지능 결정의 민주성과 투명성 확보, 인공지능
활용에 따른 안전성 확보, 책임확보, 데이터의 활용과 보호, 개인정보 보호 등 개별 쟁점으
로 나뉘어져 각 법령 영역에서의 규제가 중복되어 제정되기 보다는 국가정보화기본법 등
기본법제를 기초로 하여 안전과 책임 확보를 위한 일관된 방향을 제안하는 것이 보다 바람
직한 인공지능의 활용을 위한 과제로 생각되며, 이를 위하여 유럽연합의 인공지능에 관한
종합적 논의과정은 중요한 참고사항이 될 것으로 생각된다.
(투고일: 2021. 3. 10. 심사완료일: 2021. 3. 30. 게재확정일: 2021. 3. 31.)
23페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 179
참고문헌
- 국내문헌
계인국, “빅데이터 시대 전자정부에서의 개인정보보호 -개인정보보호 원칙의 변화와 도전-”, 2015.
권영준이소은, “자율주행자동차 사고와 민사책임”, 민사법학, 제75호, 2016.
김자회주성구장신, “지능형 자율로봇에 대한 전자적 인격 부여-EU 결의안을 중심으로-”, 법조협
회, 제66집 제4권, 2017, 133면.
김대인, “인공지능과 행정법총론체계의 변화”, 경제규제와 법, 제13권 제2호, 2020.
김성호, “인공지능과 불법행위책임”, 입법과 정책, 국회입법조사처, 제11권 제1호, 2019.
김재선, “과학기술 위험관리에서의 행정법적 쟁점에 관한 소고-미국 행정법상 논의를 중심으로-”, 공
법연구, 제44권 제3호, 2017.
김재선, “인공지능 의료기기 위험관리를 위한 규범론적 접근-인공지능 소프트웨어 규범화 논의를 중
심으로-”, 공법연구 제46집 제2호, 2017.
김현준, “환경행정법에서의 위험과 리스크”, 환경법연구, 제22권, 2008.
선지원, “인공지능 알고리즘 규율에 관한 소고-독일의 경험을 중심으로-”, 경제규제와 법, 제12권 제
1호, 2019.
오병철, “인공지능 로봇에 인한 손해의 불법행위책임”, 법학연구, 제27권 제4호, 2017.
윤혜선, “인공지능 규제 정책에 관한 연구: 주요국의 규제 정책 사례를 중심으로”, 정보통신정책연
구, 제26권 제4호, 2019.
이기춘, “독일 경찰질서행정법상 위험방지론과 리스크대비론의 현대적 변화에 관한 연구”, 법학논고,
경북대학교 법학연구원, 2018.
이보연, “유럽연합의 인공지능 관련 입법 동향을 통해 본 시사점”, 법학논문집, 제43집 제2호, 2019.
이부하, “위험사회에서 국민의 안전보호의무를 지는 보장국가의 역할”, 서울대학교 법학, 제56권 제
1호, 2015.
이희정, “Code만으로 충분한가? 행위는 필요하지 않은가? : 인공지능에 대한 규율을 실행하기”, 경
제규제와법, 제12권 제2호, 2009.
정남철, “현대국가의 규율구조와 규제된 자율규제: 특히 규제거버넌스의 구축과 실현방안을 중심으
로”, 공법연구 제46집 제4호, 2018.
정진명이상용, 인공지능 사회를 대비한 민사법적 과제, 법무부 연구용역보고서, 2017.
정창록, “인공지능로봇의료의 도덕형이상학적 모색: 의료적 전자인간의 책임가능성”, 한국의료윤리학
회지, 제21권 제2호, 2018.
조태제, “환경행정에서 리스크법의 발전”, 환경법연구, 제33권 제2호, 2011.
최일규, “한국사회에서 과학기술과 책임-인공지능 위험사회 개념을 중심으로-”, 일감법학, 제41호, 2018.
황지은, “인공지능 관점에서 GDPR 제22조의 인간 개입에 대한 분석”, 경제규제와 법, 제13권 제1
24페이지
행정법연구 제64호 180
호, 2020.
서정범김연태이기춘, 경찰법연구, 상원서적, 2018.
정남철계인국김재선, 미래세대 보호를 위한 법적 과제4-인공지능에 대한 유럽연합의 규제체계와
대응전략을 중심으로-, 한국법제연구원, 2020.
한국산업기술원, 의료로봇의 규제: 위험 요소를 최소화하면서 기회를 극대화하기, 2016.
유럽의 의료기기 인허가제도, 한국보건산업진흥원, 2004.
- 외국문헌
Ulrich Beck, 위험사회: 새로운 근대(성)를 향하여, 2007.
Aída Ponce Del Castillo, “A law on robotics and artificial intelligence in the EU?”, Foresight
Brief, 2017.
COM, Report on the Safety and liability implications of Artificial Intelligence, the Internet of
Things and robotics, 2020.
Gabriel N. Toggenburg, “Upholding Shared Values in the EU: What Role for the EU Agency
for Fundamental Rights?”, Journal of Common Market Studies 54(5), 2016.
Independent High-Level Expert Group on Artificial Intelligence, Ethics Guidelines for
Trustworthy Artificial Intelligence, 2020.
Peter Rushton, “Risk, Identities and Recognition: A History of Dangerous Categories and
Categories of Danger”, 2013.
European Commission. “White Paper on Artificial Intelligence - A European Approach to
Excellence and Trust”, 2020.
European Commission, ‘Artificial Intelligence for Europe’ (Communication) COM(2018) 237
final (“AI for Europe, 2018”).
European Parliament resolution of 16 February 2017 with recommendations to the Commission
on Civil Law Rules on Robotics (2015/2103(INL)).
IEEE, “A Code of Ethics for Robotics Engineers”, 2010.
Final Report Summary - ROBOLAW (Regulating Emerging Robotic Technologies in Europe:
Robotics facing Law and Ethics), 2014.
EU Commission, “On the road to automated mobility: An EU strategy for mobility of the
future”, 2018.
A European strategy for data, Communication from the Commission to the European Parliament,
the council, the European Economic and Social Committee and the Committee of the
Regions, 2020.
25페이지
인공지능 안전과 책임 확보를 위한 법제 논의에 관한 검토 181
Review on the legal system for securing safety and responsibility of using
artificial intelligence
Focused on the EU AI safety and responsibility legislative discussion
Kim, Jae Sun*
64)
Artificial Intelligence is defined as “systems that display intelligent behavior by
analyzing their environment and taking action with some degree of autonomy to
achieve specific goals” according to European Parliament, and it proceeds continuous
actions including data collection, interpretation, reasoning, and information processing
through algorithms when human intervention is minimized. As the product to which the
“action” of artificial intelligence is applied is widely used, the possibility of damage
increase when the artificial intelligence misunderstand external information or an error
occurs in the interpretation of the information. Therefore, review on legal system for
securing safety and responsibility of using artificial intelligence.
The European Union's method of securing the safety and responsibility of artificial
intelligence is comparable to the current state of laws and regulations in Korea in that it
applies the existing laws, such as the Product Safety Guidelines and Machine Guidelines,
while introducing a risk assessment and certification system for products. Accordingly, the
discussion on the legal framework for reliable artificial intelligence design through the
European Union's risk-based safety and responsibility discussions could be a significant
reference. To be specific, ethical principles (respect for humans, risk prevention, fairness,
explicability), core principles for realization (human dignity and supervision, ensuring
technical robustness and safety, securing personal information protection and data
governance, transparency, diversity and non-discrimination) Fairness, social welfare,
environmental welfare, accountability) can be considered from the early stage of the
artificial intelligence development.
Key Words: Artificial Intelligence, Algorithm, Safety, Responsibility, Robot Ethics, Guideline
- Associate Professor, Pusan National University School of Law, J.D. Ph.D.