박상철, 인공지능 기본법의 시행 전 개정 필요성

원본 파일: 박상철, 인공지능 기본법의 시행 전 개정 필요성.pdf
변환 일시: 2026-04-09 22:43

1페이지

https://doi.org/10.22846/kafil.28.3.202412.001

인공지능 기본법의 시행 전 개정 필요성,*

규제 조항의 체계·축조상 문제점을 중심으로 -

Why Korea’s AI Framework Act Requires Amendment Before Implementation - A Structural and Textual Analysis -

1)2)

박상철(Sangchul Park)*

*1) 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스

위 조건을 따르는 경우에 한해서 저작물을 복제, 배포, 전송할 수 있습니다. ** 이 논문은 서울대학교 아시아태평양법연구소의 2024학년도 학술연구비 지원을 받았음(재단법인

서울대학교 발전기금 출연). *** 서울대학교 법학전문대학원 부교수.

목 차

Ⅰ. 검토의 배경과 목적 Ⅱ. AI에 대한 수평규제체계의 문제점과 대안

수평규제체계의 전제조건
AI가 수평규제체계의 전제조건을 충족하는지 여부
AI에 수평규제체계를 가할 경우 초래될 사회적 비용
개발·혁신국들의 대안: 부문·맥락특유적, 혁신친화적 규제체계
수평규제체계 채택의 배경
한국적 대안의 모색
소결: 개정안 Ⅲ. 축조상 문제점과 개선방안
AI와 AI시스템의 정의
AI 가치망 참여자의 정의와 역할 배분: AI개발사업자, AI이용사업자,

이용자, 영향받는 자

고영향 AI의 규제
생성모델의 규제

2페이지

6 정보법학 제28권 제3호

요 약

1. 1. 통과된 AI기본법 중 규제 조항은 “고영향 인공지능” 중 하나에 해당하

면 단일 부처가 동일 규제들의 묶음을 집행하는 AI에 관한 수평규제체계이다. 캐나다 AI·데이터법안처럼 EU AI법보다는 규제총량과 제재강도를 약화시켰으나, 국제정세

와 합리에 부합하려면 혁신·개발 선도국들처럼 각 영역을 관할하던 부처들이 AI 활용

의 맥락에 따라 기존 규제를 적응함으로써 맞춤형 규제를 적용하는 부문·맥락특유적

규제체계에서 출발했어야 했다. AI는 용례·범주·생애주기별로 유발하는 사회문제들

이 이질적이어서 이를 간과한 수평규제체계는 백화점식·저인망식 과잉규제에 빠지게

된다. 또한, AI의 활용으로 인한 사회문제는 기존 문제로부터 명확히 분리되지 않는

경우가 많아 AI기본법이 신설하는 수평규제는 기존 부문별 규제와 병립되어 중복·저

촉을 일으킬 것이다. 방통위가 AI이용자보호법까지 제정하고, 개인정보 보호법상 자

동화된 결정이나 신용정보법상 자동화평가 규제까지 적용될 경우, AI에 대해 4중규제

체제가 형성될 것이다. 이를 저지하려면 고영향 AI를 주무관청이 일괄규제·조사·제재

하는 현 수평규제체계를 주무관청이 권익·안전영향 AI 용례별로 프레임워크를 제정

하면 각 부처가 이에 근거하여 소관 법령을 정비하는 대안적 체계로 전환해야 한다.

이처럼 체계상 문제가 있을 뿐 아니라, 조항들의 축조도 미비하다. 첫째, AI와 AI시스

템의 정의는 합리성이 아닌 의인화에 의존하여 기술적으로 틀리고 법적 정의로 부적

절하며 근래의 논의가 미반영되어 있다. 둘째, AI 가치망 참여자들의 정의 및 의무의

범위가 불명확하며 주체별 역할분담에 오류가 있다. 셋째, 고영향 AI 규제의 경우 권

익·안전영향 용례나 개발자·실행자별로 책무가 세분화되어 있지 않다. 넷째, 생성모델

의 규제도 의무 범위가 불명확하고 주체별 역할분담에 오류가 있다. 다섯째, 범용모델

의 규제의 적용범위·대상이 국제적 논의의 취지에 완전히 부합하지 않는다. 여섯째,

사실조사·제재 규정에도 문제가 있다. 결론적으로 현 조항은 시행령 등 하위규정으로

보완이 가능한 정도에 미치지 못하므로, 시행 전에 추가 법 개정을 완료하여 바로 잡

아야 한다.

주 제 어

AI기본법, 인공지능법, 수평규제체계, 맥락특유적 규제체계, 거버넌스

범용모델의 규제
사실조사·제재 Ⅳ. 맺으며

3페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 7

Ⅰ. 검토의 배경과 목적

｢인공지능 발전과 신뢰 기반 조성 등에 관한 기본법｣(“AI기본법”)은 19개 안이

병합된 대안의 형태로 2024. 12. 26.자로 가결되어 공포를 앞두고 있다.1) 우리는

EU에 이어 세계에서 2번째(미국 주법인 콜로라도 AI법2)까지 감안하면 3번째)로

규제 대상 AI(AI기본법의 경우 “고영향 인공지능”) 중 어느 하나에만 해당하면 단

일 주무관청이 동일한 규제들의 묶음을 집행하는 AI에 관한 수평규제체계

(horizontal regulatory framework)3)를 보유하게 된 것이다. 단, EU AI법보다는 규제

총량과 제재강도를 약화시킨 수평규제체계로서, 이를 대표하는 캐나다 AI⋅데이

터법안(draft AI and Data Act; AIDA)4)에 유사하다.5)

1) 현재 국회 의안정보시스템에는 2024. 11. 26.자 상임위원회 가결안까지만 공개되어 있으므로, 이

글은 그 안의 문구를 기준으로 논의하나, 법의 최종 문구는 소폭 달라질 수 있다. 2) Colorado Artificial Intelligence Act, Colo. Rev. Stat. § 6-1-1701 et seq. (2024. 5. 17. 통과, 2026. 2. 1. 시행). 3) 수평규제체계는 이하 다양한 이칭들로 불린다. ⋅층위모델(layered model)(Kevin Werbach, A Layered Model for Internet Policy, 1 J. on Telecomm. & High Tech. L. 37, 39–40 (2002)(단, 이 문헌상 수평/수직 개념은 다른 문헌과 정반

대임에 유의); Richard S. Whitt, A Horizontal Leap Forward: Formulating a New Communications Public Policy Framework Based on the Network Layers Model, 56 Fed. Comm. L. J. 587, 590–91 (2004)) ⋅규제 번들링(regulatory bundling)(Jennifer Nou and Edward H. Stiglitz, Regulatory Bundling, 128 Yale L. J. 1174 passim (2019)) ⋅횡적 체계(lateral framework)(Ministry of Innovation, Science and Technology, Israel (MIST), “For the First Time in Israel: The Principles of the Policy for the Responsible Development of the Field of Artificial Intelligence Were Published for Public Comment”, Nov. 17, 2022, https://www.gov.il/en/pages/most-news20221117). ⋅포괄법(omnibus laws)(Paul M. Schwartz, Preemption and Privacy, 118 Yale L. J. 806, 908–15 (2009)) ⋅부문간 규제체계(cross-sectoral governance framework)(European Commission, Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions – A European Strategy for Data, COM(2020) 66 final, Feb. 19, 2020). ⋅동일기능-동일규제체계 혹은 기능별 규제원칙(정순섭, 금융소비자보호의 기본 법리 – 금융소비자

보호기본법 제정안을 중심으로, ｢BFL｣ 제80호, 2016, 87–88면) 4) 캐나다 내각이 2022. 6. 10. 디지털 권리자유헌장(Digital Charter)의 실행을 위해 3개 법을 제정하

는 약칭 “디지털 권리자유헌장 이행법안(Bill C-27: Digital Charter Implementation Act, 2022)”을

4페이지

8 정보법학 제28권 제3호

그러나 이 글은 II장에서 AI가 유발하는 사회문제들이 수평규제체계의 전제조건

인 동질성과 분리성을 충족하지 않기 때문에, AI기본법이 백화점식⋅저인망식 규제

를 양산하여 각 부처의 전통적 규제들과 중복⋅저촉(우리나라의 경우 AI에 대한 4

중규제 체계)을 초래할 것임을 예견한다. 이로 인해 미국⋅중국⋅영국⋅이스라엘⋅

인도⋅일본⋅스위스⋅싱가포르 등 혁신⋅개발 선도국들은 이른바 “브뤼셀 효과”

를 부정하고 각 영역(domain)을 관할하던 부처들이 AI 활용의 각각의 맥락(context)

에 따라 기존 규제를 적응(adapt)함으로써 맞춤형 규제를 적용하는 부문특유적

(sector-specific), 맥락특유적(context-specific) 규제체계6)로 일제히 향해 가고 있음을

살펴본다. 우리가 AI 3대 강국이자 AI 규범의 선도국이 되겠다고 외치면서도 왜 정

답 앞에서 역주행 중인지 설명도 시도한다.

이러한 체계상 문제를 떠나, AI기본법 중 규제조항이 미비하여 추가 보완이 필요

함에 공감대가 있다. 법제사법위원회 심의 과정에서 위원장이 “일단 이거는 통과

시키고 미진하거나 부족한 부분이 있으면 개정안으로 해결하는 것이 맞겠고, 일단

이 법은 개문발차 하는 것이 맞다”라 하였을 정도이다.7) 주무관청(과학기술정보통

신부), 국회의원들을 포함한 제반 입법자들이 생각한 것처럼 AI기본법 중 산업육

성 조항들과 이들을 뒷받침할 국가인공지능위원회 등 신규 조직의 근거 조항의 필

요성이 규제조항의 미비함을 압도할 만큼 절실했는지에 대해서는 판단을 유보한

다. 다만, 이 글은 III장을 통해 ① AI와 AI시스템의 정의, ② AI 가치망 참여자의

정의와 역할 배분, ③ 고영향 AI의 정의와 규제, ④ 생성모델의 규제, ⑤ 범용모델

의 규제, ⑥ 행정조사⋅제재 조항의 항목별로 AI기본법의 문제점을 짚어 봄으로써,

현 조항들이 시행령 등 하위규정으로 보완이 가능한 정도에 미치지 못하여, 시행

일 전에 추가 법 개정이 완료되어야 함을 규명한다.

발의했는데, 그 3개 제정법안 중 하나(Part 3)가 AIDA이며, 하원(House of Commons) 상임위에서

심의 중이다. 5) 고영향 시스템(high-impact system)이라는 명칭, 고영향 해당 여부에 대한 사전 검토의무, 해당 시

의무(위험관리, 고지의무, 문서의 작성과 보관 등), AI 영향평가, 행정조사, 과태료 부과 등. 6) 부문⋅맥락특유적 규제체계 역시 수직모델(vertical model)(Whitt, supra note 3 at 596), 사일로모

델(silo model)(Id. at 590–91), 모듈형 체계(modular framework)(MIST, Israel, supra note 3), 부문

법(sectoral framework)(Schwartz, supra note 3 at 908–15) 등 이칭이 있다. 7) 국회사무처, 제419회국회(임시회), 법제사법위원회회의록(임시회의록) 제2호, 2024. 12. 17., 31면.

5페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 9

Ⅱ. AI에 대한 수평규제체계의 문제점과 대안

수평규제체계의 전제조건

신기술의 활용을 수평규제체계로써 규율하기 위한 전제조건은 신기술이 야기하

는 사회문제의 동질성(homogeneity)과 기존 규제 대상으로부터의 분리성이다. 수평

규제체계의 편익으로 ① 기술 발전과 시장 환경 변화에 유연하고 즉각적인 대처,

② 규제공백(regulatory vacuum) 해소, ③ 규제형평 제고[규제차익(regulatory

arbitrage) 해소], ④ 규제기관 간 갈등 최소화, ⑤ 시장진입 촉진이 거론되나,8) 이

모든 편익은 규제 대상의 동질성⋅분리성이 충족되어야 달성할 수 있고, 그렇지

않을 경우 중복규제 심화, 규제형평 상실, 시장진입 저해 등 역효과만 초래된다. 금

융융합의 흐름에 맞춰 은행법⋅자본시장법⋅보험업법 등 금융업권법들에 흩어져

있던 행위규제(code of conduct regulation)들을 예금⋅대출⋅투자⋅보장의 기능별

로 재편하여 한 곳에 모은 금융소비자보호법이 성공적인 수평규제체계로 자리 잡

은 이유도 ① 동법이 업권을 불문한 동질적 문제(금융상품 판매 과정에서의 금융

소비자 보호)를 다루고 6대 판매규제 등 핵심 처방들이 적절했으며, ② 수평규제로

통합한 행위규제가 다루는 문제가 각 업권법에 남겨놓은 부문특유적인 건전성 규

제(prudential regulation)가 다루는 문제로부터 분별되어 중복규제 문제가 없기 때문

이다.9) 개인정보 보호법도 개인정보 처리의 동질성과 다른 규제 대상으로부터의

차별성으로 인해 수평규제로 원활히 작동하고 있으며, 동질적 대상을 다루는 위치

정보법 및 신용정보법과의 통합이 기대된다. 방송, IPTV, OTT 등을 포괄한 시청각

미디어 규제의 수평통합10)도 같은 이유로 유망하다.

8) 이상우⋅황준호⋅김성환⋅정은옥⋅신호철⋅오수민⋅송정석⋅김원식, “통신방송 융합환경하의 수

평적 규제체계 정립방안에 관한 연구”, 정보통신정책연구원 연구보고 07-06, 2007, 42면. 9) 영국의 금융서비스시장법(Financial Services and Markets Act 2000)에 따른 영업행위규제, 호주의

금융서비스개혁법(Financial Service Reform Act 2001)에 따른 금융소비자규제, 미국의 닷-프랭크

월스트리트 개혁 및 소비자 보호법(Dodd-Frank Wall Street Reform and Consumer Protection Act 2010)에 따른 금융소비자보호 규제도 모두 동일기능-동일규제 원칙에 입각하여 건전성 규제 이외

의 금융상품 판매 규제를 일원화하였다. 10) EU의 시청각미디어 서비스 지침(Audiovisual Media Services Directive 2010; 2010/13/EU)이 시

청각미디어에 대한 수평규제체계이다.

6페이지

10 정보법학 제28권 제3호

AI가 수평규제체계의 전제조건을 충족하는지 여부

그러나 AI가 용례(use cases), 범주(category), 생애주기(life cycle)별로 유발하는 사

회문제들은 이질적(heterogeneous)이고 전통적인 사회문제들로부터 명확히 분리되

지 않는 경우가 많다. 판별모델(discriminatory model) 중 배분모델(채용⋅신용평가

등)은 편향⋅불투명성, 제재모델(형사사법⋅보험사정 등)은 오판, 인지모델(자율주

행차의 센서, 영상진단 등)은 안전에 영향을 미치는 부정확성과 프라이버시 침해가

핵심이다.11) 생성모델(generative model)은 공공안전위해(생화학적 합성, 악성코드

생성 등), 권리침해(저작권, 개인정보 등), 합성매체의 오용이 핵심이다.12) 자율시

스템(autonomous system)은 안전(긴급정지와 보안 포함) 문제가 핵심이다.

<그림 1> AI 모델의 생애주기⋅유형⋅용례13)

EU AI법 제정 시 EU집행위원회(EC)는 규제영향분석서에서 ① 불투명성, ② 복

잡성, ③ 지속적응⋅예견불가능성, ④ 자율적 행동, ⑤ 데이터 등 5대 문제동인

(problem drivers)을 AI에 대한 일률적 규제 적용의 근거로 제시하였다.14) 그러나 데

11) 박상철, “인공지능의 법적 규율 II: 판별모델”, ｢서울대학교 법학｣ 제65권 제2호, 2024, 345∼346면. 12) 박상철, “인공지능의 법적 규율 I: 범용모델과 생성모델”, ｢서울대학교 법학｣ 제65권 제1호, 2024, 84∼111면. 13) 같은 글, 70면. 14) European Commission, “Commission Staff Working Document – Impact Assessment Accompanying the Proposal for a Regulation of the European Parliament and of the Council Laying Down Harmonised Rules On Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts”, SWD(2021) 84 final, Apr. 21, 2021, 28. 다만, 이들에 대한 언급은

7페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 11

이터를 제외하면 설득력이 떨어진다. EU AI법상 고위험 AI시스템 분류를 보면 AI

의 도입 전에도 안전(대체로 Annex I의 경우)과 권익(대체로 Annex III의 경우) 관

련 시장실패가 빈발하여 전통적인 규제를 받았던 분야들 위주이다. EU AI법이 다

루는 문제들이 전통적인 규제의 대상이었던 기존 문제로부터 명확히 분리되지 않

으며, EC가 주장한 5대 문제동인과도 잘 연결되지 않는다. 예외적으로 범용AI모델

은 여러 태스크(task)에 활용될 수 있어 다양한 태스크에 따른 사회문제들을 예견

하여 규제를 할 필요가 있을 뿐이다.

AI에 수평규제체계를 가할 경우 초래될 사회적 비용

(1) 백화점식⋅저인망식 과잉규제

이처럼 다양한 AI의 용례들이 야기하는 이질적인 사회문제들을 만병통치약식

포괄규제로 해결하려 하면 백화점식⋅저인망식(one-size-fits-all) 과잉규제에 빠지게

된다. AI의 용례와 범주를 가리지 않고 같은 포괄규제의 묶음을 쏟아 부으면, 안전

하면 되는 AI 승강기에 공정⋅투명성을 강요하고, 공정⋅투명하면 되는 채용AI에

안전성을 강요하게 된다. 그 준수를 위해 불필요한 문서작성과 법률검토 작업을

해야 해서, 혁신생태계보다는 규제생태계만 배불리고, 불필요한 사회적 비용이 발

생한다. 표적항암제의 적응증에 전신항암제를 쓰는 격이다. AI기본법은 EU AI법처

럼 범용모델에 대한 규제(제32조)와 생성모델에 대한 규제(제31조제2항, 제3항)는

분리해 놓았으나, 나아가 자율시스템과 판별모델이 섞여 있는 고영향AI에서 최소한

안전영향(safety-impacting) 용례(주로 자율시스템)와 권익영향(rights-impacting) 용례

(주로 판별모델 중 배분⋅제재모델)라도 분별했어야 한다.15) 캐나다 AIDA조차 안

전영향 용례에 해당하는 위해(harm)와 권익영향 용례에 해당하는 편향된 출력

(biased output)은 구분한다. 분별에 실패한 결과 불필요한 규제의 적용이 예정되어

있는데, 상세는 <표 1>과 같다.

Council of the E.U., “Presidency Conclusions – The Charter of Fundamental Rights in the context of Artificial Intelligence and Digital Change”, FREMP 87, JAI 776, Oct. 21, 2020에 이미 등장했다. 15) 이 개념은 미국 대통령실 관리예산실(OMB)이 2024. 3. 28. 발간한 “기관의 AI 활용에 대한 거버

넌스, 혁신, 리스크 관리의 진전(Advancing Governance, Innovation, and Risk Management for Agency Use of Artificial Intelligence)” 각서(M-24-10)에서 차용한 것이다. 상세는 신원준⋅양수

빈⋅이대준⋅박상철, “미연방기관들의 AI 행정명령(E.O. 14110) 이행 현황과 시사점”, ｢사법｣ 제 70호, 2024, 178–179면 참조.

8페이지

12 정보법학 제28권 제3호

AI기본법 상 고영향AI 관 련 사업자의 책무(제34조)

안전영향 용례 권익영향 용례

핵물질과 원자력시설, 교통 수단⋅시설⋅체계, 의료기 기, 에너지, 먹는물

공공기관 등의 의사결정, 채용⋅대출심사, 학생 평가, 보건의료 제공⋅이용체계

위험관리방안의 수립⋅운영○ (단, 주로 사고 리스크로 서 권익영향용례와 이질적)

○ (단, 주로 편향과 불투 명성 리스크로서 안전영향 용례와 이질적)

AI가 도출한 최종결과, AI 의 최종결과 도출에 활용 된 주요 기준에 대한 설명 방안의 수립시행

× (안전영향용례에 대해 이 러한 설명을 법으로 의무화 할 필요성이 크지 않음)

○ [배분⋅제재모델에 대해 서는 채점기준(rubric)의 설 명은 필요한 경우가 많음]

학습용데이터의 개요 등에 대한 설명 방안의 수립⋅ 시행

× (학습데이터 공개는 대 체로 학습데이터의 암기와 재현이 이뤄지는 생성모델 에 대한 처방)

× (왼쪽과 같음)

이용자 보호 방안의 수립⋅운영

○ (단, 이용자가 아닌 사 고피해자를 보호해야 하며, 보호 방식은 안전영향용례 와 다름)

○ (단, 이용자가 아닌 분 류⋅평가대상자를 보호해 야 하며, 보호 방식은 권익 영향용례와 다름)

고영향 인공지능에 대한 사람의 관리⋅감독

△ (사람의 관리⋅감독이 필요한 경우도 있을 수 있 으나, 예컨대 자율주행차의 주행을 일일이 사람이 관 리⋅감독할 수는 없으므로, 세분화된 규율 필요)

× (관리⋅감독이 결여되면 완전히 자동화된 결정이나 자동화평가에 해당하여 개 인정보 보호법이나 신용정 보법 적용)

안전성⋅신뢰성 확보를 위한 조치의 내용을 확인할 수 있 는 문서의 작성과 보관

○ (단, 문서의무는 대부분 실효성이 없음) ○ (왼쪽과 같음)

<표 1> 안전영향 용례와 권익영향 용례의 구분의 필요성

(2) 각 부처의 전통적인 규제들과의 중복⋅저촉

또한 AI의 활용으로 인한 사회문제는 기존의 사회문제로부터 명확히 분리되지

않는 경우가 많아, 금융소비자보호법의 예처럼 기존 수직규제를 깔끔하게 파내어

수평규제로 이관, 일원화(streamline)하는 것이 불가능하고, 결국 신설된 수평규제

9페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 13

는 기존 수직규제와 병립되며 중복⋅저촉(regulatory overlap)을 일으키게 된다. AI

기본법은 전통적인 규제법들과 함께 광범위한 중복규제를 형성할 것이다. 방통위

도 AI이용자보호법안을 준비 중이므로, 동 법안까지 통과되면 AI 3중규제국으로

전락할 것이다. 완전히 자동화된 개인정보 처리 결정에 대해 개인정보보호법 제37

조의2 또는 신용정보법 제36조의2까지 적용되면 4중규제이다. 규제의 일원화를 통

해 사경제주체의 준수비용(compliance cost)을 낮춰줘야 한다는 합리⋅공리주의의

관점에서 볼 때 재앙에 가까운 일이다. 예컨대 보건복지 당국이 혁신의료기기 산

업 육성을 위해 2023년 식품의약품안전처의 품목허가, 한국보건의료연구원의 신의

료기술평가, 건강보험심사평가원의 보험등재 절차를 원스탑으로 통합했는데,16)

AI 기반 의료기기에 대해 다른 부처의 규제 두 건을 다시 추가하는 것은 이 모든

노력을 수포로 돌리는 일이다.

과잉규제로 인한 폐해는 규제총량과 제재강도 등이 덜한 우리가 EU보다 나을지

몰라도, 중복규제 문제는 EU보다 별반 나을 바 없다. EU AI법은 고위험 AI 중 기

존 EU 제품안전규제법 적용을 받던 제품군인 Annex I 해당 항목 중 (1) Section A

해당 항목들17)에 대해서는 제공자(provider)가 EU AI법상 요구되는 시험⋅보고절

차, 정보, 서류를 각 제품안전규제법상 요구되던 것들에 통합할 수 있도록 했고

(Art. 8(2)), (2) Section B 해당 항목들(주로 교통수단)18)에 대해서는 대부분의 조항

의 적용을 배제시킴으로써(Art. 2(2)), 중복규제의 폐해라도 완화하고자 한다. AI기

본법 제34조제3항이 “인공지능사업자가 다른 법령에 따라 제1항 각 호에 준하는

조치를 대통령령으로 정하는 바에 따라 이행한 경우에는 제1항에 따른 조치를 이

행한 것으로 본다”라 규정하는 것도 중복규제의 폐해를 완화하려는 것이겠으나,

대통령령으로 다른 법령상 조치 이행의 인정 범위를 최대한 넓게 규정하더라도 여

러 법령과의 중복⋅저촉 등 법적 불확실성이 해소되지 않을 것이며, 사업자는 위

반이 문제될 경우 2∼4중으로 조사⋅제재를 받게될 것이다.

개발⋅혁신국들의 대안: 부문⋅맥락특유적, 혁신친화적 규제체계

이 문제들 때문에 AI의 소비보다는 개발에 승부를 걸고 있는 혁신주도국들은

16) 혁신의료기기 지정 통합심사 공고(식품의약품안전처 공고 제2023-619호, 2023. 12. 29.). 17) 기계, 장난감, 레저⋅개인용 선박, 승강기, 폭발성 기체 장치 및 보호시스템, 무선장치, 압력장치,

삭도, 개인보호장치, 가스 연료 인화 장비, 의료기기, 체외진단 의료기기. 18) 자동차, 2∼4륜차, 농림업용 차량, 철도, 민항기, 무인항공기, 선박(레저⋅개인용 제외).

10페이지

14 정보법학 제28권 제3호

EU식 수평규제체계를 배제하고 부문⋅맥락특유적 규제, 혁신친화적 규제로 나아

갈 것임을 명확히 하고 있다. 개요는 <표 2>와 같다.

미 국  AI행정명령(E.O. 14110)19)을 통해 50여개 연방기관에 시한을 정해 소관사 항별 100여개의 과업을 할당했으며 대부분 이행됨.20)

중 국

 상이한 AI에 대해 개별적 맞춤형 대응: ① 2021. 12. 31.자 “인터넷정보서 비스 알고리듬추천 관리규정(互联网信息服务算法推荐管理规定)”, ② 2022. 11. 25.자 “인터넷정보서비스 딥페이크 관리규정(互联网信息服务深度合成管理规定)”, ③ 2023. 5. 23.자 “생성식 AI 서비스 관리방법(生成式人工智能服务管理办法)”.  학자들이 제안한 AI법안인 학자건의고(学者建议稿)가 수평규제체계에 입각 하나, 채택 가능성 낮음.

영 국

 브렉시트(Brexit)를 기회 삼아 제품안전규제에 입각한 EU식 수평적 규제체 계를 배격하고 혁신친화⋅맥락특유적 규제체계를 추구  빅테크의 지원 하에 프론티어 AI 안전 어젠다와 AI 안전연구소 체제 전파.

“우리는 우리의 규제체계의 필수 특성을 정했다. 우리의 프레임워크는 혁 신친화적, 비례적, 신뢰가능, 적응가능, 명확, 협력적일 것이다 ... 우리의 프레 임워크는 맥락특유적이다. 우리는 특정 산업이나 기술 전체에 규칙이나 리스 크 수준을 할당하지 않을 것이다. 대신, 특정 응용 분야에서 AI가 야기할 가 능성이 높은 결과를 기반으로 규제할 것이다 ... 맥락특유적 접근 은 규제당국 이 AI 활용에 따른 리스크와 이를 활용하지 못했을 때의 기회비용을 비교 평 가할 수 있도록 한다. 규제당국들은 AI 리스크 평가 시 AI 역량 활용의 실패 도 포함해야 한다고 전했다.”(과학혁신기술부, AI 규제에 대한 혁신친화적 접 근(2023. 8.)21)). “AI 시스템의 역량과 사회적 영향력이 발전함에 따라, AI 관련 잠재적 위해 를 해결하고 공공안전을 보장하며 이 기술이 제공하는 혁신적인 기회를 실현 하기 위해 궁극적으로 관할들에 걸친 일부 의무 조치가 필요함은 분명하다. 그러나 리스크와 적절한 대응 방안을 충분히 이해하기 전에 행동한다면 기술 진보로부터 얻을 수 있는 혜택을 누릴 수 없게 되고, 새로운 리스크에 신속히 적응할 수 없는 상황에 처할 수 있다. 우리는 이를 제대로 해결하기 위해 시 간을 들일 것이다. 적절한 조치라고 확신할 때 법률을 제정할 것이다.”(과학 혁신기술부, “AI규제에 대한 혁신친화적 접근: 정부 회신”(2024. 2.)22))

일 본

 주무관청인 경제산업성⋅총무성은 혁신을 저해할 수 있는 규칙 기반 규제 대신 가이드라인을 통해 방향을 제시하며, 각 개별 부처의 규제는 필요최 소화 시키기로 함.

<표 2> 주요국들의 부문⋅맥락특유적 규제 방향

11페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 15

“이미 표면화되고 있는 리스크 중 기존의 법제도나 가이드라인⋅체제를 전 제로 대처할 수 있는 것은 주지⋅철저 등 조속히 대응하고, 기존의 법제도 등 으로는 충분히 대응하지 못할 가능성이 있으면, 외국에서의 검토 등도 참고하 여 대응을 검토해야 한다. 또, 장래에 발생할 수 있는 리스크에 대해서는, 기 술개발이나 사업전개의 스피드가 급속한 것을 고려하여, 전문가와 함께 국제 적인 논의에 적극적으로 참여하면서 그 리스크 파악에 수시로 노력할 필요가 있다.”(내각부, AI전략회의(2차)(2023. 5.)23)) “AI에 관한 원칙을 구체적으로 실천해 나가는 과정에서 다음과 같은 점들 이 지적되었습니다: 저출산 고령화에 따른 노동력 감소 등 사회 문제를 해결 하는 수단으로 AI 활용이 기대되고 있다는 점, 법률의 정비 및 시행이 AI 기 술 발전 및 사회적 적용의 속도와 복잡성 사이에서 시간차를 발생시킨다는 점, 세부적인 행위 의무를 규정하는 규제 중심의 규칙 기반 접근 방식이 혁신 을 저해할 가능성이 있다는 점. 이러한 점들을 고려하여, AI가 초래할 수 있 는 사회적 위험을 줄이는 동시에 AI 혁신과 활용을 촉진하기 위해, 이해관계 자의 자발적인 노력을 장려하고 비강제적인 소프트로(soft law)를 통해 목표 를 달성하는 목표 중심의 사고방식을 바탕으로 가이드라인을 작성하기로 하 였습니다.”(총무성/경제산업성, AI 사업자 가이드라인(2024. 4.)24)) “기술의 진화에 맞추어 가이드라인과 필요최소한의 법적 프레임워크로, AI 의 연구개발⋅실행이 용이한 ‘세계 제일 AI프렌들리한 일본’을 견지합니다.” (이시바 시게루 총리, 2024년 자민당 총재 선거 정책집(2024. 9.)25)).

이 스 라 엘

 이스라엘이 AI 개발에 있어 주도적인 위치를 유지할 수 있도록, AI에 특유 한 새로운 수평규제체계를 배제한 후, 기존에 논의되던 윤리원리들과 연성 규범 툴들(자발적 표준화와 자율규제)을 활용할 것임을 분명히 함.26)

“분야별 규제 기관의 권한 강화: 특정 분야에서 AI의 개발 및 사용에 대한 규제 필요성은 해당 분야의 구체적인 수요를 기반으로, 해당 분야의 기존 규제 환경에 적합하도록 적절한 분야별 규제 기관에 의해 평가되어야 합니다. 이러한 접근 방식은 포괄적⋅수평적 법률 제정보다 선호됩니다. 동시에, 이러한 규제 노력은 전담 조정 메커니즘을 통해 일관된 정부 정책과 부합해야 합니다. 또 한, 수평적 법률의 필요성은 여러 분야에서 발생하는 공통 과제의 해결을 포 함하여 변화하는 도전 과제와 축적된 경험을 고려하여 정기적으로 평가되어 야 합니다.”(혁신기술부, 이스라엘의 AI 정책 – 규제와 윤리(2023. 12.)27)).

인 도

 일찍이 수평규제체계를 배격하고 부문별 규제체계를 채택.

“AI 기술에 대한 수평규제는 혁신을 제한하고, 법률이 기술 변화에 적응하기 어렵게 만들며, 일반적인 법률로는 제공할 수 없는 관점을 요하는 사법 접근 성 등과 같은 중요 분야에서 AI의 사용을 효과적으로 규율하지 못할 것이다. AI 규제에 대한 분야별 접근은 더 큰 유연성을 제공하고, 보다 효과적인 실행 과 특정 분야에 맞춘 접근 방식을 가능하게 하여 일반 법률보다 각 분야를 더 잘 규율할 수 있을 것이다.”(전자정보기술부, AI위원회 보고서(2018. 7.)28))

12페이지

16 정보법학 제28권 제3호

다만, 영국이 2023년 블렛츨리 선언(Bletchley Declaration) 이래 프론티어 AI 안전

(frontier AI safety) 의제를 띄우며 AI 안전연구소 시스템(탈중앙화 거버넌스)을 전

파하고 미국이 이를 채택(endorse)한 것은 한때 AI의 실존적 위협에 대한 강성 통제

움직임으로 오인되기도 했다.32) 그러나 영미의 AI 안전성 어젠다는 사실 빅테크가

19) Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence, 88 Fed. Reg. 75191 (2023). 20) 트럼프 행정부 2기는 E.O. 14110의 폐지를 예고하였으나, 트럼프 행정부 1기의 행정명령(E.O. 13859, 13960)을 승계한 안전⋅안보, 혁신⋅경쟁(출입국⋅이민 제외), 공공부문 활용 촉진 정책은

재승계될 것으로 전망된다. 신원준⋅양수빈⋅이대준⋅박상철, “미연방기관들의 AI 행정명령(E.O. 14110) 이행 현황과 시사점”(주 15), 147∼148면. 21) Department for Science, Innovation & Technology, U.K (DSIT)., “A Pro-innovation Approach to AI Regulation”, Aug. 3, 2023. 22) DSIT, “A Pro-innovation Approach to AI Regulation: Government Responses”, Feb. 6, 2024. 23) 内閣府, ｢内閣府AI戦略会議(第2回)｣, 令和5年5月26日. 24) 総務省, 経済産業省, ｢AI事業者ガイドライン(第1.0版)｣, 令和6年4月19日. 25) 石破茂, “2024年自民党総裁選挙石破茂政策集”, 令和6年9月10日. 26) MIST, supra note 3. 27) MIST, “Israel’s Policy on Artificial Intelligence Regulation and Ethics”, Dec. 17, 2023. 28) Ministry of Electronics & Information Technology, India, “Artificial Intelligence Committees Report – D on Cyber Security, Safety, Legal and Ethical Issues”, Jul. 2, 2018. 29) Government of the Republic of Singapore, “NAIS 2.0: Singapore National AI Strategy – AI for the Public Good for Singapore and the World”, Dec. 4, 2023. 30) Interdepartementale Arbeitsgruppe «Künstliche Intelligenz» an den Bundesrat, “Herausforderungen der künstlichen Intelligenz”, 2019, s. 34－37. 31) Swiss Federal Department of Foreign Affairs, “Artificial Intelligence and International Rules”, Apr. 13, 2022, p. 21. 32) 물론 영미도 내부적으로 완전히 조율이 되는 것은 아니어서, 이를 강성 통제론으로 연결시키려는

싱 가 포 르

 목적적합적(fit-for-purpose) 규제환경을 추진하는 한편, AI Verify 등 AI 평 가 툴의 개발과 보급에 주력.29)

스 위 스

 연방평의회의 범부처 AI 작업반은 2019년 “AI의 도전”이라는 보고서를 발 표하여 ① 여러 기술 중 AI의 선택만으로는 법적 개입을 정당화할 수 없고 구체적 이용으로 인한 효과를 고려해야 하는 점, ② 기존 부문별 규제와 법적 책임으로 AI를 규율할 수 있고 이로써 기술중립성을 달성할 수 있는 점, ③ 국가가 민간영역에는 시장실패에 대해서만 개입할 수 있는 점을 지 적하였고,30) 이것이 스위스 AI 정책의 근간이 되었음.31)

13페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 17

제안하였고 여전히 배후에 있다.33) 빅테크들이 “프론티어 AI”라 명명한 고성능 AI

시장에 선발주자로서 규제장벽(walled garden)을 치려는 전략 또는 화생방핵

(chemical, biological, radiological, and nuclear; CBRN) 등 파국적 위협은 통제받을

터이니 이외엔 규제하지 말라는 “이거 먹고 떨어져(take this and leave me alone)”

전략으로 제안한 것이라는 비판조차 제기된다. 이처럼 한계는 있으나, EU식 고위

험⋅고영향 AI 분류 등 탁상공론으로 규제를 설계하는 것에 경종을 울리고 전 세

계가 머리를 맞대고 실증⋅과학적 근거에 입각한 대안을 모색하자는 의의가 있다.

향후 AI 안전연구소 네트워크를 통해 AI 안전과학의 실증 연구 성과들이 축적되어

상향식으로 규제가 설계되면, 과학적 규제 설계도 촉진할 것으로 기대된다. 다만

이 과정에서 빅테크의 공세에 맞서 국내 개발자들의 활동공간(Spielraum)을 어떻게

확보할지 고민이 필요한데, 후술하듯이 오히려 국내 개발자들만 옥죌 규제장벽보

다는 공공조달 시장 조성 등 실효적 대안을 모색해야 한다.

수평규제체계 채택의 배경

이처럼 주요 개발⋅혁신국들은 AI에 대한 수평규제체계 적용의 문제점을 예견

하고 보다 합리적인 거버넌스의 확립을 통해 주도국의 위치를 도모하고 있다.

<표 2>에서 살펴본 이에 대한 의지와 비전의 표명은 치밀하면서도 비장하다. 우리

처럼 빠른 통과만을 목표로 밀행적으로 법안을 밀어붙이는 것이 아니라 규제철학

과 전략을 백서로 발간하고 광범한 의견수렴을 하여 공동체의 미래전략에 대한 컨

센서스를 유도하고 있다.

우리처럼 수평규제체계로 향해가는 법역들조차도 나름의 철학과 비전은 있다.

EU는 EU 시민의 기본권 등 EU 가치의 수호라는 규제철학과 함께 ① EU 디지털

단일시장(EU Digital Single Market)에서의 규제 통합의 필요, ② 일반정보보호법

(GDPR)의 전 세계 전파라는 성공의 경험, ③ 미국 빅테크의 공세로 정보산업의 기

반이 무너진 상황에서 규제 장벽을 치며 시간을 벌어보겠다는 전략이 있다. 캐나

다에서 AIDA에 대한 논의는 권리자유헌장(Charter)으로 시민의 기본권을 보호했던

역사의 연속선상에서 동 헌장을 디지털 시대에도 관철하고자 하는 정치적 의지를

움직임이 있다. 대표적인 예가 영국의 옥스퍼드 대학을 중심으로 하는 강경론과 미국 캘리포니아

의 캘리포니아 프론티어 AI 법안(SB 1047; Safe and Secure Innovation for Frontier Artificial Intelligence Models Act)(주지사가 2024. 9. 29. 거부권 행사)이다. 33) 상세는 박상철, “인공지능의 법적 규율 I: 범용모델과 생성모델”(주 12), 87∼88면.

14페이지

18 정보법학 제28권 제3호

배경으로 한다.34) 반면 브라질은 AI는 미국 회사가 만드는 것이니 강하게 제재해

야 한다는 생각 외에 수평규제체계에 대한 명확한 철학이나 전략이 보이지는 않는

다.35) 우리의 경우에도 “빠른 통과가 시급하다”, “규제와 진흥을 조화한다” 외에

규제철학이 백서 등의 형태로 체계적이고 명료하게 제시되진 못했다.

그럼에도 AI기본법의 입법자들, 즉 주무관청과 한국지능정보사회진흥원(NIA)의

현재 체계로의 입법적 결단의 동인을 이해할 필요가 있다. 이것이 제도의 향후 궤

적을 지속적으로 결정지을 것이기 때문이다. 인터뷰 등 질적 연구를 통해 실증되

어야 하겠지만, 몇 가지 가설을 세워본다. 첫 번째 설명 방법은 입법자들의 공공봉

사동기(public service motivation)36)를 신뢰하는 것이다. AI기본법은 산업육성 조항

과 규제 조항을 함께 담고 있는데, 전자는 중대한 법적 문제는 없고 정책적 필요도

있었다. 주무관청은 과감한 육성 정책을 펼치기 위해 조직⋅예산⋅권한에 대한 법

적 근거가 필요했다. 입법의 키를 쥔 야당은 AI산업육성법을 만들려면 인권 보호

를 위해 EU식 규제 조항도 같은 법 내에 넣어야 한다는 시민사회단체의 입장37)을

34) 캐나다 권리자유헌장(Charter)은 1982년 헌법(Constitution Act)의 첫 35장을 일컫는다. 캐나다는

이 개념에 입각하여 시민 의견을 수렴하여 2019년 다음 10개 원리로 구성된 디지털 권리자유헌장 (Digital Charter)을 발표하였다: ① 보편적 접근, ② 안전⋅보안, ③ 통제⋅동의, ④ 투명⋅이동⋅

상호운용성, ⑤ 개방⋅근대적 디지털정부, ⑥ 평평한 운동장, ⑦ 善을 위한 데이터와 디지털, ⑧

강력한 민주정, ⑨ 증오와 폭력적 극단주의의 배제, ⑩ 강력한 집행과 실재하는 책임성 (Government of Canada, “Canada’s Digital Charter in Action: A Plan by Canadians, for Canadians”, Oct. 23, 2019). 35) 브라질은 본래 중국, 한국과 더불어 가장 고강도의 정보서비스 규제를 가진 법역이다. 하원인 대

의원(Câmara dos Deputados)이 2021년 AI법안(Projeto de Lei Nº 21, de 2020)을 가결하였으나,

연방상원(Senado Federal)이 규제강도가 약하다며 법률가위원회(CJSubIA)를 조직하여 2022년 대

안을 포함한 9백여쪽의 보고서를 작성케 했고. 이를 통해 2023년 수정 법안(Projeto de Lei Nº 2,338, de 2023)을 입안했으며, 연방상원의 내부임시AI위원회(CTIA)는 2024. 12. 5. 동 법안에 대

한 수정보고서를 승인한 상태이다. 이 법안은 대체로 EU 법안을 모방하여 AI시스템 중 과도한 위

험(risco excessivo) 또는 고위험(alto risco)에 해당하는 것을 열거한다. 다만, EU 법안과 다르게

모든 AI시스템을 규제하되 고위험 AI시스템에 대해서는 규제를 강화하고, 리스크 기반이라기보

다 권리 기반이며, 고위험AI에 대한 엄격책임 등 사법적 규율을 강화한 형태를 취하고 있다. 36) James L. Perry and Lois R. Wise, The Motivational Bases of Public Service, 50 Public Adm. Rev. 367, 368 (1990). 37) 시민사회단체는 여러 차례 의견을 개진하였으나, 상임위 통과 후 개진한 의견의 골자는 ① 금지된 AI 규정 추가, ② 국방⋅국가안보 목적의 AI는 적용 배제할 것이 아니라 고영향 AI로 정의, ③ 개

인정보 보호법과의 관계 명시이다(민주사회를 위한 변호사모임 디지털정보위원회, 정보인권연구

소, 진보네트워크센터, 참여연대, “AI법 과방위 통과안에 대한 시민사회 의견서”, 2024. 12. 3.)

15페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 19

고려해야 했다. 국가인권위원회도 EU식 규제를 끝까지 요구하였다.38) 주무관청은

산업육성 조항만으로는 법안 통과가 어려운 상황에서, 야당과 시민사회단체를 설

득할 만한 규제 조항도 끼워 넣어 과반수를 확보하는 통나무 굴리기(logrolling) 전

법39)을 써야 했다. 미국의 여러 주 헌법들은 통나무 굴리기 입법이 특정 그룹들의

주장을 수용하는 과정에서 민의를 왜곡하는 한편 특정 부처의 권한을 과도하게 확

장할 수 있다는 우려로, 법안마다 하나씩의 주제만을 다루도록 하는 “단일주제 룰

(single-subject rule)”을 규정한다.40) 우리도 산업육성법과 규제법을 따로 발의⋅심

의했다면 좋았겠지만, 결국 정치환경이 핵심 동인으로 작용하여 양자를 얼기설기

포괄한 법이 자리 잡은 것이다.

두 번째 설명 방법은 관료의 조직⋅예산⋅권한 등 지대 추구의 공공이익으로부

터의 괴리(misalignment)로 인한 정부실패(government failure)41)에 초점을 맞추는

것이다. AI기본법은 시민사회단체의 의견 제시가 있기 한참 전 최초 초안부터 이

미 주무관청이 AI 활용을 근거로 다른 부처들의 기존 핵심 관할 분야들을 통할하

는 수평규제체계로 준비되었다. 물론 관료의 지대추구는 자신의 부처의 역량과 전

문성에 대한 자부심(self-esteem)과 결부되어 공공봉사동기와 혼재되어 있다. 다만,

특정 부처의 지대 추구를 견제하고 국가 전체적인 복리에 맞춰(align) 재조정할 국

가시스템은 작동해야 한다. 현재 정부 규제입법은 대부분 의원입법으로 우회되어

관계기관 협의, 입법예고, 규제심사, 법제심사 등 절차들이 생략된다. 법안에 대한

폭넓은 의견수렴은커녕 최초 발의 시 등 절차상 꼭 필요한 경우를 제외하면 “입법

동력의 훼손”을 방지한다는 명분으로 법안조차 비공개하는 것이 현재 행정부에 만

연한 관행이다. 해외 주요국들이 <표 2>에서 살펴보았듯이 입법에 앞서 백서를 통

38) 국가인권위원회, “｢인공지능 법률안｣, ‘우선허용⋅사후규제’ 원칙 삭제하고, 인권영향평가 도입해

야”, 2023. 8. 24. 39) Nou & Stiglitz, supra note 3 at 1226 (“a piece of legislation with multiple subjects might represent logrolling in which no individual provision enjoys majority support”). 40) Id. at 1226–1228. 예컨대 캘리포니아주 헌법 Art. II, sec. 8(d)는 “복수의 주제를 포괄하는 발의는 유

권자에게 제출될 수 없거나 효력이 없다(An initiative measure embracing more than one subject may not be submitted to the electors or have any effect)”라, Art. IV, sec. 9는 “제정법은 제호에

명시된 단일 주제만을 포괄한다. 제정법이 제호에 명시되지 않은 주제를 포괄하면, 명시되지 않은

부분만 무효이다(A statute shall embrace but one subject, which shall be expressed in its title. If a statute embraces a subject not expressed in its title, only the part not expressed is void)”라 규

정한다. 물론 미국 각 주법상 진흥과 규제가 단일주제에 해당할지 여부는 별도의 검토 대상이다. 41) William A. Niskanen, Bureaucracy and Representative Government (1971), passim.

16페이지

20 정보법학 제28권 제3호

해 AI 규제체계의 청사진을 제시하고 의견수렴을 통해 법안을 마련해 나갈 때,42)

우리는 견제장치들이 작동하지 못하였다. 규제영향분석(행정규제기본법 제7조)만

제대로 했어도 복수 규제의 중복⋅저촉으로 인한 사회적 비용이 고려되었을 것이

라는 아쉬움이 있다. 다른 부처들이 소관위 검토 단계에서 문제를 제기43)했으나

실기한 후였다. 여당도 주무관청의 법안을 그대로 당론안44)으로 수용하여 견제를

하지 못하였다. 우리의 현 입법시스템은 부처별로 상호간 견제 없이 중복규제를

형성하기에 지나치게 유리한 환경이며, 방송통신위원회도 향후 이런 방식으로 AI

이용자보호법을 어렵잖게 제정할 우려가 있다.45)

세 번째 설명 방법은 소신⋅적극행정을 좌절시키는 문화적 요소46)에 주목하는

것이다. 우리 특유의 질타(bashing) 문화47)로 인해 AI 관련 문제가 발생하면 언론을

중심으로 법의 “부재”와 주무관청의 “방관”에 대해 거센 비판이 제기될 것이고, 주

무관청은 유사 시 전광석화처럼 조사⋅제재 후 브리핑해서 여론을 누그러뜨릴 근

거를 제공하는 포괄적 법체계가 절실했다. 이러한 환경에서 진정한 리스크 기반의

합리적 규율체계를 채택하라는 학계의 의견은 백면서생들의 무책임한 요구로 들

렸을 지도 모른다.

정치환경이든, 관료주의든, 문화적 요소든 서로 맞물려 AI기본법은 현재와 같은

수평규제체계로 준비되고 말았고, 정치상황, 규제환경, 경로의존성을 고려하면 한

층 더 EU 식으로 치우치는 방식으로 진화할 가능성도 적지 않다.

한국적 대안의 모색

다만, 우리나라는 국무조정과 부처 간 협의가 원활치 않고 아직 주무관청에 비해

42) See also European Commission, “White Paper on Artificial Intelligence: a European Approach to Excellence and Trust”, Feb. 19, 2020; Canadian Institute for Advanced Research, “Pan-Canadian Artificial Intelligence Strategy”, https://www.cifar.ca/ai/pan-canadian-artificial-intelligence-strategy. 43) 과학기술정보방송통신위원회 수석전문위원, “인공지능 산업 육성 및 신뢰 확보에 관한 법률안 등

검토보고”, 2024. 8. 44) 인공지능 발전과 신뢰 기반 조성 등에 관한 법률안(정점식의원 등 108인), 의안번호 2200543, 2024. 6. 17. 45) 제1차 국가인공지능위원회의 “국가 AI전략 정책방향”에 AI이용자보호법 제정이 핵심 국정과제로

포함되었다. 46) 박재완, “‘좋은 행정’에서 본 행정현장과 행정학의 과제: 정부실패를 중심으로”, ｢행정논총｣ 제54

권 제4호(2016), 39∼68면. 47) 같은 글, 48면.

17페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 21

다른 부처들의 AI에 대한 전문성이 떨어지므로,48) 개발⋅혁신 선도국들의 부문⋅

맥락특유적 규제체계를 그대로 수입하기도 쉽지 않은 점이 있다. 미국은 2차 세계

대전 중 연방의 전시총력동원을 진두지휘했던 대통령실 관리예산실(Office of

Management and Budget; OMB)이, 영국과 일본은 의원내각제답게 내각(Cabinet)이

예산편성과 연계된 강력한 국무조정을 수행하므로, 부문특유적 규제체계가 가능했

던 측면도 있다. 우리 시스템 하에서는 부문특유적 규제체계가 규제의 파편화⋅분

절화와 부처 간의 권한 다툼만 심화시킬 수 있다. 보다 정연한(coherent) 규제체계

를 기하기 위한 절충은 필요하다.

특히, 산업 육성 뿐 아니라 거버넌스 구축에 있어서도 주무관청의 고도의 전문성

과 경험은 십분 활용되어야 한다. 다만, 그 전문성은 AI기본법상 규제를 기존 규제

에 추가하여 중복규제를 하며 타 부처와 경합하는 지대추구(rent-seeking)에 낭비할

것이 아니다. 주무관청이 권익영향 AI 용례의 편향의 측정과 경감, 설명에 대한 프

레임워크와 안전영향 AI 용례의 안전기준에 대한 프레임워크를 마련하면, 이에 따

라 각각의 관할 관청이 개개 법령을 일정 시한 내에 정비하는 시스템을 대안으로

생각해 볼 수 있다. 주무관청이 산하 AI안전연구소의 실증 결과에 따라 지속적으

로 프레임워크를 가다듬으며 개별 부처들의 입법을 지원하면 과학적이고 정연한

거버넌스에 탄력이 붙을 것이다. 현재 미국 상무부(Department of Commerce)가 국

가AI이니셔티브법(National Artificial Intelligence Initiative Act of 2020)49)에 근거하

여 산하 국립표준기술연구소(National Institute of Science and Technology; NIST)를

통해 AI 리스크 관리 프레임워크(AI Risk Management Framework)를 마련(미국 AI

안전연구소도 NIST 산하 기관으로 설치)한 것에 상응하는 역할을 수행할 수 있다.

일본이 오랜 고민을 거쳐 다다른 안도 바로 주무관청인 경제산업성/총무성이 연성

규범을 만들면 그에 따라 개별 부처들이 각자의 법령을 정비하는 것으로 읽힌다.

48) 미국은 부문특유적 규제체계를 지지하기 위해, E.O. 14110, § 10.2에 따라 “AI와 테크 인재 태스

크포스(AI and Tech Talent Task Force)”를 설치하고 “국가 AI 인재 증진(National AI Talent Surge)” 프로그램을 출범시켜 인사관리처(Office of Personnel Management; OPM)을 중심으로 연

방정부 내 AI 인재를 확충하는 대대적인 조치를 펼치고 있다. 상세는 신원준⋅양수빈⋅이대준⋅

박상철, “미연방기관들의 AI 행정명령(E.O. 14110) 이행 현황과 시사점”(각주 15), 181∼182면

참조. 다만, 우리 여건과 공직임용시스템 하에서 당장 이러한 정책을 취하긴 쉽지 않을 것이다. 49) 15 U.S.C. § 9401 et seq.

18페이지

22 정보법학 제28권 제3호

소결: 개정안

이러한 한국적 대안에 입각하여 개선안을 축조하면 다음과 같다.

현 조항 개선안

제2조(정의) 이 법에서 사용하 는 용어의 뜻은 다음과 같다. 4. “고영향 인공지능”이란 사 람의 생명, 신체의 안전 및 기 본권에 중대한 영향을 미치거 나 위험을 초래할 우려가 있 는 인공지능시스템으로서 다 음 각 목의 어느 하나의 영역 에서 활용되는 것을 말한다. (생략)

제2조(정의) 이 법에서 사용하는 용어의 뜻은 다음과 같다. 4. “권익영향 인공지능 용례”란 인공지능을 특정 국민에 게 한정된 권익을 부여하거나 특정 국민에게 의무를 부과하거나 권익을 제한하는 결정에 활용하는 등 국민 의 권익에 중대한 영향을 미치는 대통령령이 정하는 인공지능의 용례를 말한다. 4의2. “안전영향 인공지능 용례”란 국민의 생명⋅신체⋅ 재산의 안전에 중대한 영향을 미치는 대통령령이 정하 는 인공지능의 용례를 말한다.

제31조(인공지능 투명성 확 보 의무) ① 인공지능사업자 는 고영향 인공지능이나 생성 형 인공지능을 이용한 제품 또는 서비스를 제공하려는 경 우 제품 또는 서비스가 해당 인공지능에 기반하여 운용된 다는 사실을 이용자에게 사전 에 고지하여야 한다.

제31조(인공지능 투명성 확보) ① <고영향 인공지능에 대 해 삭제>

제33조(고영향 인공지능의 확인) ① 인공지능사업자는 인공지능 또는 이를 이용한 제품⋅서비스를 제공하는 경 우 그 인공지능이 고영향 인 공지능에 해당하는지에 대하 여 사전에 검토하여야 하며, 필요한 경우 과학기술정보통 신부장관에게 고영향 인공지 능에 해당하는지 여부의 확인 을 요청할 수 있다. ② 과학기술정보통신부장관은

제33조(고영향 인공지능의 확인) <삭 제>

19페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 23

제1항에 따른 요청이 있는 경 우 고영향 인공지능 해당 여부 를 확인하여야 하며, 필요한 경우 전문위원회를 설치하여 관련 자문을 받을 수 있다. ③ 과학기술정보통신부장관은 고영향 인공지능의 기준과 예 시 등에 관한 가이드라인을 수립하여 보급할 수 있다. ④ 그 밖에 제1항에 따른 확인 절차 등에 관하여 필요한 사 항은 대통령령으로 정한다.

제34조(고영향 인공지능과 관 련한 사업자의 책무) ① 인공 지능사업자는 고영향 인공지 능 또는 이를 이용한 제품⋅ 서비스를 제공하는 경우 고영 향 인공지능의 안전성⋅신뢰 성을 확보하기 위하여 다음 각호의 내용을 포함하는 조치 를 대통령령으로 정하는 바에 따라 이행하여야 한다. 1. 위험관리방안의 수립⋅운영 2. 기술적으로 가능한 범위 내 에서의 인공지능이 도출한 최종결과, 인공지능의 최종 결과 도출에 활용된 주요 기준, 인공지능의 개발⋅활 용에 사용된 학습용데이터 의 개요 등에 대한 설명 방 안의 수립⋅시행 3. 이용자 보호 방안의 수립⋅ 운영 4. 고영향 인공지능에 대한 사 람의 관리⋅감독 5. 안전성⋅신뢰성 확보를 위 한 조치의 내용을 확인할 수

제34조(권익영향 인공지능 용례 관련 법령의 정비) ① 과 학기술정보통신부장관은 이 법의 시행일로부터 1년 이내 에 권익영향 인공지능 용례의 신뢰성을 확보하기 위한 법 령의 정비에 참고할 수 있도록 다음 각 호의 내용을 포함 하는 신뢰성 확보 원칙을 고시한다. 1. 법령상 차별이 금지되는 사유에 대한 편향의 측정과 경감 2. 기술적으로 가능한 범위 내에서 최종결과 도출에 활용 된 주요 기준에 대한 설명 방안의 수립⋅시행 3. 그 밖에 권익영향 인공지능 용례의 신뢰성 확보를 위하 여 위원회에서 심의⋅의결된 사항 ② 다음 각 호의 중앙행정기관의 장 또는 위원회는 이 법의 시행일로부터 2년 이내에 제1항의 신뢰성 확보 원칙을 반 영하기 위한 다음 각 호의 법률의 개정안을 입법예고한다. 1. 공공서비스 제공에 필요한 자격 확인, 결정 또는 비용 징수 등 국민에게 영향을 미치는 국가기관등의 의사결 정의 신뢰성을 확보하기 위한 행정안전부장관의 ｢행정 절차법｣ 또는 ｢전자정부법｣ 개정안 2. 채용 의사결정의 신뢰성을 확보하기 위한 고용노동부 장관의 ｢채용절차의 공정화에 관한 법률｣ 개정안 3. 대출심사와 신용평가의 신뢰성을 확보하기 위한 금융 위원회의 ｢금융소비자 보호에 관한 법률｣ 및 ｢신용정보의 이용 및 보호에 관한 법률｣ 개정안 4. ｢교육기본법｣ 제9조제1항에 따른 유아교육⋅초등교육 및 중등교육에서의 학생 평가의 신뢰성을 확보하기 위한 교육부장관의 ｢유아교육법｣ 및 ｢초⋅중등교육법｣ 개정안

20페이지

24 정보법학 제28권 제3호

있는 문서의 작성과 보관 6. 그 밖에 고영향 인공지능의 안전성⋅신뢰성 확보를 위 하여 위원회에서 심의⋅의 결된 사항 ② 과학기술정보통신부장관은 제1항 각 호에 따른 조치의 구 체적인 사항을 정하여 고시하 고, 인공지능사업자에게 이를 준수하도록 권고할 수 있다. ③ 인공지능사업자가 다른 법 령에 따라 제1항 각 호에 준하 는 조치를 대통령령으로 정하 는 바에 따라 이행한 경우에 는 제1항에 따른 조치를 이행 한 것으로 본다.

｢보건의료기본법｣ 제3조제1호에 따른 보건의료 관련 자원의 배분 체계의 구축 및 운영의 신뢰성을 확보하기 위 한 보건복지부장관의 같은 법 개정안
그 밖에 권익영향 인공지능 용례의 신뢰성 확보를 위하 여 위원회에서 심의⋅의결된 사항

제35조(안전영향 인공지능 용례 관련 법령의 정비) ① 과 학기술정보통신부장관은 이 법의 시행일로부터 1년 이내 에 안전영향 인공지능 용례의 안전성을 확보하기 위한 법 령의 정비에 참고할 수 있도록 다음 각 호의 내용을 포함 하는 안전성 확보 원칙을 고시한다. 1. 안전기준(해당되는 범위 내에서 보안관리조치 기준과 긴급정지 포함) 2. 그 밖에 안전영향 인공지능 용례의 안전성 확보를 위하 여 위원회에서 심의⋅의결된 사항 ② 다음 각 호의 중앙행정기관의 장 또는 위원회는 이 법 의 시행일로부터 2년 이내에 제1항의 안전성 확보 원 칙을 반영하기 위한 다음 각 호의 법률의 개정안을 입 법예고한다. 1. ｢에너지법｣ 제2조제1호에 따른 에너지의 안전한 공급을 위한 산업통상자원부장관의 다음 각 목의 법률 개정안 가. ｢전기사업법｣, ｢전기안전관리법｣ 또는 ｢지능형전력 망의 구축 및 이용촉진에 관한 법률｣ 나. ｢도시가스사업법｣, ｢액화석유가스의 안전관리 및 사 업법｣ 및 ｢고압가스 안전관리법｣ 다. ｢수소경제 육성 및 수소 안전관리에 관한 법률｣ 2. ｢먹는물관리법｣ 제3조제1호에 따른 먹는물의 생산 공 정의 안전성을 위한 환경부장관의 같은 법 개정안 3. ｢원자력시설 등의 방호 및 방사능 방재 대책법｣ 제2조 제1항제1호 및 제2호에 따른 핵물질과 원자력시설의 안전한 관리 및 운영을 위한 원자력안전위원회의 ｢원 자력안전법｣ 개정안 4. ｢교통안전법｣ 제2조제1호부터 제3호까지에 따른 교통 수단, 교통시설, 교통체계의 주요한 작동 및 운영의 안 전성을 위한 국토교통부장관의 ｢자동차안전관리법｣, ｢항공안전법｣, ｢철도산업발전 기본법｣, ｢궤도운송법｣ 및 ｢국가통합교통체계효율화법｣, 해양수산부장관의

21페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 25

이와 같이 구성하면 고영향 AI 개념, 이에 대한 확인 절차 뿐 아니라, 사실조사나

과태료 규정도 필요 없게 된다. 개별 관청에 규제 정비 과업을 하달하는 방식이 미

국 행정명령은 몰라도 법률에는 합당한 형식이 아니라는 비판이 제기될 수 있으며,

위 개선안 제34조제2항, 제35조제2항은 실제 입법에서는 제외되어도 무방하나, 이

글에서는 개선안이 지향하는 대안적 체계를 명확히 하고자 넣었다.

그렇다면 각 중앙행정기관은 시한 내에 어떤 방식으로 법령을 정비할 것인가. 미

국의 지난 1년간의 E.O. 14110 이행을 방불케 하는 범정부적(whole-of-government)

작업이 되겠지만, (재량행위를 위한 AI 활용을 금지하고 기속행위를 위한 AI 활용

｢자율주행선박｣ 및 ｢지능형 해상교통정보서비스의 제공 및 이용 활성화에 관한 법률｣, 산업통상부장관 의 ｢지능형 로봇 개발 및 보급 촉진법｣ 개정안 5. ｢의료기기법｣ 제2조제1항에 따른 의료기기 및 ｢디지털 의료제품법｣ 제2조제2호에 따른 디지털의료기기의 안 전한 개발 및 이용을 위한 보건복지부장관의 ｢의료기 기법｣ 및 ｢디지털의료제품법｣ 개정안 6. 그 밖에 안전영향 인공지능 용례의 안전성 확보를 위하 여 위원회에서 심의⋅의결된 사항

제40조(사실조사 등) (생 략) 제40조(사실조사 등) <삭 제>

제43조(과태료) ① 다음 각 호 의 어느 하나에 해당하는 자 에게는 3천만원 이하의 과태 료를 부과한다. 1. 제31조제1항에 따른 고지 를 이행하지 아니한 자 2. 제36조제1항을 위반하여 국내대리인을 지정하지 아니한 자 3. 제40조제3항에 따른 중지 명령이나 시정명령을 이행 하지 아니한 자 ② 제1항에 따른 과태료는 대 통령령으로 정하는 바에 따라 과학기술정보통신부장관이 부과⋅징수한다.

제43조(과태료) ① (생 략) 1. <삭 제> 2. (생 략) 3. <삭 제> ② (생 략)

22페이지

26 정보법학 제28권 제3호

에 법률상 근거를 요하는 행정기본법 제20의 삭제와 병행할) 행정절차법(전자정부

법도 가능) 개정안을 예시하면 이하와 같다.50)

50) 박상철, “인공지능의 법적 규율 II: 판별모델”(주 11), 364∼366면 전재.

행정절차법

제5조의3(인공지능의 활용) ① 행정기관등의 장은 관련 법률에 따라 금지되거나 제 한되지 아니하면 행정작용에 인공지능을 활용할 수 있고, 인공지능의 활용을 통해 효율성⋅정확성⋅일관성⋅예견가능성등을 향상시킬 수 있는 행정작용의 용례를 발 굴하여 인공지능을 적용하도록 적극 노력하여야 한다. ② 행정안전부장관은 행정기관등의 장이 인공지능을 효율적으로 활용할 수 있도록 범용인공지능시스템과 ｢클라우드컴퓨팅 발전 및 이용자 보호에 관한 법률｣ 제2조제 3호에 따른 클라우드컴퓨팅서비스를 구축하고 이를 행정기관등의 장에게 제공하여 야 한다. 행정안전부장관이 이를 위해 발주하는 범용인공지능시스템과 클라우드컴 퓨팅서비스 시스템의 개발, 유지 또는 관리 사업에 대해서는 ｢소프트웨어 진흥법｣ 제48조를 적용하지 아니한다. ③ 행정기관등의 장은 행정작용에 대한 인공지능의 용례(권익⋅안전영향인공지능 용례 해당 여부 및 권익영향 인공지능 용례의 경우 결정의 주요 고려사항 및 주요 고려사항들이 결정에 미칠 영향을 포함한다)를 행정안전부장관에게 제출하고, 행정 안전부장관은 이를 공개한다. 다만, 제출 또는 공개가 국가안보상의 이유로 적절하 지 아니하거나 공개가 결정 결과에 대한 조작을 초래할 우려가 있는 경우에는 그러 하지 아니하다. ④ 행정기관등의 장은 인공지능을 활용하여 행정작용을 할 경우 다음 각 호의 조치 를 하여야 한다. 1. 권익영향 인공지능 용례(대통령령이 정하는 적합성평가를 받은 경우를 제외한다) 의 경우 부당한 차별의 위험에 대한 영향평가 2. 권익영향 인공지능 용례의 경우 영향을 받는 국민에 대하여 결정의 결과, 결정 과정에서의 주요 고려사항, 주요 고려사항들이 결정의 결과에 미친 영향에 관한 설명의 제공 3. 안전영향 인공지능 용례(대통령령이 정하는 적합성평가를 받은 경우를 제외한다) 의 경우 안전 위험에 대한 영향평가 4. 보안관리조치 ⑤ 제3항 및 제4항의 규정에 따른 인공지능 용례의 제출 및 공개, 영향평가⋅설명 의 제공⋅보안관리조치의 방법 및 절차에 필요한 사항은 대통령령으로 정한다.

제20조(처분기준의 설정⋅공표) ③ 제1항에 따른 처분기준을 공표하는 것이 해당

23페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 27

위 개정안을 통해 달성하고자 하는 것은 비단 행정작용을 위한 AI의 활용 촉진

뿐 아니라 클라우드와 AI에 대한 공공조달시장의 적극 조성을 통해 빅테크의 공세

앞에 국내 개발자들이 숨 쉴 틈을 마련해 주는 것이다. 우리의 안보환경을 고려한

엄정한 보안관리조치 요건이 이 목적에 기여할 수 있다.51)

Ⅲ. 축조상 문제점과 개선방안

AI기본법 중 규제 조항은 II항에서 살펴보았듯이 체계상 문제가 있을 뿐 아니라

축조도 엉성하여 개선의 여지가 큰데, 차례로 살펴본다.

AI와 AI시스템의 정의

제2조(정의) 이 법에서 사용하는 용어의 뜻은 다음과 같다. 1. “인공지능”이란 학습, 추론, 지각, 판단, 언어의 이해 등 인간이 가진 지적 능력 을 전자적 방법으로 구현한 것을 말한다. 2. “인공지능시스템”이란 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등의 결과물을 추론 하는 인공지능 기반 시스템을 말한다.

51) 같은 글, 364면.

처분의 성질상 현저히 곤란하거나 공공의 안전 또는 복리를 현저히 해치는 것으로 인정될 만한 상당한 이유가 있거나 제5조의3제3항에 따라 인공지능의 용례를 공개 한 경우에는 처분기준을 공표하지 아니할 수 있다.

제22조(의견청취) ⑤ 행정청은 청문⋅공청회 또는 의견제출을 거쳤을 때에는 신속 히 처분하여 해당 처분이 지연되지 아니하도록 하여야 한다. 다만, 제5조의3제3항 에 따른 인공지능을 활용한 처분의 경우 필요한 경우 행정기관등의 장의 인적 개입 을 통해 수렴된 의견을 반영할 수 있다.

제23조(처분의 이유 제시) ① 행정청은 처분을 할 때에는 다음 각 호의 어느 하나 에 해당하는 경우를 제외하고는 당사자에게 그 근거와 이유를 제시하여야 한다. 4. 제5조의3제4항제2호에 따라 권익영향 인공지능 용례를 활용한 행정작용에 대해 설명을 제공하는 경우

24페이지

28 정보법학 제28권 제3호

AI기본법상 AI와 AI시스템의 정의는 이상과 같다. 이 개념들은 향후 온갖 법령

에서 인용될 것이므로 지극히 중요하다. 상대적으로 양호한 수준 정도로는 안 되

고, 단어 하나하나마다 신경 쓰며 마련해야 한다. 그러나 아쉽게도 현재 조항은 그

렇지 못하다.

(1) AI의 정의

현 조항처럼 AI를 “인간이 가진 지적 능력”의 “구현”으로 정의하는 것은 기술적

으로 옳지 않으며 법적 정의로도 부적절하다. 학계에서 초창기에 튜링 테스트

(Turing test)의 영향을 받아 AI를 사람처럼 생각하거나 행동하는 것으로 정의 내린

예가 없진 않다.52) 그러나 법적 정의는 AI를 非AI로부터 불확실성 없이 구분하는

기준이 될 수 있어야 하기에, 의인법(anthropomorphism)에 의탁할 수 없다. 컴퓨터

과학자들도 근래에는 합리성(rationality)에 근거하여 AI를 정의한다.53) 특히 현 AI

의 중심에 놓여 있는 기계학습(machine learning)은 합리성의 구현을 위해 주어진

목적함수(objective function) 내지 효용함수(utility function)를 극대화[또는 손실함수

(loss function) 내지 비용함수(cost function)를 최소화]할 뿐, 사람 능력의 구현과는

무관하다. 예컨대 자율주행차는 자동차를 사람의 개입 없이 이동시키는 시스템일

뿐 사람의 운전 지능을 구현하기 위해 설계된 것은 아니라며 AI기본법 상 정의를

52) John Haugeland, Artificial Intelligence: The Very Idea (1985), p. 2 (“‘AI’ wants only the genuine article: machines with minds, in the full and literal sense”); Richard E. Bellman, An Introduction to Artificial Intelligence: Can Computers Think? (1978), p. 3 (“a performance of activities that we associate with human thinking, activities such as decision making, problem solving, learning creating, game playing, and so on”); Elaine Rich, Artificial Intelligence (1983), p. 1 (“the study of how to make computers do things at which, at the moment, people are better”). 53) Stuart J. Russell and Peter Norvig, Artificial Intelligence: A Modern Approach (2021, 4th Ed.), pp. 1, 4; David Poole and Alan Mackworth, Computational Intelligence: A Logical Approach (2010), p. 1 (“the filed that studies the synthesis and analysis of computational agents that act intelligently”); Robert J. Schalkoff, Artificial Intelligence: An Engineering Approach (1990), p. 1 (“a field of study that seeks to explain and emulate intelligent behavior in terms of computational processes”); Nils J. Nilsson, The Quest for Artificial Intelligence: A History of Ideas and Achievements (2010), p. xiii (“that activity devoted to making machines intelligent, and intelligence is that quality that enables an entity to function appropriately and with foresight in its environment”); Stuart J. Russell and Eric Wefald, Do the Right Thing: Studies in Limited Rationality, p. 2 (“the problem of designing systems that do the right thing”).

25페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 29

비판하는 견해가 제시되었는데54) 크게 동감한다. 나아가 AI는 특정 분야에서 이미

“인간이 가진 지적 능력”을 뛰어넘는 성능을 구현 중인데 그러면 법적으로 AI가

아닌 것인가. 심층학습(deep learning)을 위해 고안된 인공신경망(artificial neural

network)이 사람의 신경망 구조에서 아이디어를 얻어 고안된 것은 사실이나, 인간

의 지적 능력을 구현하는 것은 아니며, 심층학습이 AI의 전부도 아니다. 필자는 주

요국의 법령 중 의인화에 입각한 정의를 내린 사례를 알지 못한다. 의인법을 기어

이 써야만 했더라도 Kurzweil (1990)의 정의55)처럼 “인간이 했더라면 지적 능력을

요하였을 기능을 ... 수행” 정도라도 정정해 놓았어야 한다.

의인법에서 벗어나 기술중립성도 유지하면서 외연⋅내포를 재정비하려면 사고

중심접근보다는 행동중심접근(behavior-focused approach), 특히 ① 현실 또는 가상

환경의 인식(perceive) → ② 추론(reason) → ③ 예측⋅추천⋅결정(act)이라는 행동

과정 중심 정의56)의 반영을 고려할 수 있다. 실제 국내의 기존 자율시스템 관련 법

령들이 행동과정 중심 정의에 입각해 있다.57) 여기에 인식의 자동화된 방식으로의

분석, 모델의 추상화, 선택의 수식화 등 기술중립성을 해하지 않는 범위 내에서 현

재 사용되는 기계학습 기술의 특징적인 요소들을 일부 반영해서 범위를 합리적으

로 한정할 수 있다.

54) 강현구, “인공지능의 법적정의와 인공지능기술 발달에 따른 국가의 기본권 보호의무”, ｢헌법재판

연구｣ 제8권 제2호 (2021), 43∼44면. 55) Ray Kurzweil, The Age of Intelligent Machines (1990), p. 14 (“The art of creating machines that perform functions that require intelligence when performed by people”). 56) High-Level Expert Group on Artificial Intelligence, European Commission, “A Definition of AI: Main Capabilities and Scientific Disciplines”, Apr. 8, 2019; Patrick H. Winston, Artificial Intelligence (1992, 3rd Ed.), p. 5 (“Artificial intelligence is the study of the computations that make it possible to perceive, reason, and act”). 57) 지능형로봇법은 “지능형 로봇”을 “외부환경을 스스로 인식하고 상황을 판단하여 자율적으로 동작

하는 기계장치(기계장치의 작동에 필요한 소프트웨어를 포함한다)”로 정의한다(제2조제1호). 자

율주행차법은 “자율주행시스템”을 “운전자 또는 승객의 조작 없이 주변상황과 도로 정보 등을 스

스로 인지하고 판단하여 자동차를 운행할 수 있게 하는 자동화 장비, 소프트웨어 및 이와 관련한

모든 장치”로 정의한다(제2조제1항제2호; 도로교통법 제2조제18의2호가 준용). 자율운항선박법 (2025. 1. 3. 시행)은 “자율항해시스템”을 “선원의 조작 없이 주변상황에 대한 외부센서 정보, ｢지

능형 해상교통정보서비스의 제공 및 이용 활성화에 관한 법률｣ 제2조제2호에 따른 해상교통정보, ｢선박교통관제에 관한 법률｣ 제2조제1호에 따른 선박교통관제 정보, 자율운항선박의 내부기기 상

태에 대한 정보 등 관련 정보를 스스로 인지하고 판단하여 선박을 운항할 수 있게 하는 자율화 장

비, 소프트웨어 및 이와 관련된 모든 장치”로 정의한다(제2조제2호가목).

26페이지

30 정보법학 제28권 제3호

(2) AI시스템의 정의

현 조항의 “인공지능시스템” 정의는 OECD의 2019년 AI시스템 정의58)를 따르면

서, OECD의 2024. 3.에 나온 AI시스템 정의 업데이트59)는 “적응성(adaptiveness)”

정도만 반영했다. 2024. 8. 1.에 통과된 EU AI법은 위 업데이트를 5달 만에 AI시스

템 정의(Art. 3(1))에 완전히 반영한 바 있다. 특히 주로 생성시스템을 포괄하기 위

해 2024년에 업데이트된 내용을 살펴보면 이하와 같은데,

An AI system is a machine-based system that can, for a given set of human-defined explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as makes predictions, content, recommendations, or decisions that can influencinge physicalreal or virtual environments. Different AI systems are designed to operate with varying in their levels of autonomy and adaptiveness after deployment.

법적으로는 AI기본법상 정의에 업데이트된 “적응성” 이상으로 위 정의에 입력값

(input)과 출력값(output) 개념이 포함된 것이 중요한 의미가 있다. 근래에 생성시스

템의 토큰(token)(언어모델의 경우 통상 형태소(morpheme), T2I (text-to-image) 모델

의 경우 이미지 조각)이 규범적으로 가중치, 편이 등 파라미터(parameter)의 집합인

생성모델의 일부를 구성하는지에 관해 법적 논란이 있다.60) 이에 따라 규제 대상

58) Organisation for Economic Co-operation and Development (OECD), “Recommendation of the Council on Artificial Intelligence”, OECD/LEGAL/0449, May 22, 2019. 59) OECD, “Explanatory Memorandum on the Updated OECD Definition of an AI System”, DSTI/CDEP/AIGO(2023)8/FINAL, Mar. 2024. 60) 독일 함부르크 정보보호청은 2024. 7. 거대언어모델(LLM)의 학습 과정에서 토큰화와 임베딩 프

로세스가 텍스트를 “추상적인 수학적 표상들(abstrakte mathematische Repräsentationen)”으로 변

환하여 “특정 개인에 대한 구체적인 특성⋅참조”를 잃고 “학습데이터로부터 도출되는 일반적인 패

턴과 상관관계”를 반영하므로 LLM이 GDPR에 따른 개인정보를 저장하지 않는다는 견해를 표하

였다(Der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit, “Diskussionpapier: Large Language Models und personenbezogene Daten”, Jul. 15, 2024). 덴마크 정보보호청은 2023년에 AI모델이 그 자체로 개인정보를 포함하지는 않으며, 개인정보의 처리의 결과에 불과하

다고 보았다(Datatilsynet, “Offentlige myndigheders brug af kunstig intelligens”, Oct. 2023). 개

인정보보호위원회, “안전한 인공지능(AI)⋅데이터 활용을 위한 AI 프라이버시 리스크 관리 모델”, 2024. 12. 19., 3면, 각주 2(고학수 위원장님 지침으로 반영된 부분) 및 Future of Privacy Forum, “Do LLMs Contain Personal Information? California AB 1008 Highlights Evolving, Complex

27페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 31

AI시스템이 토큰까지 논란 없이 포괄할 수 있도록 AI시스템의 정의에서 입력값과

출력값을 명시⋅포괄하는 입법례가 출현하고 있다.61) 그 밖에 “사람이 정의한 주

어진 목표 집합”을 “명시적 또는 묵시적 목표”로 수정한 것은 어텐션(attention) 등

비지도학습 기법이 대세가 된 현상을 반영한 적절한 수정이다. 결과값에 “콘텐트”

가 추가된 것은 “예측”이 이미 있었기 때문에 결정적인 의미가 있다고까지 할 순

없으나62) 기술적 이해가 많지 않은 일반 수범자들에게 생성모델이 이 정의에 포괄

된다는 점을 명확히 해주는 역할은 수행할 수 있다. 따라서 2024년 수정사항은 반

드시 반영되었어야 했다.

그러나 OECD 정의도 법적 정의에 바로 가져다쓸 만큼의 최첨단(state-of-the-art;

SOTA)의 정의는 아니라고 생각된다. “다양한 수준의 자율성과 적응성을 가지고”

는 자율성과 적응성이 매우 적어도 된다는 취지라 법률요건으로서의 효익은 크지

않고, “다양한 수준”이란 표현이 선을 그어주는 것이 본분인 법률요건에 쓰이기에

적합한지도 의문이다. “예측, 콘텐트, 추천, 결정 등”은 예시이므로 남는 핵심은

“주어진 목표를 위하여 실제 및 가상환경에 영향을 미치는 결과물을 추론”한다는

것이다. 그러나 이 정의는 외연이 모호하고 넓어 “인공지능”의 의미를 넓게 잡으면

상식적으로 AI라고 보기 어려운 소프트웨어군이 광범위하게 포함될 수 있다. 어느

소프트웨어나 주어진 목표가 있고, 적어도 가상환경에 영향을 미치며, 결과물을 산

출하기 때문이다. 앞서 AI의 정의에 관해 논의한대로 행동과정 중심 정의를 가미

해서 충분히 AI의 외연을 한정해 줄 필요가 있다.

Techno-Legal Debate”, Oct. 25, 2024에서 재인용. 61) 미국 캘리포니아 소비자 프라이버시법(Consumer Privacy Act of 2018; CCPA)의 2024. 10. 28.자

개정사항(AB-1008)(2025. 1. 1. 시행)은 동 법상 개인정보(personal information)의 정의에 개인정

보가 “압축되거나 암호화된 파일들, 메타데이터, 또는 개인정보를 출력할 수 있는 인공지능” 등 “추상적 디지털 포맷(abstract digital formats)”을 포함할 수 있음을 명시했다. 개인정보보호위원

회, 위 모델, 3면, 각주 2 및 Future of Privacy Forum, 위 보고서에서 재인용. 62) 생성모델은 여느 예측모델들과 기술적으로 다르지 않다. GPT 등 마스크된(masked) 언어모델을

기준으로 설명하자면 결국 주어진 시퀀스(sequence) 다음에 올 개연성이 높은 토큰(에 대한 벡터

표상)을 예측(predict)하는 것이다. 출력된 토큰을 계속 입력값으로 투입하는 되물림 과정으로 시

퀀스를 “생성”하는 것이나 이 되물림 과정도 토큰을 하나씩 예측한다는 본질을 바꾸지 않는다. 트

랜스포머(Transformer) 기술을 적용할 경우 각 토큰의 문맥까지 고려해서 예측하고자 토큰을 예

측모델에 투입하기 전에 어텐션(attention)에 입력해서 문맥(context)을 표상하는 어텐션 값 (attention value)을 반환받은 후 이를 토큰과 함께 모델에 투입해서 보다 정교하게 예측을 한다는

차이만 있을 뿐이다. 따라서 정의 상 생성을 예측과 별도로 명시할 필연적 이유까지는 사실 없다.

28페이지

32 정보법학 제28권 제3호

(3) 수정안

이상의 문제점을 고려하여 AI와 AI시스템 개념을 재정비해야 한다. 현재와 같은 형태

의 AI의 정의에 있어 모델 개념은 불가결하고, 다른 법에서 모델에 대한 규율을 해야 하

는 경우가 많을 수 있어, 모델의 정의도 내릴 필요가 있다. OECD 정의에서 출발하면서

도 행동 과정 중심 정의 및 AI시스템에 대한 최근의 논의까지 고려한 법적 정의 중

SOTA에 해당한다고 생각되는 것은 미국 국가AI이니셔티브법(National Artificial

Intelligence Initiative Act of 2020)상 AI의 정의(§ 9401(3))63)와 AI행정명령(E.O. 14110) 상

AI모델의 정의(Sec. 3(c))64) 및 AI시스템의 정의(Sec. 3(e))65)이다. 다만, 이들은 OECD 정

의의 2024년 업데이트 전에 나온 것들이라 동 업데이트의 반영이 필요하다.66) 이들을

종합적으로 고려하여 AI와 AI시스템 정의의 개선안을 마련하면 다음과 같다.

63) “The term ‘artificial intelligence’ means a machine-based system that can, for a given set of human-defined objectives, make predictions, recommendations or decisions influencing real or virtual environments. Artificial intelligence systems use machine and human based inputs to—

(A) perceive real and virtual environments; (B) abstract such perceptions into models through analysis in an automated manner; and (C) use model inference to formulate options for information or action.” 64) “The term ‘AI model’ means a component of an information system that implements AI technology and uses computational, statistical, or machine-learning techniques to produce outputs from a given set of inputs.” 65) “The term ‘AI system’ means any data system, software, hardware, application, tool, or utility that operates in whole or in part using AI.” 66) 예컨대 국가AI이니셔티브법상 AI 정의는 OECD의 2019년 AI 정의에 따라 “사람이 정의한 주어진

목표 집합(a given set of human-defined objectives)”에 대한 예측⋅추천⋅결정을 요건으로 하나, 앞서

살펴본 대로 OECD의 2024년 업데이트에서 이 문구를 “주어진 묵시적 또는 명시적 목표”로 교체했다.

제2조(정의) 1. “인공지능”이란 기계 또는 사람의 입력값을 사용하여 실제 또는 가상 환경을 인

식하고, 이러한 인식을 자동화된 방식으로 분석하여 모델로 추상화하며, 모델 추 론을 통해 정보 또는 행동에 대한 선택을 수식화함으로써, 주어진 명시적 또는 묵시적 목표를 위하여 실제 또는 가상 환경에 영향을 미칠 수 있는 예측, 콘텐 트, 추천 또는 결정 등의 출력값을 산출할 수 있는 기계 기반 시스템을 말한다. 2. “모델”이란 주어진 입력값의 집합에서 출력값을 산출하기 위해 인공지능 기술을

실행하고 연산적, 통계적 또는 기계학습적 기법을 활용하는 정보시스템의 구성 요소를 말한다.

29페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 33

AI 가치망 참여자의 정의와 역할 배분: AI개발사업자, AI이용사업자, 이용자, 영향

받는 자

제2조(정의) 7. “인공지능사업자”란 인공지능산업과 관련된 사업을 하는 자로서 다음 각 목의 어느 하나에 해당하는 법인, 단체, 개인 및 국가기관등을 말한다. 가. 인공지능개발사업자: 인공지능을 개발하여 제공하는 자 나. 인공지능이용사업자: 가목의 사업자가 제공한 인공지능을 이용하여 인공지능제 품 또는 인공지능서비스를 제공하는 자 8. “이용자”란 인공지능제품 또는 인공지능서비스를 제공받는 자를 말한다. 9. “영향받는 자”란 인공지능제품 또는 인공지능서비스에 의하여 자신의 생명, 신체 의 안전 및 기본권에 중대한 영향을 받는 자를 말한다.

AI기본법은 AI 가치망 참여자들 중 EU AI법상 프로바이더(provider)와 디플로이

어(deployer) 개념을 참조하여 “인공지능개발사업자”와 “인공지능이용사업자”를 이

상과 같이 정의하고 있다. 아울러 “이용자”와 “영향받는 자”를 구분하여 정의한다.

(1) 용어의 명명과 정의: “인공지능개발사업자” → “개발자”, “인공지능이용사업

자” → “실행자”

용어의 명명은 나름 고민의 결과이겠지만 역시 개선의 여지가 크다. 고영향

AI는 사경제주체보다 국가기관등이 제공하는 것이 더 많은데, 영리성이 없는

국가기관등을 “사업자” 내지 “인공지능산업과 관련된 사업을 하는 자”라 칭하

는 것은, 영리⋅계속⋅반복성을 중심으로 잘 정의된 “사업”이라는 법적 용

어67)의 오용이다. EU AI법상 프로바이더(provider)에 해당하는 “인공지능개발

67) “어느 사업이 비영리공익사업인지의 여부는 그 사업이 수익성이 있는 것인지의 여부, 그 사업의

규모, 횟수, 태양 등에 비추어 수익을 목적으로 하면서 사업활동으로 볼 수 있을 정도의 계속성과

반복성을 가지고 있는 것인지의 여부 등을 고려하여 사회통념에 따라 합리적으로 판단하여야 하

는 것이다”(대법원 1999. 7. 9. 선고 97누20724 판결). “소득세법에서 말하는 사업에의 해당 여부

는 당해 금전거래행위의 영리성, 계속성, 반복성의 유무, 거래기간의 장단, 대여액과 이자액의 다

“인공지능시스템”이란 전부 또는 일부 인공지능을 사용하여 작동하는 데이터 시

스템, 소프트웨어, 하드웨어등 정보시스템을 말한다.

30페이지

34 정보법학 제28권 제3호

사업자”는 “개발자”, 디플로이어(deployer)에 해당하는 “인공지능이용사업자”

는 “실행자”로 칭하는 것이 낫다. 이용사업자라는 용어는 플랫폼 규제법안들

이 준비되는 과정에서 EU 디지털시장법(Digital Markets Act), Art. 2(21)가 정의

하는 “business user”를 번역한 용어라, 디플로이어 개념과는 뿌리가 다르고, 향

후 플랫폼법이 제정될 경우 플랫폼 입점업체를 의미하는 이용사업자 개념과

얽혀 해석상 혼란을 일으킬 것이다. “인공지능이용사업자”에 해당하는 개념을

수범자에게 마치 별개의 개념처럼 보이는 “제품 또는 서비스를 제공”으로 한

정하다보니 혼동을 유발하고 효율적이지도 않다. “실행자”란 용어는 어감이

어색한 단점이 있으나, 컴퓨터과학에서 프로그램의 구동(run)을 실행(execute)

이라고도 칭하니 공무나 사업용으로 AI를 이용한다는 의미와 어울리고, “제품

또는 서비스를 제공”이라는 한정 문구를 “실행”으로 깔끔하게 대체할 수 있어

축조를 간소화시키며, 수범자의 혼동을 줄여주는 장점이 있다. “실행자”가 어

색하다면 (후술하듯이 기존의 “이용자” 개념을 삭제한다는 전제 하에서) “이용

자”나 “활용자”도 고려할 수 있다. “개발자”와 “실행자”라는 용어를 채택할 경

우 “인공지능이용사업자”는 “개발⋅실행자”로 통칭할 수 있을 것이다.

(2) 개발자와 실행자의 AI 가치망 내 역할 분담

용어의 명명보다 중요한 것은 합리적인 법적 의무 범위의 구획을 통해 개발자와

실행자의 역할을 효율적으로 분담시키는 것이다. 프로바이더와 디플로이어의 의무

를 비교적 상세히 구분해 놓은 EU AI법조차도 해석상 양자의 의무의 범위가 명확

치 않다는 비판이 제기된다.68) 그런데 AI기본법은 이러한 구분조차 하지 않고 모

든 의무항목에 대해 “인공지능개발사업자”와 “인공지능이용사업자”를 섞은 “인공

지능사업자”를 주체로 규정하여, 더 큰 혼란을 초래한다. 다만, 일부 해석에 단서가

될 문구들을 통해 “인공지능개발사업자”와 “인공지능이용사업자”에 대한 적용 여

부를 해석해 보면 <표 3>과 같다.

과 등 제반 사정을 고려하여 사회통념에 비추어 결정하여야 할 것이다”(대법원 2005. 8. 19. 선고 2003두14505 판결; 대법원 1998. 9. 8. 선고 97누3668 판결). 68) Sandra Wachter, Limitations and Loopholes in the EU AI Act and AI Liability Directives: What This Means for the European Union, the United States, and Beyond, 26(3) Yale J. L. Tech 671, 687–689 (2024).

31페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 35

조 항 해석에 단서가 될 만한 문구

해석

EU AI법의 경우

(수평규제를 유 지할 경우) 합리적 대안

개발 사업 자

이용 사업 자

제31조 (투명성)

제1항 (AI 기반 운용 고 지)

“고영향 인공지능 또는 생성형 인공 지능을 이용한 제 품 또는 서비스를 제공하려는 경우”

× ○

 고위험AI: 고용 현장 AI, 자연인 관련 결정 AI에 적용 되며, deployer 의무(26(7), (11)).  사람 상호 작용 AI: provider 의무(50(1))

 고영향AI: 삭제 (굳이 넣자면 실행 자 의무)  생성AI: 대 화형 에이전 트 실행자에 한정

제2항 (생 성AI 제 공⋅이용 시 표시)

“생성형 인공지능 또는 이를 이용한 제품 또는 서비스 를 제공하는 경우 “

○ ○ Deployer 의무(50(4)) 실행자에 한정

제3항 (생 성AI 결 과물 제 공 시 고 지⋅표시)

“인공지능시스템 을 이용하여 실제 와 구분하기 어려 운 가상의 음향, 이미지 또는 영상 등의 결과물을 제 공하는 경우 “

× ○ Provider 의무 (50(2))

 출처데이터 추적 기술 적용: 개발 자 의무  레이블링: 실행자 의무

제32조 (대규모 AI 안전성)

제1항 (안 전성 확 보 의무) (한정 문구 없음) ○ ○

Provider 의무 (53, 55)

개발자에 한정 제2항 (이 행결과 제출의무) (해당 없음)

<표 3> AI기본법상 인공지능개발⋅이용사업자의 의무

32페이지

36 정보법학 제28권 제3호

이 해석을 전제하여 각 조항들의 의무 배분 방식의 문제점을 하나씩 살펴본다.

첫째, 제31조(투명성)는 축조 방식에 문제가 많아 개발자와 실행자에 어떤 의무를

부과하려는 것인지 확정적으로 해석하기 어렵다. 입법자의 의도를 추정컨대 제1항

은 고영향AI와 생성AI에 대한 비인성(non-human identity) 고지 의무, 제2항은 생성

AI 제공⋅실행 시 생성AI에 의한 합성콘텐트(synthetic content)의 생성 사실의 표지

의무, 제3항은 (제2항과 명확히 구분되지는 않으나) 합성콘텐트(텍스트 제외) 제공

시 워터마킹(watermarking) 등 출처데이터추적(provenance data tracking) 기술의 적

용을 포함한 고지⋅표시 의무를 부과하고자 했던 것으로 해석해 본다. 이 해석이

맞다는 가정 하에 합리적인 역할 분담 방안을 제안하면 이하와 같다.

 제1항(AI 기반 운용 고지): 고영향AI의 경우 사람이 알고리듬 선호

(algorithm preference)가 있는지 알고리듬 기피(algorithm aversion)가

있는지에 대한 상반된 실증연구 결과들이 대립하여69) 일률적인 고

69) Ekaterina Jussupow, Izak Benbasat, and Armin Heinzl, Why Are We Averse Towards Algorithms?

제33조 (고영향 확인)

제1항 (고 영향 사 전 검토 의무)

“인공지능 또는 이 를 이용한 제품⋅ 서비스를 제공하 는 경우 “

○ ○ Provider 의무 (6(4))

개발자에 한정, 실행자 요청 시 정보제공.

제34조 (사업자 책무)

제1항 (안 전⋅신뢰 확보조치 의무)

“고영향 인공지능 또는 이를 이용한 제품⋅서비스를 제공하는 경우”

○ ○

Provider 의무 (16(a)). 일부 만 deployer에 적용(26)

개발자 전부 적 용, 실행자 일 부 적용(보호방 안, 인적 감독, 문서 보관만)

제35조 (영향 평가)

제1항 (영 향평가 노력 의 무)

“고영향 인공지능 을 이용한 제품 또는 서비스를 제 공하는 경우 “

× ○ Deployer 의무(27) 현재처럼 실행 자에 한정

제36조 (국내대 리인 지정)

제1항 (국 내대리인 지정⋅신 고의무)

(한정 문구 없음) ○ ○

Provider 의무(22). Deployer에 정보제공 (13(3)(a))

개발자에 한정

33페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 37

지 의무 부과가 타당할지는 의문이다. 고지의무를 규정하더라도 EU

AI법 Art. 26(7), (11)처럼 고용 현장 AI나 자연인 관련 의사결정 AI의

실행자의 “영향받는 자”(노동자, 구직자, 대출신청자 등)에 대한 의

무로 한정해야 하며, AI기본법보다는 각 개별 법령에서 사안의 특성

에 맞게 규정해야 한다. 생성AI의 경우 EU AI법 Art. 50(1)처럼 사람

과 상호작용하는 챗봇 등 대화형 에이전트(conversational agent)의 실

행자에 대해서만 상대방에 대한 고지의무를 부과해도 충분하다. 예

컨대 T2I 모델에 기한 이미지 합성 웹사이트의 운영자로 하여금 AI

로 이미지 합성을 할 목적으로 동 웹사이트에 접속해서 이용하는 이

용자에게 AI 기반 운용 사실을 굳이 고지하라는 것은 무의미하다.

 제2항(생성AI 제공⋅실행 시 표시): 표시가 AI에 의한 생성 사실의

고지의무를 의도한 것이라면 생성AI를 이용하여 합성콘텐트를 합성

한 실행자나 개인이용자가 합성콘텐트의 배포 과정에서 해야 할 사

항인 것이나, 개인이용자에게 법적 의무를 부과하는 것은 과하므로,

EU AI법 Art. 50(4)처럼 실행자의 의무로 한정해야 한다.

 제3항(생성AI 결과물 제공 시 고지⋅표시): “표시”가 워터마킹 등 출

처데이터추적 기술 적용을 의도한 것이라면 개발자가 할 수 있는 것

이고, EU　AI법 Art. 50(2)도 프로바이더의 의무로 정하고 있다. “이

용자가 명확하게 인식할 수 있는 방식”이 아닌 합성콘텐트로 기만당

하거나 성적 피해를 입는 “영향받는 자”가 합성콘텐트탐지(synthetic

content detection) 기술 등을 통해 “용이하게 인식할 수 있는” 방식이

어야 한다. “고지”가 합성콘텐트라는 점을 명시하는 레이블링

(labeling)을 의도한 것이라면 제2항과 관련하여 살펴보았듯이 실행

자의 의무이나, 이렇게 해석하면 제2항과 적용 범위가 겹치게 된다.

둘째, 대규모 모델 안전성 확보 의무(제32조제1항), 이행결과 제출의무(제2항)은

EU AI법 Art. 53, 55처럼 실행자가 아닌 개발자의 의무로 규정해야 한다. 현재 조항

A Comprehensive Literature Review on Algorithm Aversion, European Conference on Information Systems (ECIS2020) 13 (2020).

34페이지

38 정보법학 제28권 제3호

대로라면 GPT API를 활용하여 앱을 서비스하는 스타트업들이 전부 동 조항의 규

제를 받게 되어 불합리하며, 국제적인 프론티어AI 통제 제도의 맥락에서도 크게

벗어나게 된다.

셋째, 고영향 AI의 확인(제33조)은 개발자에 한정하되 실행자가 요청 시 정보를

제공하도록 해야 한다. 고영향 AI 사업자 책무(제34조)는 EU AI법 Art. 16(a)처럼

기본적으로 개발자의 의무로 정하되, 실행자에게는 일부 항목(영향 받는 자의 보호

방안, 인적 감독, 문서 보관)만 적용할 수 있을 것이다. 단, 수평규제체계에서 벗어

날 경우 이 문제는 해결된다.

넷째, AI 영향평가(제35조)는 현재 조항과 EU AI법 Art. 27처럼 개발자가 아닌

시민에 영향을 미치는 실행자의 의무로 한정하는 것이 합리적이다.

다섯째, 국내대리인 지정을 EU AI법 Art. 22과 달리 실행자에게까지 요구하는 것

은 과하며 개발자에게 의무를 한정해야 한다.

(3) 실행자 범위의 합리적 한정

EU AI법은 디플로이어를 “AI시스템을 이용하는 자연인 또는 법인, 공공기관, 기관

또는 기타 단체로서, 개인적⋅비전문적 활동 과정에서 AI시스템을 이용하는 경우를

제외”한다고 정의한다(Art. 3(4)). AI기본법은 “인공지능이용사업자”를 “[인공지능개

발사업자]가 제공한 인공지능을 이용하여 인공지능제품 또는 인공지능서비스를 제

공하는 자”로 정의하여, “개인적⋅비전문적 활동 과정”을 AI 제품⋅서비스 제공으로

치환한다. 그러나 AI 제품⋅서비스 제공을 요건으로 규정하다보니 AI를 직접 이용하

지 않는 제품의 유통자나 서비스의 재판매자에게도 적용되는 것으로 해석될 여지가

생기고, 이 경우 EU AI법에 비해서도 적용 범위가 과하게 넓어진다. 예컨대 한국수

력원자력이 개발자로부터 AI시스템을 구매하여 이것으로 원전을 제어하여 전력을

생산하면 원전 인근 주민들에게 안전 영향을 끼칠 수 있으니 실행자로 볼 수 있지만,

한국전력이 전력거래소에서 이 전력을 구매하여 시민들에게 공급하는 것까지 실행

자라고 보아 규제할 것은 아니다. 자율주행차 제조사는 개발자로서 규제를 받겠지만

(판매 이후에도 계속 차량의 원격제어를 하지 않는 이상) “인공지능제품”을 “제공”

했다는 이유로 판매 이후에도 계속적으로 인적 감독 등 실행자 규제를 받는 것은 불

합리하며, 단순한 자율주행차 판매자를 규제하는 것은 더 불합리하다. 이러한 해석

상의 불합리를 완화하기 위해, 사업 또는 공무 목적상 이용에 초점을 두어 정의하되,

35페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 39

적용 시점을 EU AI법 Art. 2(1)(a), (6)가 규정하는 바와 마찬가지로 연구개발 시를 제

외하고 출시 이후로 한정하는 방식으로 합리화할 필요가 있다.

(4) “이용자” 삭제와 “영향받는 자”로의 일원화

“이용자” 개념은 우선 “인공지능이용사업자”와 외연이 겹쳐 혼란을 야기할 것이

다. “이용자”는 규제 조항에 세 번 등장하는데, (1) 제품⋅서비스의 AI 기반 운용

사실 고지 대상(제31조제1항)은 고영향AI의 경우 예컨대 한국수력원자력이 원전으

로 전력을 생산할 경우 전력 이용자가 아닌 인근 주민들이 되어야 하니, “이용자”

가 아닌 “영향받는 자”가 되어야 하고, 생성AI는 앞서 살펴본대로 대화형 에이전트

의 상대방이 되어야 하며, (2) 합성콘텐트가 AI 생성물이라는 사실의 경우, 이용자

는 타인의 기만 또는 성적인 목적으로 합성콘텐트를 알면서 만들고, 그 이용자에

게 속을 수 있는 제3자가 명확하게 인식할 수 있는 방식이어야 하므로, “이용자가

명확하게 인식할 수 있는 방식”(제31조제3항)이 아니라 “영향받는 자가 용이하게

인식할 수 있는 방식”으로 고지⋅표지해야 하며, (3) 고영향 AI 사업자는 이용자

보호 방안을 수립⋅운영하도록 하고 있으나(제34조제1항제3호), 권익영향 AI은 이

용자가 아닌 분류대상자(채용AI의 경우 구직자, 신용평가AI의 경우 신용평가 대상

자)를 보호해야 하고, 안전영향 AI는 이용자가 아닌 지나가는 보행자 등 제3자를

보호해야 하니, 이용자 대신 영향받는 자의 보호 방안을 수립⋅운영하도록 해야

한다. 결국 “이용자” 개념은 “영향받는 자”로 대체하여 삭제해야 한다. EU AI법도

본문에 이용자(user)란 말이 거의 나오지 않고, 대체로 영향받는 자(affected person)

에 대한 조치를 취하도록 한다.

(5) 수정안

상기 검토 결과들을 종합적으로 반영한 정의의 수정안은 다음과 같다.

제2조(정의) 7. “개발⋅실행자”란 다음 각 목의 어느 하나에 해당하는 법인, 단체, 개인 및 국가 기관등을 말한다. 단, 인공지능제품이나 인공지능서비스의 대한민국 내 출시 전 (출시 전 연구개발 단계를 포함한다)에는 그 인공지능제품이나 인공지능서비스에 대한 관계에서는 개발자나 실행자로 보지 아니한다.

36페이지

40 정보법학 제28권 제3호

고영향 AI의 규제

II장에서 이미 수평규제체계를 극복하기 위한 수정안을 제시하였다. 고영향 AI에

대한 수평규제체계를 끝내 유지하더라도, 다음과 같은 최소한의 수정은 해야 한다.

첫째, II장에서 검토하였듯이 최소한 권익영향 AI용례와 안전영향 AI용례는 구

분하고, 전자에는 (1) 법령상 차별이 금지되는 사유에 대한 편향의 측정과 경감, (2)

기술적으로 가능한 범위 내에서 최종결과 도출에 활용된 주요 기준에 대한 설명

방안의 수립⋅시행을, 후자에는 안전기준을 구분해서 적용해야 한다. 개발자와 실

행자를 불문하고 현재처럼 동일한 조치의무를 적용할 것이 아니라, 실행자의 책무

는 영향받는 자(이용자 아님)의 보호방안, 인적 감독, 문서 보관 위주로 명확히 한

정해야 한다.

둘째, 고영향 AI 확인 절차(제33조)는 사실상의 사업신고제, 즉 시장진입규제로

작용할 가능성이 높아 삭제해야 한다. 범용기술에는 시장진입규제를 하면 안 된다.

전력을 사용하거나 통계적 기법을 사용할 때마다 산업통상자원부와 통계청에 보

고하라고 하면 행정편의에는 부합하나 과도한 규제로 작용할 것이다. 출시할 때마

다 사실상 개발한 내용을 확인받을 수밖에 없게 만드는 것은 아무리 서식을 간소

화시켜준다 한들 혁신과 상업화의 저하에 미치는 실질적 영향이 클 것이다. 물론,

전자상거래를 할 때마다 2건의 신고(전자상거래법상 통신판매업신고와 전기통신

사업법상 부가통신사업신고)를 하게 하는 규제공화국에서 새삼스러운 문제제기일

수는 있다.

생성모델의 규제

AI기본법의 “생성형 인공지능”이라는 말은 외국에선 쓰지 않으며, 중국에서

“생성식(生成式)” AI라는 말을 쓰는 외에, 주로 생성AI(generative AI)(일본어로

가. 개발자: 인공지능시스템을 개발하여 실행자(개발자 자신을 포함한다)에게 제공 (인공지능시스템을 제3자에게 개발시켜 자신의 명의 또는 상표 하에 제공하게 하는 경우를 포함한다)하는 자 나. 실행자: 사업 또는 공무 목적으로 가목의 개발자(실행자 자신을 포함한다)가 개

발한 인공지능시스템을 이용하는 자 8. <삭 제> 9. (생략)

37페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 41

“生成AI”) 또는 생성모델(generative model)이라는 용어가 사용된다. “소라형 과

자”, “포유류형 파충류” 등의 구절에서 볼 수 있듯, 우리말에서 “-형(型)”이란 접

미사는 외형은 유사하나 본질은 다르다는 뜻을 내포한다. 앞서 살펴보았듯이 토

큰이 생성모델의 일부를 구성하는지에 관해 법적 논란이 있으므로, 이를 불식하

기 위해 모델보다는 범위를 넓힌 “생성인공지능시스템”이라는 용어를 쓰는 것이

적절할 것이다.

앞서 검토하였듯이 제31조의 각 항의 의무의 의미와 주체를 파악하는데 수범자

들의 어려움이 예상되므로, 명확성을 담보하기 위한 수정을 가하면 다음과 같다.

현 조항 개선안

제2조(정의) 이 법에서 사용하는 용어의 뜻은 다음과 같다. 5. “생성형 인공지능”이란 입력한 데이터(｢데 이터 산업진흥 및 이용촉진에 관한 기본법｣ 제2조제1호에 따른 데이터를 말한다. 이하 같다)의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성 하는 인공지능시스템을 말한다.

제2조(정의) (생 략) 5. “생성인공지능시스템”이란 --------.

제31조(인공지능 투명성 확보 의무) ① 인공 지능사업자는 고영향 인공지능 또는 생성형 인공지능을 이용한 제품 또는 서비스를 제공 하려는 경우 제품 또는 서비스가 해당 인공지 능에 기반하여 운용된다는 사실을 이용자에게 사전에 고지하여야 한다. ② 인공지능사업자는 생성형 인공지능 또는 이를 이용한 제품 또는 서비스를 제공하는 경 우 그 결과물이 생성형 인공지능에 의하여 생 성되었다는 사실을 표시하여야 한다. ③ 인공지능사업자는 인공지능시스템을 이용 하여 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등의 결과물을 제공하는 경 우 해당 결과물이 인공지능시스템에 의하여 생성되었다는 사실을 이용자가 명확하게 인식 할 수 있는 방식으로 고지 또는 표시하여야 한다. 이 경우 해당 결과물이 예술적⋅창의적

제31조(생성인공지능시스템의 투명 성 확보 의무) ① 생성인공지능시스 템을 이용한 대화형 서비스의 실행 자는 해당 서비스가 인공지능에 기 반하여 운용된다는 사실을 상대방에 게 사전에 고지하여야 한다. 다만, 상대방이 이러한 사실을 알거나 합 리적으로 안다고 판단될 수 있는 경 우에는 그러하지 아니하다. ② 생성인공지능시스템의 실행자는 그 시스템을 이용하여 생성한 결과 물을 배포할 경우 그 결과물이 생성 인공지능시스템에 의하여 생성되었 다는 사실을 표시하여야 한다. 다만, 그 결과물을 배포받는 자가 이러한 사실을 알거나 합리적으로 안다고 판단될 수 있는 경우에는 그러하지

38페이지

42 정보법학 제28권 제3호

범용모델의 규제

AI기본법 제32조는 블렛츨리 선언과 서울 선언 등 영미의 프론티어 AI 안전성

어젠다를 이행하기 위한 조항이다. 다만 현 조항대로라면 ① 프론티어 AI 뿐 아니

라 특정 태스크에 활용되는 좁은 모델(narrow model)을 포함한 모든 AI시스템에 적

용되는 것처럼 되어 있고, ② AI안전연구소가 아닌 주무관청에 이행결과를 제출하

는 것처럼 되어 있다. 누적 연산량이 프론티어 AI 수준에 이른 것 중에 범용모델이

아닌 것이 별로 없긴 하겠고, AI안전연구소가 결국엔 주무관청 산하기관이지만, 프

론티어 AI에 대한 탈중앙화 거버넌스 체계로 구상된 AI 안전성 어젠더를 취지에

맞지 않게 운용한다는 오해를 살 수 있다. 따라서 ① 범용인공지능시스템을 별도

로 정의하여 적용을 한정하고, ② 개발자⋅실행자 전반이 아닌 개발자만 규제하며

(현재대로라면 GPT API를 활용하는 스타트업도 적용을 받는다고 해석될 수 있어

적용범위가 너무 넓음), ③ 이행결과의 제출은 AI안전연구소에 하도록 규정하는

방안을 고려할 수 있다. 개선안은 이하와 같다.

표현물에 해당하거나 그 일부를 구성하는 경 우에는 전시 또는 향유 등을 저해하지 않는 방식으로 고지 또는 표시할 수 있다. ④ 그 밖에 제1항에 따른 사전고지, 제2항에 따른 표시, 제3항에 따른 고지 또는 표시의 방법 및 그 예외 등에 관하여 필요한 사항은 대통령령으로 정한다.

아니하다.

③ 생성인공지능시스템의 개발자는

그 시스템이 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상등의 결과물의 생성을 위해 활용되는 것 이 의도되거나 그러한 활용이 합리 적으로 예견되는 경우, 소요되는 시 간, 비용, 기술 등을 고려하여 합리 적으로 가능한 범위 내에서 해당 결 과물이 인공지능시스템에 의하여 생 성되었다는 사실을 영향받는 자가 용이하게 인식할 수 있는 방식으로 표시하는 기술적 조치를 취하여야 한다. 이 경우 해당 결과물이 예술 적⋅창의적 표현물에 해당하거나 그 일부를 구성하는 경우에는 전시 또 는 향유 등을 저해하지 않는 방식으 로 기술적 조치를 할 수 있다. ④ (생 략)

39페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 43

현 조항 개선안

제32조(인공지능 안전성 확보 의무) ① 인 공지능사업자는 학습에 사용된 누적 연산 량이 대통령령으로 정하는 기준 이상인 인 공지능시스템의 안전성을 확보하기 위하여 다음 각 호의 사항을 이행하여야 한다. 1. 인공지능 수명주기 전반에 걸친 위험 식 별, 평가 및 완화 2. 인공지능 관련 안전사고를 모니터링하고 대응하는 위험관리체계 구축 ② 인공지능사업자는 제1항 각 호에 따른 사항의 이행 결과를 과학기술정보통신부장 관에게 제출하여야 한다. ③ 과학기술정보통신부장관은 제1항 각 호 에 따른 사항의 구체적인 이행 방식 및 제2 항에 따른 결과 제출 등에 필요한 사항을 정 하여 고시하여야 한다.

제2조(정의) 6. “범용인공지능시스템”이란 광범위한 데

이터로 훈련되어 높은 성능으로 다양한 맥락과 용례들에 활용되는 인공지능시 스템 중 학습에 사용된 누적 연산량이 대 통령령으로 정하는 기준 이상인 것을 말 한다.

제32조(범용 인공지능 모델의 안전성 확보) ① 범용인공지능시스템의 개발자는 그 시 스템의 안전성을 확보하기 위하여 다음 각 호의 사항을 이행하여야 한다. (생 략) ② 개발자는 제1항 각 호에 따른 사항의 이 행 결과를 안전연구소에 제출하여야 한다. ③ (생 략)

사실조사⋅제재

입법 과정에서 한국인터넷기업협회는 특히 제40조(사실조사 등) 제1항상 위반되

는 사항을 발견하거나 혐의가 있음을 알게 된 경우(제1호) 뿐 아니라 위반에 대한

신고를 받거나 민원이 접수된 경우(제2호)에도 사실조사권이 발동되는 점에 문제

를 제기하였다.70) 특히 다른 법령에 비해 사실조사 발동요건이 지나치게 완화되어

있어 문제라는 점에 동의한다. 동 협회의 지적대로 전기통신사업법 제51조제1항과

클라우드컴퓨팅법 제30조제1항은 위반행위가 인정될 때 사실조사권이 발동된다고

규정한다.71) 또한, 개인정보 보호법 제63조, 정보통신망법 제64조, 위치정보법 제36

조, 신용정보법 제45조의3상 “신고를 받거나 민원이 접수된 경우”는 관계 물품⋅서

류 등 자료 제출 사유이며, 자료를 미제출하거나 법 위반 사실이 인정되는 경우에

사실조사권이 발동된다. 행정조사기본법 제7조제4호는 “법령등의 위반에 대한 신

고를 받거나 민원이 접수된 경우”를 명시하나, 이는 정기조사 원칙의 예외로서의

수시조사의 정당화 근거이지, 사실조사 발동요건을 규정한 것은 아니다. AI기본법

70) 전자신문(변상근 기자), “AI 기본법, 과기부 ‘사실조사’ 독소조항 논란”, 2024. 12. 17. 71) 위 기사.

40페이지

44 정보법학 제28권 제3호

제40조제1항은 “소속 공무원으로 하여금 필요한 조사를 하게 할 수 있다”라 하여

재량행위로 규정하고는 있다. 그러나 조사관청에 신고 후 내려진 심사불개시결정

은 공권력의 행사에 해당되어 헌법소원의 대상이 된다고 본 헌법재판소 결정례72)

로 인해, 일방적 신고나 민원 시에도 이에 응한 조사의 개시가 절차적으로 어느 정

도 이뤄져야 하는 문제가 있다. 현 조항의 문구는 이러한 문제를 분명 심화하며,

훈령으로 해결할 사항이 아니다. 특히 AI기본법의 축조상 문제로 불확실성이 큰

상황에서, 이 문제가 중복규제의 폐단을 증폭⋅악화시킬 우려가 크다. 따라서 후속

개정을 통해 다른 규제법령들과 최소한 균형을 맞추어야 한다.

제43조가 규정하는 과태료의 경우 (형사사법공조의 대상이 될 수 있는 형사처벌

이나 일정 범위에서 승인⋅집행될 수 있는 민사판결에 비해) 행정제재의 집행관할

권에 여전히 속지주의 원칙이 관철되는 관계로 역외법인에 대한 집행력이 약하며

결국 자발적 협력에 의존할 수밖에 없다. 국내대리인조차 선임을 거부하는 역외법

인의 경우 과태료의 실효성은 더 없을 것이다. 따라서 결국 국내기업 역차별을 심

화할 수 있음에 유의해야 한다. AI기본법 제4조제1항이 역외적용을 규정하고 있지

만 이는 입법관할권의 문제를 다룰 뿐 집행관할권을 담보할 수 없다. 이 점 또한

단일관청의 과태료 부과를 수단으로 한 포괄규제체계가 효율적인 체계인지에 대

한 의문을 깊게 한다.

Ⅳ. 맺으며

요컨대, AI기본법은 국제정세와 합리에 부합하지 않는 수평규제체계에 입각하여

과잉⋅중복규제로 이어질 우려가 크고, 조항들의 축조의 경우에도 (1) AI와 AI시스

템의 정의가 합리성이 아닌 의인화에 의존하여 기술적으로 틀리고 법적 정의로 부

적절하며 OECD 정의의 2024년 개정사항 등 근래의 논의가 미반영되어 있는 점,

(2) AI 가치망 참여자들의 정의 및 의무의 범위가 불명확하며 주체별 역할분담에

오류가 있는 점, (3) 고영향 AI 규제의 경우 권익⋅안전영향 용례나 개발자⋅실행

자 별로 책무가 세분화되어 있지 않은 점, (4) 생성모델의 규제도 의무 범위가 불명

확하고 주체별 역할분담에 오류가 있는 점, (5) 범용모델의 규제도 국제적 논의의

취지에 완전히 부합하지 않는 점, (6) 사실조사 규정은 민원만으로 현장조사권이

72) 헌법재판소 2004. 3. 25. 선고 2003헌마404.

41페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 45

발동되어 과하고 과태료로 집행하는 것도 역차별의 우려가 있는 점 등 이대로 시

행되기에는 간과하기 힘든 문제들이 다수 있다.

산업육성 조항의 시급한 필요가 있었고 규제조항을 병치하여 정치적 타협을 도

출해야만 했던 측면은 이해할 수 있다. 그러나 AI 기술은 한때의 유행이 아니라 향

후의 인류문명 및 국민경제의 발전에 장기지속적인 영향을 미칠 것으로 예상되어

견고한 법제도적 뒷받침이 필요하고, 법제도에는 강한 경로의존성(path

dependency)이 있어 첫 단추가 중요하다. AI기본법 중 규제 조항은 이러한 중요성

에도 불구하고 안타깝게도 하위 법령이나 가이드라인을 잘 마련하여 보완할 수 있

는 수준에 미치지 못하므로, 시행 전 개정 작업에 바로 착수해야 한다.

AI기본법의 체계가 주요 AI 혁신 주도국들의 궤도에서 이탈하여 수평규제체계

로 역주행한 것에는 정치환경, 관료주의, 문화적 요소 등 불가피한 요소들이 작용

했다 하더라도, 축조는 “입법동력”만 고려한 밀행절차로 밀어붙이기보다 각계의

의견을 조금만 수렴했어도 방지할 수 있었을 착오들이 일부 있다. 더 걱정은 앞으

로 합성생물학, 양자컴퓨팅 등 신기술이 도입될 때마다 같은 전철을 되풀이할 것

으로 예상된다는 점이다. 따라서 AI기본법의 사례를 입법이 너무 시급했던 예외적

인 상황으로 받아들이기보다는, 중장기적인 국가시스템, 특히 입법시스템 개선에

대한 심도 있는 고민의 계기로 삼아야 한다.

논문최초투고일: 2024년 12월 01일; 논문심사(수정)일: 2024년 12월 17일; 논문게재확정일: 2024년 12월 21일

42페이지

46 정보법학 제28권 제3호

참고문헌

단행본

Bellman, Richard E., An Introduction to Artificial Intelligence: Can Computers Think?

(1978).

Haugeland, John, Artificial Intelligence: The Very Idea (1985).

Kurzweil, Ray, The Age of Intelligent Machines (1990).

Nilsson, Nils J., The Quest for Artificial Intelligence: A History of Ideas and

Achievements (2010).

Niskanen, William A., Bureaucracy and Representative Government (1971).

Poole, David and Alan Mackworth, Computational Intelligence: A Logical Approach

(2010).

Rich, Elaine, Artificial Intelligence (1983).

Russell, Stuart J. and Eric Wefald, Do the Right Thing: Studies in Limited Rationality

(1991).

Russell, Stuart J. and Peter Norvig, Artificial Intelligence: A Modern Approach (2021,

4th Ed.).

Schalkoff, Robert J., Artificial Intelligence: An Engineering Approach (1990).

Winston, Patrick H., Artificial Intelligence (1992, 3rd Ed.).

논문

강현구, “인공지능의 법적정의와 인공지능기술 발달에 따른 국가의 기본권 보호의

무”, ｢헌법재판연구｣ 제8권 제2호, 2021.

박상철, “인공지능의 법적 규율 I: 범용모델과 생성모델”, ｢서울대학교 법학｣ 제65

권 제1호, 2024.

, “인공지능의 법적 규율 II: 판별모델”, ｢서울대학교 법학｣ 제65권 제2호,

2024.

박재완, “‘좋은 행정’에서 본 행정현장과 행정학의 과제: 정부실패를 중심으로”,

｢행정논총｣ 제54권 제4호, 2016.

신원준⋅양수빈⋅이대준⋅박상철, “미연방기관들의 AI 행정명령(E.O. 14110) 이행

현황과 시사점”, ｢사법｣ 제70호, 2024.

43페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 47

정순섭, “금융소비자보호의 기본 법리 – 금융소비자보호기본법 제정안을 중심으

로”, ｢BFL｣ 제80호, 2016.

Jussupow, Ekaterina, Izak Benbasat, and Armin Heinzl, Why Are We Averse Towards

Algorithms? A Comprehensive Literature Review on Algorithm Aversion,

European Conference on Information Systems (ECIS2020) (2020).

Nou, Jennifer and Edward H. Stiglitz, Regulatory Bundling, 128 Yale L. J. 1174 (2019).

Perry, James L. and Lois R. Wise, The Motivational Bases of Public Service, 50 Public

Adm. Rev. 367 (1990).

Schwarz, Paul M., Preemption and Privacy, 118 Yale L. J. 806 (2009).

Wachter, Sandra, Limitations and Loopholes in the EU AI Act and AI Liability

Directives: What This Means for the European Union, the United States, and

Beyond, 26(3) Yale J. L. Tech 671 (2024).

Werbach, Kevin, A Layered Model for Internet Policy, 1 J. on Telecomm. & High

Tech. L. 37 (2002).

Whitt, Richard S., A Horizontal Leap Forward: Formulating a New Communications

Public Policy Framework Based on the Network Layers Model, 56 Fed. Comm.

L. J. 587 (2004).

정책보고서 등

개인정보보호위원회, “안전한 인공지능(AI)⋅데이터 활용을 위한 AI 프라이버시

리스크 관리 모델”, 2024. 12. 19.

과학기술정보방송통신위원회 수석전문위원, “인공지능 산업 육성 및 신뢰 확보에

관한 법률안 등 검토보고”, 2024. 8.

국가인권위원회, “｢인공지능 법률안｣, ‘우선허용⋅사후규제’ 원칙 삭제하고, 인권

영향평가 도입해야”, 2023. 8. 24.

민주사회를 위한 변호사모임 디지털정보위원회, 정보인권연구소, 진보네트워크센

터, 참여연대, “AI법 과방위 통과안에 대한 시민사회 의견서”, 2024. 12. 3.

이상우⋅황준호⋅김성환⋅정은옥⋅신호철⋅오수민⋅송정석⋅김원식, “통신방송

융합환경하의 수평적 규제체계 정립방안에 관한 연구”, 정보통신정책연구

원 연구보고 07-06, 2007.

Canadian Institute for Advanced Research, “Pan-Canadian Artificial Intelligence

Strategy”, https://www.cifar.ca/ai/pan-canadian-artificial-intelligence-strategy.

44페이지

48 정보법학 제28권 제3호

Council of the E.U., “Presidency Conclusions – The Charter of Fundamental Rights in

the context of Artificial Intelligence and Digital Change”, FREMP 87, JAI 776,

Oct. 21, 2020.

Datatilsynet, “Offentlige myndigheders brug af kunstig intelligens”, Oct. 2023.

Department for Science, Innovation & Technology, U.K., “A Pro-innovation Approach

to AI Regulation”, Aug. 3, 2023.

, “A Pro-innovation Approach to AI Regulation: Government Responses”, Feb.

6, 2024.

Der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit,

“Diskussionpapier: Large Language Models und personenbezogene Daten”, Jul.

15, 2024.

European Commission, “White Paper on Artificial Intelligence: a European Approach to

Excellence and Trust”, Feb. 19, 2020.

, “Commission Staff Working Document – Impact Assessment Accompanying

the Proposal for a Regulation of the European Parliament and of the Council

Laying Down Harmonised Rules On Artificial Intelligence (Artificial

Intelligence Act) And Amending Certain Union Legislative Acts”, SWD(2021)

84 final, Apr. 21, 2021.

, Communication from the Commission to the European Parliament, the Council,

the European Economic and Social Committee and the Committee of the

Regions – A European Strategy for Data, COM(2020) 66 final, Feb. 19, 2020.

Future of Privacy Forum, “Do LLMs Contain Personal Information? California AB

1008 Highlights Evolving, Complex Techno-Legal Debate”, Oct. 25, 2024.

Government of Canada, “Canada’s Digital Charter in Action: A Plan by Canadians, for

Canadians”, Oct. 23, 2019.

Government of the Republic of Singapore, “NAIS 2.0: Singapore National AI Strategy –

AI for the Public Good for Singapore and the World”, Dec. 4, 2023.

High-Level Expert Group on Artificial Intelligence, European Commission, “A

Definition of AI: Main Capabilities and Scientific Disciplines”, Apr. 8, 2019.

Interdepartementale Arbeitsgruppe «Künstliche Intelligenz» an den Bundesrat,

“Herausforderungen der künstlichen Intelligenz”, 2019.

Ministry of Electronics & Information Technology, India, “Artificial Intelligence

45페이지

박상철 : 인공지능 기본법의 시행 전 개정 필요성 49

Committees Report – D on Cyber Security, Safety, Legal and Ethical Issues”,

Jul. 2, 2018, https://www.meity.gov.in/artificial-intelligence-committees-reports.

Ministry of Innovation, Science and Technology, Israel, “For the First Time in Israel:

The Principles of the Policy for the Responsible Development of the Field of

Artificial Intelligence Were Published for Public Comment”, Nov. 17, 2022,

https://www.gov.il/en/pages/most-news20221117.

, “Israel’s Policy on Artificial Intelligence Regulation and Ethics”, Dec. 17,

2023.

Organisation for Economic Co-operation and Development, “Recommendation of the

Council on Artificial Intelligence”, OECD/LEGAL/0449, May 22, 2019.

, “Explanatory Memorandum on the Updated OECD Definition of an AI

System”, DSTI/CDEP/AIGO(2023)8/FINAL, Mar. 2024.

Swiss Federal Department of Foreign Affairs, “Artificial Intelligence and International

Rules”, Apr. 13, 2022.

内閣府, ｢内閣府AI戦略会議(第2回)｣, 令和5年5月26日.

石破茂, ｢2024年自民党総裁選挙石破茂政策集｣, 令和6年9月10日.

総務省, 経済産業省, ｢AI事業者ガイドライン(第1.0版)｣, 令和6年4月19日.

46페이지

50 정보법학 제28권 제3호

Abstract

Korea’s AI Framework Act establishes a horizontal regulatory framework in which a

single agency enforces a uniform set of regulations for “high-impact” AI systems. While

the overall regulatory burden and penalty severity have been eased compared to the EU AI

Act, aligning more closely with Canada’s proposed AI and Data Act, the framework fails

to account for the heterogeneity of AI use cases and risks overregulation through a

one-size-fits-all framework. Furthermore, as social issues arising from AI often intersect

with existing societal challenges, the horizontal framework will result overlaps and conflicts

with sector-specific regulations. If the Korea Communications Commission enacts an AI

User Protection Act while automated decision-making regulations under the Personal

Information Protection Act and the Credit Information Act are applied concurrently, a

quadruple regulatory structure could emerge, stifling the development and adoption of AI.

Leading AI-innovating nations have instead adopted sector- and context-specific regulatory

frameworks, where domain-specific regulators adapt existing rules to diverse use cases.

Following this precedent, Korea’s current horizontal framework should transition to a more

cooperative system, in which the lead agency would develop regulatory guidelines tailored

to specific categories, such as rights- or safety-impacting AI use cases, while individual

agencies update their respective laws accordingly. Beyond these structural issues, the AI

Framework Act’s provisions are inadequately drafted. Definitions of AI and AI systems rely

on anthropomorphic interpretations that are technically inaccurate, rendering them legally

inappropriate and disconnected from recent developments, such as the OECD’s 2024

revisions to the definition of AI. Additionally, the roles and obligations of participants

along the AI value chain are poorly defined, with significant missteps in role allocation.

Regulations for high-impact AI lack clear distinctions in responsibilities based on use cases

or stakeholder roles. Similarly, obligations for generative models are vague, with errors in

assigning responsibilities. The scope of regulations for high-performance general-purpose

models are misaligned with ongoing international AI safety discussions. Investigation and

enforcement mechanisms are also misplaced. In conclusion, as the deficiencies in the AI

Framework Act are too substantial to be resolved through administrative rulemaking, Korea

must amend it before it comes into effect.

Keywords: AI Framework Act, AI Law, Horizontal Regulatory Framework, Context-Specific

Regulatory Framework, AI Governance