AI 서비스가 생성한 콘텐츠(딥페이크, 허위정보 등)에 대해 플랫폼 사업자가 유통 차단 의무를 집니다. 기존에는 이용자 게시물에 대한 사후 조치만 의무였으나, AI 생성 콘텐츠까지 사전 필터링/표시 의무가 확대되었습니다.
AI 챗봇이나 자동응답 시스템을 운영하는 경우, 이용자에게 AI 응답임을 명시하고 인간 상담원 연결 경로를 제공해야 합니다.
딥페이크 성범죄, AI 허위뉴스 확산 등 AI 악용 사례가 급증하면서 기존 정보통신망법으로는 대응이 부족하다는 지적이 있었습니다. 특히 생성형 AI가 만든 콘텐츠의 법적 책임 소재가 불분명한 문제가 있었습니다.
해외에서는 EU Digital Services Act(DSA)가 플랫폼의 AI 콘텐츠 관리 의무를 명시한 바 있고, 한국도 이에 맞춰 정보통신망법을 보강했습니다.
AI 기능이 탑재된 웹/앱 서비스를 운영하는 모든 기업이 영향을 받습니다. 특히 UGC 플랫폼, AI 챗봇, 콘텐츠 생성 도구 운영사는 즉시 대응이 필요합니다.