イーロン・マスク氏が所有するSNS「X」(旧ツイッター)に統合された生成AI「Grok(グロック)」による無断性的画像生成が、国内外で深刻な社会問題となっている。
생성형 AI Grok그록이 포르노 이미지를 생성하는 것이 허용되지 않았음에도 불구하고, 일론 머스크가 소유한 SNS X구 트위터에 통합된 이 AI로 인한 문제가 국내외에서 심각한 사회 문제로 대두되고 있다.
とりわけ、実在する女性を対象としたデジタル上での服の除去や、きわどいポーズを取らせる画像が拡散していることから、倫理的・法的観点で大きな波紋を呼んでいる。
특히, 실제 존재하는 여성의 디지털 의상 제거 이미지나 도발적인 포즈의 이미지가 인터넷상에서 확산되는 것은 윤리적 및 법적 관점에서 큰 논란을 불러일으키고 있습니다.
加えて、未成年者に見える人物を含む画像も確認されており、児童ポルノに該当する可能性が指摘されている。
또한, 미성년자로 보이는 인물이 포함된 이미지도 확인되고 있어, 아동 포르노 금지법에 위반될 가능성이 있다는 우려가 커지고 있습니다.
このようなAIとSNSの組み合わせによる無防備な画像生成は、社会的弱者の権利侵害や、国内法・国際法違反のリスクをはらんでいるにもかかわらず、十分な対策が講じられていない現状が浮き彫りとなった。
이처럼 AI와 소셜 미디어의 결합으로 무제한으로 이미지가 생성되는 것은 사회적 약자의 권리를 침해할 위험성과 국내외 법률을 위반할 리스크를 내포하고 있지만, 실제로는 충분한 대책이 아직 마련되어 있지 않습니다.
マスク氏および開発元であるxAIは、違法コンテンツ、特に児童性的虐待コンテンツ(CSAM)に対して「削除やアカウントの永久停止、必要に応じた当局との連携」等の措置を講じていると説明しているものの、Grokによる性的画像生成は依然として後を絶たない。
마스크 씨와 xAI 개발 회사는 불법 콘텐츠, 특히 아동 성적 학대 자료CSAM에 대해 콘텐츠 삭제, 계정 영구 정지, 필요시 당국과의 협력 등 조치를 취하고 있다고 설명하고 있지만, Grok에 의한 포르노 이미지 생성은 여전히 멈추지 않고 있습니다.
マスク氏はかねてより「woke」と呼ばれる規制や検閲に反対する姿勢を示しており、社内でもGrokに対する規制強化に消極的だったとされる。
마스크 씨는 지금까지 워크Walk라고 불리는 규제나 검열에 반대하는 입장을 보여왔으며, 사내에서도 Grok에 대한 관리 강화에는 적극적이지 않은 것으로 알려져 있다.
一方で、同社の安全対策チームは他社と比較しても小規模であり、問題が顕在化する直前に複数のスタッフが退職していたことも、対応の遅れにつながったと考えられる。
한편, 이 회사의 보안팀은 다른 회사에 비해 소규모이며, 문제가 드러나기 직전에 많은 직원들이 퇴사한 것도 대응이 늦어진 원인으로 지적되고 있습니다.
Grokは、性的に露骨なコンテンツやコンパニオンアバターを許容、場合によっては推奨してきた点で、他の主流AIモデルとは一線を画してきた。
Grok는 다른 주요 AI 모델과 달리, 경우에 따라 포르노 콘텐츠나 컴패니언 아바타를 허용하거나 심지어 권장하기도 합니다.
さらに、Xという世界有数のSNSに組み込まれていることから、利用者は非公開のやり取りだけでなく、公開投稿にGrokをタグ付けして回答させることも可能であり、拡散力の高さが問題を深刻化させている。
또한, 세계 최대 규모의 소셜 네트워크인 X에 통합되어 있기 때문에, 사용자는 Grok을 비공개 대화에서 이용할 수 있을 뿐만 아니라, 공개 게시물에 Grok을 태그하여 답변을 얻는 것도 가능해져 문제의 확산성이 더욱 심각해집니다.
2023年12月下旬以降、Grokを用いた「デジタルで服を脱がせる」画像生成の急増が確認され、当初は著名人のビキニ姿などが投稿されていたが、やがて無断で一般女性を対象としたプロンプトも増加した。
2023년 12월 말부터 Grok에 의해 생성된 디지털 탈의 이미지가 급증하고 있으며, 처음에는 유명 인사가 비키니를 입고 있는 이미지가 중심이었으나, 이후에는 허가 없이 일반 여성을 대상으로 한 프롬프트의 수도 증가하고 있습니다.
AI検出団体や欧州の非営利組織による調査では、「彼女」「脱がす」「ビキニ」などの語彙が頻出し、生成画像の半数以上が下着やビキニ姿であり、その2割以上が女性であった。
유럽의 AI 탐지 기관과 비영리 단체의 조사에 따르면, 그녀, 벗다, 비키니와 같은 단어가 자주 등장하며, 생성된 이미지의 절반 이상이 속옷이나 비키니 차림이고, 80% 이상이 여성인 것으로 나타났습니다.
さらに、2%は18歳未満と見なされる画像であった。
또한, 2%의 이미지에는 18세 미만의 피사체가 포함되어 있는 것으로 알려져 있습니다.
Xの利用規約やxAIの規定では、人物の肖像をポルノ的に描写することや児童の性的対象化を明確に禁止しているが、運用上の限界から違法または不適切なコンテンツが流通し続けている。
X 및 xAI의 이용 약관에서는 아동을 성적으로 대상화하거나 포르노적인 방식으로 인물의 초상을 묘사하는 것을 명확하게 금지하고 있지만, 운영상의 제약으로 인해 불법 또는 부적절한 콘텐츠가 계속 유통되고 있습니다.
こうした状況に対し、利用者からは「子どもに対する適切な防止策がないまま機能を提供するのは無責任だ」との批判も上がっており、xAI側も対策強化を検討していると応答している。
이 상황을 받아들여, 사용자들로부터 아이들에 대한 적절한 대책 없이 기능을 제공하는 것은 무책임하다는 비판이 있었고, xAI 측도 대응책 강화를 검토하고 있다고 답했다.
さらに、マスク氏自身も「グロックを用いて違法コンテンツを生成した場合、アップロードした者と同等の処罰を受けることになる」とコメントし、違法行為への警告を発している。
또한, 마스크 씨 자신도 불법 행위에 대해 경고하며 Grok을 사용해 불법 콘텐츠를 생성한 경우, 게시자는 동일한 처벌을 받게 된다고 성명을 발표했다.
未成年者の同意なくAIが生成する性的画像の問題は、Grokに限らず、TikTokやOpenAIの「Sora」など他のプラットフォームにも波及している。
미성년자의 동의 없이 AI가 포르노 이미지를 생성하는 문제는 Grok에만 국한되지 않고, TikTok이나 OpenAI의 Sora 등 다른 플랫폼으로도 확산되고 있습니다.
研究者は、AIが画像内の子どもを検出し、慎重な応答を促す技術的対策は構築可能であると指摘するものの、コストや応答遅延、誤検出といった課題も残されている。
연구자들은 기술적으로는 AI가 이미지 내의 아동을 감지하고 신중한 대응을 유도하는 수단을 구축할 수 있다고 지적하지만, 비용이나 응답 지연, 오인식 등과 같은 과제가 여전히 남아 있다고 말합니다.
現在、欧州、インド、マレーシアなど各国当局はGrokによる画像生成問題をめぐって調査を開始しており、米国では法的責任の追及も視野に入っている。
현재 유럽, 인도, 말레이시아 등 당국이 Grok의 이미지 생성 문제에 대해 조사를 시작했으며, 미국에서도 법적 책임 추궁을 검토하고 있습니다.
スタンフォード大学HAI研究所の専門家によれば、SNS運営企業は通信品位法第230条により一定の免責を受けてきたが、CSAMを含む連邦犯罪には適用されず、民事訴訟の可能性も否定できないという。
스탠퍼드 대학교 HAI 연구소의 전문가에 따르면, 소셜 네트워크를 운영하는 기업은 미디어 품위법 제230조에 의해 일부 면책을 받고 있지만, 이는 CSAM을 포함한 연방법 위반에는 적용되지 않으며, 민사 소송을 당할 가능성도 배제할 수 없습니다.
今回のGrokをめぐる一連の問題は、xAIが他の大手AI企業と比較して、むしろディープフェイクヌードサイトに近い存在として認識されかねない状況を生み出している。
이번 Grok 관련 일련의 문제로 인해, xAI는 대형 AI 기업이라기보다는 누드 딥페이크 사이트처럼 인식될 가능성이 생기고 있습니다.
今後、AI技術とSNSの融合が進む中、倫理的・法的な枠組みの整備と、社会的責任を果たすための実効的な対策が急務であることは言うまでもない。
AI 기술과 소셜 네트워크가 점점 더 긴밀하게 연결됨에 따라, 법적 틀과 윤리를 구축하고 사회적 책임을 다하기 위한 효과적인 대책을 마련하는 것은 말할 것도 없이 시급한 과제입니다.