عندما تلقت جينيفر واتكينز رسالة من موقع يوتيوب تفيد بإغلاق قناتها، لم تكن قلقة في البداية. بعد كل شيء، لم تستخدم يوتيوب.

ومع ذلك، استخدم ابناها التوأم البالغان من العمر 7 سنوات جهازًا لوحيًا من سامسونج تم تسجيل دخوله إلى حسابها على Google لمشاهدة محتوى للأطفال وإنشاء مقاطع فيديو على YouTube لأنفسهم وهم يقومون برقصات سخيفة. عدد قليل من مقاطع الفيديو حصل على أكثر من خمس مشاهدات. لكن الفيديو الذي أوقع السيدة واتكينز في المشاكل، والذي صوره أحد أبنائها، كان مختلفًا.

وقالت السيدة واتكينز، التي لم تره من قبل: “يبدو أن هذا كان مقطع فيديو لمؤخرته”. “لقد تجرأ عليه أحد زملائه في الصف لعمل فيديو عاري”.

يحتوي YouTube المملوك لشركة Google على أنظمة مدعومة بالذكاء الاصطناعي تقوم بمراجعة مئات الساعات من الفيديو التي يتم تحميلها إلى الخدمة كل دقيقة. يمكن أن تنحرف عملية المسح في بعض الأحيان عن مسارها وتؤدي إلى تشويه سمعة الأفراد الأبرياء باعتبارهم مسيئين للأطفال.

وقد وثقت صحيفة نيويورك تايمز حلقات أخرى انقلبت فيها الحياة الرقمية للآباء رأساً على عقب بسبب الصور ومقاطع الفيديو العارية لأطفالهم التي حددتها أنظمة الذكاء الاصطناعي في جوجل وقرر المراجعون البشريون أنها غير مشروعة. ونتيجة لذلك، قامت الشرطة بالتحقيق مع بعض الآباء.

تم وضع علامة على “مقطع الفيديو العاري” في قضية السيدة واتكينز، والذي تم تحميله في سبتمبر/أيلول، في غضون دقائق على أنه استغلال جنسي محتمل لطفل، وهو انتهاك لشروط خدمة جوجل مع عواقب خطيرة للغاية.

وسرعان ما اكتشفت السيدة واتكينز، وهي عاملة طبية تعيش في نيو ساوث ويلز بأستراليا، أنها محرومة من الوصول ليس فقط إلى موقع YouTube، بل أيضًا إلى جميع حساباتها على Google. وقالت إنها فقدت إمكانية الوصول إلى صورها ومستنداتها وبريدها الإلكتروني، مما يعني أنها لم تتمكن من تلقي رسائل حول جدول عملها أو مراجعة بياناتها المصرفية أو “طلب مخفوق سميك” عبر تطبيق ماكدونالدز الخاص بها – والذي تسجل الدخول إليه باستخدام حسابها على Google.

سيتم حذف حسابها في النهاية، حسبما أبلغتها صفحة تسجيل الدخول إلى Google، لكن يمكنها استئناف القرار. لقد نقرت على زر “بدء الاستئناف” وكتبت في مربع نصي أن أبناءها البالغين من العمر 7 سنوات يعتقدون أن “المؤخرة مضحكة” وأنهم مسؤولون عن تحميل الفيديو.

وأضافت: “هذا يضرني مالياً”.

وقد حث المدافعون عن الأطفال والمشرعون في جميع أنحاء العالم شركات التكنولوجيا على وقف انتشار الصور المسيئة عبر الإنترنت من خلال مراقبة مثل هذه المواد على منصاتهم. يقوم العديد من موفري الاتصالات الآن بمسح الصور ومقاطع الفيديو المحفوظة والمشاركتها من قبل المستخدمين للبحث عن صور الإساءة المعروفة التي تم الإبلاغ عنها إلى السلطات.

أرادت Google أيضًا أن تكون قادرة على الإبلاغ عن المحتوى الذي لم تتم رؤيته من قبل. وقبل بضع سنوات، طورت خوارزمية – مدربة على الصور المعروفة – تسعى إلى تحديد المواد الاستغلالية الجديدة؛ وجعلته جوجل متاحًا لشركات أخرى، بما في ذلك Meta وTikTok.

بمجرد أن أكد أحد الموظفين أن الفيديو الذي نشره ابن السيدة واتكينز كان به مشكلة، أبلغت جوجل المركز الوطني للأطفال المفقودين والمستغلين، وهي منظمة غير ربحية تعمل كمركز فيدرالي لتبادل المحتوى الذي تم الإبلاغ عنه. يمكن للمركز بعد ذلك إضافة الفيديو إلى قاعدة بيانات الصور المعروفة الخاصة به وتحديد ما إذا كان سيتم الإبلاغ عنه إلى سلطات إنفاذ القانون المحلية.

يعد Google واحدًا من أفضل مراسلي “المواد الإباحية الظاهرة للأطفال”، وفقًا لإحصائيات المركز الوطني. قدمت جوجل أكثر من مليوني تقرير العام الماضي، وهو عدد أكبر بكثير من معظم شركات الاتصالات الرقمية، على الرغم من أنه أقل من العدد الذي قدمته شركة ميتا.

(يقول الخبراء إنه من الصعب الحكم على مدى خطورة مشكلة إساءة معاملة الأطفال من خلال الأرقام وحدها. وفي إحدى الدراسات التي أجريت على عينة صغيرة من المستخدمين الذين تم الإبلاغ عنهم بسبب مشاركتهم صورًا غير لائقة للأطفال، قال علماء البيانات في فيسبوك إن أكثر من 75 بالمائة “لم يفعلوا ذلك” يُظهِر نوايا خبيثة.” قام المستخدمون بتضمين مراهقين في علاقة رومانسية يشاركون صورًا حميمة لأنفسهم، وأشخاصًا شاركوا “صورة ميمي لأعضاء تناسلية لطفل يتم عضها من قبل حيوان لأنهم يعتقدون أن الأمر مضحك.”)

قاومت شركة Apple الضغوط لفحص iCloud بحثًا عن المواد الاستغلالية. وأشار متحدث باسم الشركة إلى رسالة أرسلتها الشركة إلى مجموعة مناصرة هذا العام، تعرب فيها عن قلقها بشأن “أمن وخصوصية مستخدمينا” وتقارير “تفيد بأن أطرافًا بريئة قد تم اجتياحها في شبكات بائسة”.

في الخريف الماضي، كتبت رئيسة الثقة والسلامة في جوجل، سوزان جاسبر، في منشور على مدونة أن الشركة تخطط لتحديث عملية الطعون الخاصة بها من أجل “تحسين تجربة المستخدم” للأشخاص الذين “يعتقدون أننا اتخذنا قرارات خاطئة”. وفي تغيير كبير، توفر الشركة الآن مزيدًا من المعلومات حول سبب تعليق الحساب، بدلاً من إشعار عام حول “انتهاك خطير” لسياسات الشركة. على سبيل المثال، قيل للسيدة واتكينز إن استغلال الأطفال هو السبب وراء حرمانها من الدخول.

وبغض النظر عن ذلك، فقد تم رفض الطعون المتكررة التي قدمتها السيدة واتكينز. كان لديها حساب مدفوع على جوجل، مما يسمح لها ولزوجها بتبادل الرسائل مع وكلاء خدمة العملاء. لكن في المراسلات الرقمية التي استعرضتها صحيفة التايمز، قال العملاء إن الفيديو، حتى لو كان تصرفًا غافلًا عن طفل، لا يزال ينتهك سياسات الشركة.

وقالت السيدة واتكينز إن العقوبة القاسية على مقطع فيديو سخيف تبدو غير عادلة. وتساءلت لماذا لم تتمكن جوجل من تحذيرها قبل قطع الوصول إلى جميع حساباتها وأكثر من 10 سنوات من الذكريات الرقمية.

وبعد أكثر من شهر من المحاولات الفاشلة لتغيير رأي الشركة، تواصلت السيدة واتكينز مع صحيفة التايمز. وبعد يوم واحد من استفسار أحد الصحفيين عن قضيتها، تمت استعادة حسابها على Google.

وقالت الشركة في بيان: “لا نريد أن تُستخدم منصاتنا لتعريض الأطفال للخطر أو استغلالهم، وهناك طلب واسع النطاق على أن تتخذ منصات الإنترنت أقوى الإجراءات لكشف ومنع الاعتداءات الجنسية على الأطفال”، مستخدمة اختصارًا يستخدم على نطاق واسع للاعتداء الجنسي على الأطفال. مواد إساءة. “في هذه الحالة، نحن نفهم أن المحتوى المخالف لم يتم تحميله بشكل ضار.” ولم يكن لدى الشركة أي رد حول كيفية تصعيد رفض الاستئناف إلى ما هو أبعد من إرسال بريد إلكتروني إلى مراسل التايمز.

وقال ديف ويلنر، زميل مركز السياسات السيبرانية بجامعة ستانفورد والذي عمل في مجال الثقة والسلامة في العديد من شركات التكنولوجيا الكبرى، إن جوجل في موقف صعب أثناء محاولتها الفصل في مثل هذه الطعون. حتى لو كانت الصورة أو الفيديو بريئًا في الأصل، فمن الممكن مشاركتها بشكل ضار.

قال السيد ويلنر: “سوف يشارك المتحرشون بالأطفال الصور التي التقطها الآباء دون أي ضرر أو يجمعونها في مجموعات لأنهم يريدون فقط رؤية أطفال عراة”.

التحدي الآخر هو الحجم الهائل للمحتوى الاستغلالي الذي تضع علامة عليه جوجل.

وقال السيد ويلنر: “إنها مجرد مشكلة يصعب حلها للغاية، وهي تنظيم الحكم على القيمة على هذا النطاق”. “إنهم يتخذون مئات الآلاف، أو الملايين، من القرارات سنويا. عندما تقوم برمي النرد عدة مرات، فإنك سوف تدحرج عيون الثعبان.”

وقال إن معاناة السيدة واتكينز بعد فقدان الوصول إلى جوجل كانت “حجة جيدة لنشر حياتك الرقمية” وعدم الاعتماد على شركة واحدة للحصول على العديد من الخدمات.

تعلمت السيدة واتكينز درسًا مختلفًا من هذه التجربة: لا ينبغي للوالدين استخدام حساب Google الخاص بهم لنشاط أطفالهم على الإنترنت، ويجب عليهم بدلاً من ذلك إنشاء حساب مخصص – وهو خيار تشجعه Google.

لم تقم بعد بإنشاء مثل هذا الحساب لتوأمها. وهم الآن محظورون من الإنترنت.