نگاهی به سازوکار مدیریت و اجرای قوانین در پلتفرم‌های متا، اینستاگرام، واتساپ و ...

شرکت متا، که فیسبوک و اینستاگرام را مدیریت می‌کند، با میلیاردها کاربر و حجم عظیمی از محتوا که هر روز تولید می‌شود، روبرو است. مدیریت این حجم از محتوا و اطمینان از اینکه همه چیز طبق قوانین و استانداردهای این شرکت پیش می‌رود، یک چالش بزرگ و پیچیده است. برای این کار، متا یک سیستم چندلایه و پیچیده را به کار گرفته که ترکیبی از هوش مصنوعی پیشرفته و هزاران نیروی انسانی در سراسر جهان است. در این مقاله، قصد داریم به صورت دقیق و با جزییات، نگاهی به این سیستم بیندازیم و ببینیم که متا چطور محتوای خلاف قوانین را شناسایی می‌کند، چه اقداماتی در برابر آنها انجام می‌دهد و چه سازوکارهایی برای موارد خاص و حساس در نظر گرفته است.

نکته: این قوانین متعلق به شرکت متا است، وجود برخی از کلمات در آن صرفا به دلیل رعایت اصل ترجمه دقیق است و کل محتوا توسط ما در سال ۱۴۰۴ گردآوری شده است. در پایان مقاله لینک منابع آن قرار داده شده است.

بخش اول: شناسایی محتوای خلاف قوانین؛ ترکیبی از هوش مصنوعی و انسان

پایه و اساس سیستم اجرایی متا، شناسایی محتوای مشکل‌ساز است. این فرآیند دو بازوی اصلی دارد: فناوری‌های هوشمند و تیم‌های بازبینی انسانی. این دو بخش به صورت مداوم با یکدیگر در تعامل هستند تا دقت و سرعت کار را بالا ببرند.

فناوری چگونه به کمک می‌آید؟

در خط مقدم این سیستم، هوش مصنوعی و مدل‌های یادگیری ماشین قرار دارند. این فرآیند با تیم‌های هوش مصنوعی متا شروع می‌شود. وظیفه این تیم‌ها ساخت مدل‌های یادگیری ماشینی است که می‌توانند کارهای مختلفی انجام دهند، مثلا تشخیص دهند در یک عکس چه چیزهایی وجود دارد یا مفهوم یک متن را درک کنند.

بعد از آن، تیم‌های مسئول «یکپارچگی» یا همان Integrity، این مدل‌های پایه را گرفته و مدل‌های تخصصی‌تری می‌سازند. این مدل‌های جدید وظیفه دارند پیش‌بینی کنند که یک محتوا یا یک کاربر خاص، قوانین را نقض می‌کند یا نه. این پیش‌بینی‌ها به سیستم کمک می‌کند تا تصمیمات اجرایی را اعمال کند. برای مثال، یک مدل هوش مصنوعی پیش‌بینی می‌کند که آیا یک محتوا مصداق «نفرت‌پراکنی» یا «محتوای خشن و گرافیکی» است یا خیر. سپس یک سیستم دیگر به نام «فناوری اجرایی» تصمیم می‌گیرد که با آن محتوا چه کاری انجام دهد؛ مثلا آن را حذف کند، توزیع آن را کاهش دهد (دموت کند) یا آن را برای بررسی بیشتر به یک تیم بازبینی انسانی بفرستد.

یادگیری از طریق تکرار و تایید انسانی

وقتی یک فناوری جدید برای اجرای قوانین محتوا ساخته می‌شود، در ابتدا به آن آموزش داده می‌شود که به دنبال سیگنال‌های خاصی بگردد. مثلا، بعضی فناوری‌ها به دنبال برهنگی در عکس‌ها هستند و برخی دیگر یاد می‌گیرند که متن را بفهمند. در مراحل اولیه، یک فناوری جدید ممکن است با اطمینان پایینی بتواند تشخیص دهد که یک محتوا قوانین را نقض کرده است یا نه.

اینجا است که تیم‌های بازبینی انسانی وارد عمل می‌شوند. آنها تصمیم نهایی را می‌گیرند و فناوری از هر تصمیم انسانی، چیزی یاد می‌گیرد. با گذشت زمان و بعد از یادگیری از هزاران تصمیم انسانی، دقت فناوری به تدریج بیشتر و بیشتر می‌شود.

البته این یک فرآیند دائمی و تکرارشونده است، چون قوانین متا هم با توجه به تغییرات در محصولات، هنجارهای اجتماعی و زبان، به مرور زمان تکامل پیدا می‌کنند. به همین دلیل، هم آموزش فناوری و هم آموزش تیم‌های بازبینی، یک کار تدریجی است.

شناسایی تخلفات تکراری

یکی از نقاط قوت بزرگ فناوری، توانایی آن در شناسایی محتوای یکسان به صورت مکرر است؛ حتی اگر میلیون‌ها بار تکرار شود. اگر یک محتوای جدید با محتوای دیگری که قبلا به عنوان خلاف قوانین شناسایی شده، مطابقت داشته باشد یا خیلی به آن نزدیک باشد، فناوری به صورت خودکار روی آن اقدام می‌کند. این ویژگی به خصوص برای مقابله با کمپین‌های اطلاعات نادرست ویروسی، میم‌های مشکل‌ساز و محتواهایی که به سرعت پخش می‌شوند، بسیار مفید است.

سرمایه‌گذاری متا در فناوری‌های پیشرفته

متا برای بهبود توانایی‌های خود در این زمینه، روی توسعه و به‌کارگیری فناوری‌های جدید سرمایه‌گذاری کرده است. برخی از این فناوری‌ها عبارتند از:

Linformer: یک معماری جدید که برای تحلیل محتوا در فیسبوک و اینستاگرام در مناطق مختلف جهان استفاده می‌شود. این سیستم به تشخیص سخنان نفرت‌پراکن و محتوایی که به خشونت تحریک می‌کند، کمک می‌کند.
Reinforced Integrity Optimizer: یک سیستم جدید که با یادگیری از سیگنال‌های آنلاین، توانایی متا در تشخیص سخنان نفرت‌پراکن را بهبود می‌بخشد.
SimSearchNet: ابزاری برای تطبیق تصاویر که بهبود یافته است. این ابزار به فناوری کمک می‌کند تا تفاوت‌های ظریف در محتوا را تشخیص دهد تا بتواند علیه اطلاعات نادرست اقدام کند.
XLM و XLM-R: ابزارهای زبانی که به متا کمک می‌کنند طبقه‌بندی‌کننده‌هایی بسازد که یک مفهوم را در چندین زبان مختلف درک کنند. این یعنی وقتی فناوری در یک زبان چیزی را یاد می‌گیرد، می‌تواند عملکرد خود را در زبان‌های دیگر هم بهبود دهد. این قابلیت به خصوص برای زبان‌هایی که کمتر در اینترنت رایج هستند، بسیار کاربردی است.
سیستم درک کامل موجودیت (Whole Entity Understanding): این سیستم با تحلیل محتوا به تشخیص اینکه آیا آن محتوا شامل سخنان نفرت‌پراکن است یا نه، کمک می‌کند.

همکاری با جامعه هوش مصنوعی

متا معتقد است که چالش‌های مربوط به محتوای مضر، کل صنعت فناوری و جامعه را تحت تاثیر قرار می‌دهد. به همین دلیل، این شرکت برخی از فناوری‌های خود را به صورت متن‌باز (Open-Source) در اختیار دیگران قرار می‌دهد. هدف از این کار، تشویق تحقیق و توسعه، ایجاد راه‌های جدید برای شناسایی و جلوگیری از محتوای مضر و در نهایت، کمک به حفظ امنیت مردم است. در ادامه به چند نمونه از این فناوری‌ها و رقابت‌های صنعتی که متا رهبری کرده، اشاره می‌شود:

XLM-R: این یک مدل یادگیری ماشین است که در یک زبان آموزش می‌بیند و سپس می‌تواند بدون نیاز به داده‌های آموزشی اضافی، در زبان‌های دیگر هم استفاده شود. با توجه به اینکه کاربران متا به بیش از ۱۶۰ زبان محتوا پست می‌کنند، XLM-R به متا این امکان را می‌دهد که به جای ساختن یک مدل برای هر زبان، از یک مدل واحد برای بسیاری از زبان‌ها استفاده کند. این به شناسایی راحت‌تر سخنان نفرت‌پراکن و دیگر محتواهای خلاف قوانین در طیف وسیعی از زبان‌ها کمک می‌کند. متا مدل‌ها و کدهای خود را متن‌باز کرده تا جامعه تحقیقاتی بتواند عملکرد مدل‌های چندزبانه خود را بهبود بخشد. هدف نهایی این است که بهترین تجربه ممکن برای کاربران فراهم شود، صرف نظر از زبانی که صحبت می‌کنند.
Linformer: همانطور که اشاره شد، این یک معماری ترنسفورمر است که میلیاردها محتوا را در فیسبوک و اینستاگرام تحلیل می‌کند. متا تحقیقات و کد Linformer را به صورت عمومی منتشر کرده تا محققان و مهندسان دیگر هم بتوانند مدل‌های خود را بهبود دهند. هدف از این کار، ایجاد یک مدل هوش مصنوعی جدید است که از متن، تصویر و گفتار یاد بگیرد و بتواند به طور موثر سخنان نفرت‌پراکن، قاچاق انسان، زورگویی و سایر اشکال محتوای مضر را شناسایی کند.
چالش تشخیص دیپ‌فیک (Deepfakes Detection Challenge): متا با همکاری مایکروسافت، «شراکت برای هوش مصنوعی» (Partnership on AI) و دانشگاهیان، رقابتی را برای ایجاد فناوری‌هایی برگزار کرد که بتوانند بهتر تشخیص دهند چه زمانی از هوش مصنوعی برای تغییر یک ویدیو به قصد گمراه کردن بینندگان استفاده شده است. سهم متا در این چالش، سفارش ساخت یک مجموعه داده واقعی بود که صنعت فاقد آن بود تا به تشخیص دیپ‌فیک‌ها کمک کند.
چالش میم‌های نفرت‌پراکن (Hateful Memes Challenge): متا با همکاری Getty Images و DrivenData رقابت دیگری را برای تسریع تحقیقات در زمینه تشخیص سخنان نفرت‌پراکنی که ترکیبی از تصویر و متن هستند (میم‌ها)، ایجاد کرد. سهم متا در این چالش، ایجاد یک مجموعه داده منحصر به فرد با بیش از ۱۰,۰۰۰ مثال بود تا محققان بتوانند به راحتی از آنها در کارهای خود استفاده کنند. هدف این بود که صنعت به سمت ایجاد رویکردها و روش‌های جدید برای تشخیص سخنان نفرت‌پراکن چندوجهی (multimodal) سوق داده شود.

نقش تیم‌های بازبینی انسانی

با وجود تمام پیشرفت‌های فناوری، باز هم انسان نقش حیاتی در این سیستم دارد. در مواردی که فناوری چیزی را از دست می‌دهد یا برای تصمیم‌گیری به اطلاعات بیشتری نیاز دارد، هزاران بازبین در سراسر جهان وارد عمل می‌شوند تا استانداردهای جامعه متا را اجرا کنند.

وقتی یک محتوای بالقوه خلاف قوانین به تیم‌های بازبینی ارسال می‌شود، به هر بازبین یک صف از پست‌ها برای ارزیابی جداگانه اختصاص داده می‌شود. گاهی اوقات، این بازبینی به سادگی به معنای نگاه کردن به یک پست برای تعیین اینکه آیا با قوانین مغایرت دارد یا نه، است. مثلا یک تصویر حاوی برهنگی بزرگسالان که فناوری نتوانسته آن را در ابتدا شناسایی کند.

اما در موارد دیگر، «زمینه» (Context) بسیار کلیدی است. برای مثال، فناوری ممکن است مطمئن نباشد که یک پست حاوی «زورگویی» است یا نه. این یک حوزه سیاستی است که به زمینه و ظرافت‌های بیشتری نیاز دارد، چون اغلب منعکس‌کننده ماهیت روابط شخصی است. در این حالت، متا پست را به تیم‌های بازبینی که تخصص موضوعی و زبانی مناسب را دارند، ارسال می‌کند. در صورت لزوم، آنها می‌توانند موضوع را به کارشناسان متخصص در تیم‌های «عملیات جهانی» (Global Operations) یا «سیاست‌گذاری محتوا» (Content Policy) ارجاع دهند.

در صورت نیاز، متا اطلاعات بیشتری از محتوای گزارش‌شده را در اختیار بازبین‌ها قرار می‌دهد. به عنوان مثال، کلماتی که در طول تاریخ به عنوان توهین‌های نژادی استفاده شده‌اند، ممکن است توسط یک نفر به عنوان نفرت‌پراکنی به کار روند، اما توسط شخص دیگری در زمینه‌ای متفاوت، به عنوان نوعی توانمندسازی خود به اشتراک گذاشته شوند. در برخی موارد، متا ممکن است زمینه بیشتری در مورد چنین کلماتی به بازبین‌ها ارائه دهد تا به آنها در اجرای درست سیاست‌ها و تصمیم‌گیری برای حذف یا باقی ماندن پست کمک کند.

بخش دوم: همکاری انسان و ماشین؛ یک چرخه برای بهبود مستمر

سیستم اجرایی متا بر اساس یک همکاری تنگاتنگ بین فناوری و تیم‌های انسانی بنا شده است. این دو بخش نه تنها در کنار هم کار می‌کنند، بلکه به طور مداوم یکدیگر را تقویت می‌کنند.

آموزش فناوری: وقتی بازبین‌ها در مورد یک محتوا تصمیم می‌گیرند، در واقع به طور همزمان در حال آموزش و اصلاح فناوری هستند. این بازخورد به فناوری کمک می‌کند تا در طول زمان، سایر محتواهای مشابه را بهتر شناسایی کند. این چرخه بازخورد انسان-فناوری برای به‌روز نگه داشتن سیستم‌ها حیاتی است.
بهبود الگوریتم‌های هوش مصنوعی: تیم‌های بازبینی هنگام بررسی محتوای خلاف قوانین، به صورت دستی سیاستی را که آن محتوا نقض کرده، برچسب‌گذاری می‌کنند. این داده‌های برچسب‌گذاری شده بسیار مهم هستند و به متا کمک می‌کنند کیفیت الگوریتم‌های هوش مصنوعی را که به صورت پیشگیرانه به دنبال محتوای مضر می‌گردند، بهبود بخشد.
تصمیم‌گیری در موارد دشوار: فناوری در دو زمینه عملکرد بسیار خوبی دارد: شناسایی تخلفات تکراری و تشخیص محتوای آشکارا گرافیکی یا افراطی. اما وقتی ابهام، پیچیدگی یا ظرافت زیادی در مورد اعمال سیاست‌ها بر یک محتوا وجود دارد، بازبین‌های انسانی معمولا تصمیمات بهتری نسبت به فناوری می‌گیرند.

حمایت از تیم‌های بازبینی

کار بازبینی محتوا می‌تواند بسیار چالش‌برانگیز باشد. ایمن نگه داشتن فضای آنلاین گاهی به این معناست که تیم‌های بازبینی باید به محتوایی نگاه کنند که ممکن است ناخوشایند یا گرافیکی باشد. متا اعلام کرده که به سختی این کار احترام می‌گذارد و منابعی را برای حمایت از سلامت و پایداری روانی بازبین‌ها فراهم کرده است:

برنامه‌های پایداری روانی (Resilience Programs): تیم‌های بازبینی که با محتوای بالقوه ناخوشایند یا گرافیکی کار می‌کنند، به برنامه‌های پایداری روانی دسترسی دارند. تیمی از روانشناسان بالینی متا با شرکای فروشنده (که این بازبین‌ها را استخدام کرده‌اند) و تیم‌های سلامت خود این شرکا مشورت می‌کنند تا یک چارچوب استراتژیک کلی ارائه دهند و اطمینان حاصل کنند که این برنامه‌ها در سطح صنعت پیشرو هستند.
ابزارهای سلامت داخلی: در ابزار بازبینی، مجموعه‌ای از گزینه‌های سلامت طراحی شده تا به بازبین‌ها کمک کند. این گزینه‌ها شامل قابلیت بی‌صدا کردن ویدیوها و تار کردن تصاویر یا نمایش آنها به صورت سیاه و سفید است.
منابع سلامت روان: بازبین‌ها به منابع سلامت روان دسترسی دارند، از جمله متخصصان آموزش‌دیده در محل که جلسات حمایتی فردی و گروهی ارائه می‌دهند. آنها همچنین به یک خط پشتیبانی اضطراری ۲۴ ساعته دسترسی دارند.
محیط حمایتی: متا اعلام کرده که با برخی از بهترین شرکای صنعتی کار می‌کند تا اطمینان حاصل کند که محیط کاری بازبین‌ها حمایتی و مناسب برای سلامت آنهاست.

بخش سوم: سیستم‌های ویژه برای موارد خاص و پرخطر

علاوه بر سیستم‌های عمومی، متا سازوکارهای خاصی را برای مدیریت محتوای حساس‌تر یا شرایط پرخطر در نظر گرفته است.

سیستم «کراس‌چک» (Cross-Check)

میلیاردها محتوا هر روز در فیسبوک و اینستاگرام منتشر می‌شود. مدیریت محتوا در این مقیاس، چالش‌هایی را به همراه دارد، از جمله ایجاد توازن بین اهداف مهم. متا از یک سو به دنبال بررسی سریع محتوای بالقوه خلاف قوانین و حذف آن است، اما از سوی دیگر باید این هدف را در برابر خطر «مثبت کاذب» (False Positive) متعادل کند. مثبت کاذب یعنی حذف اشتباهی محتوایی که قوانین را نقض نکرده و این کار به آزادی بیان کاربران آسیب می‌زند.

برای ایجاد این توازن، متا سیستم «کراس‌چک» را پیاده‌سازی کرده است. هدف این سیستم، شناسایی محتوایی است که خطر مثبت کاذب بالاتری دارد و ارائه سطوح اضافی از بازبینی برای کاهش این خطر است. کراس‌چک برای محتوایی که سیستم‌های داخلی (چه به صورت خودکار و چه توسط بازبین انسانی) آن را به عنوان خلاف قوانین پرچم‌گذاری کرده‌اند، سطوح بازبینی بیشتری فراهم می‌کند تا از خطاهای مدیریتی با ریسک بالا جلوگیری شود. این سیستم همچنین برای اقدامات دیگری مانند حذف یک صفحه یا پروفایل نیز استفاده می‌شود. نکته مهم این است که در حین بازبینی کراس‌چک، بازبین‌ها از همان استانداردهای جامعه که برای همه محتواها اعمال می‌شود، استفاده می‌کنند.

این سیستم نقش مهمی در حفاظت از حقوق بشر ایفا می‌کند. به عنوان مثال، نهادها و پست‌های روزنامه‌نگارانی که از مناطق درگیری گزارش می‌دهند و رهبران جوامعی که در مورد موارد نفرت‌پراکنی یا خشونت آگاهی‌رسانی می‌کنند، در این سیستم قرار می‌گیرند. بازبینی‌های کراس‌چک، زمینه‌ای را که برای تصمیم‌گیری درست در مورد این محتواها لازم است، در نظر می‌گیرند. این سیستم همچنین ممکن است برای نهادهای مدنی اعمال شود، جایی که کاربران علاقه بیشتری به دیدن سخنان رهبران خود دارند.

علاوه بر این، کراس‌چک نقش مهمی در مدیریت روابط متا با بسیاری از شرکای تجاری خود دارد. حذف اشتباهی محتوای ارسال شده توسط یک صفحه یا پروفایل با دنبال‌کنندگان زیاد، می‌تواند تجربه منفی برای شرکای تجاری متا و تعداد قابل توجهی از کاربرانی که آنها را دنبال می‌کنند، ایجاد کند. این سیستم برای برخی از گروه‌های بسیار بزرگ نیز اعمال می‌شود که یک خطا می‌تواند بر صدها هزار یا میلیون‌ها کاربر تاثیر بگذارد. کراس‌چک شرکای تجاری یا گروه‌ها را از سیاست‌های محتوایی متا معاف نمی‌کند، اما گاهی اوقات سطوح اضافی از بازبینی را برای اطمینان از اجرای دقیق این سیاست‌ها فراهم می‌کند.

تاریخچه و تکامل کراس‌چک

سیستمی که اکنون به نام کراس‌چک شناخته می‌شود، برای اولین بار در سال ۲۰۱۳ پیاده‌سازی شد. در گذشته، تیم‌ها لیستی از کاربران یا نهادهایی را که تصور می‌شد ریسک بالاتری برای اقدام مثبت کاذب علیه آنها وجود دارد، تهیه می‌کردند. معیارها شامل نوع کاربر (مثلا یک مقام منتخب، روزنامه‌نگار، شریک تجاری مهم، سازمان حقوق بشری)، تعداد دنبال‌کنندگان و موضوع نهاد بود. وقتی این کاربران یا نهادها محتوایی منتشر می‌کردند که سیستم آن را بالقوه خلاف قوانین تشخیص می‌داد، آن محتوا برای بازبینی کراس‌چک در صف قرار می‌گرفت.

از سال ۲۰۲۰، تغییراتی ایجاد شد تا بیشتر محتوای موجود در این صف با استفاده از یک چارچوب ریسک اولویت‌بندی شود. این چارچوب بر اساس سه عامل بود: (۱) حساسیت نهاد، (۲) شدت تخلف ادعاشده، و (۳) شدت اقدام اجرایی بالقوه.

ساختار فعلی کراس‌چک

امروزه، سیستم کراس‌چک از دو جزء اصلی تشکیل شده است:

بازبینی ثانویه عمومی (General Secondary Review – GSR): این بخش شامل بازبین‌های قراردادی و افرادی از تیم‌های منطقه‌ای متا است که یک بازبینی ثانویه روی محتوا و نهادهایی که ممکن است قوانین را نقض کنند، انجام می‌دهند، پیش از اینکه اقدامی صورت گیرد. این بازبینی صرفا به هویت کاربر یا نهاد برای تعیین اینکه چه محتوایی بازبینی کراس‌چک دریافت کند، متکی نیست. در عوض، از یک سیستم اولویت‌بندی پویا به نام «رتبه‌بند کراس‌چک» (cross-check ranker) استفاده می‌شود. این رتبه‌بند، محتوا را بر اساس ریسک مثبت کاذب و با استفاده از معیارهایی مانند حساسیت موضوع، شدت اقدام اجرایی، احتمال مثبت کاذب، دسترسی پیش‌بینی‌شده و حساسیت نهاد رتبه‌بندی می‌کند. امروزه اکثر بازبینی‌های کراس‌چک از طریق این سیستم انجام می‌شود.
بازبینی ثانویه نهاد حساس (Sensitive Entity Secondary Review – SSR): این بخش شبیه به سیستم قدیمی کراس‌چک است. متا همچنان لیستی از کاربران و نهادها را نگهداری می‌کند که اگر محتوایشان به عنوان بالقوه خلاف قوانین پرچم‌گذاری شود، بازبینی اضافی کراس‌چک دریافت می‌کنند. با این حال، کنترل‌هایی برای فرآیند تهیه و بازنگری این لیست‌ها اضافه شده است. قبل از سپتامبر ۲۰۲۰، بیشتر کارمندان می‌توانستند یک کاربر یا نهاد را به لیست کراس‌چک اضافه کنند. اما پس از آن تاریخ، اگرچه هر کارمندی می‌تواند درخواست اضافه شدن یک نهاد را بدهد، تنها یک گروه مشخص از کارمندان اختیار افزودن به لیست را دارند.

مسئولیت‌های حاکمیتی برای لیست SSR در حال حاضر بر عهده سازمان «عملیات جهانی» متا است، با پشتیبانی تیم‌های حقوقی و شراکتی. اگرچه ساختار گزارش‌دهی تیم عملیات جهانی از تیم «سیاست عمومی» متا جدا است، اما از تیم سیاست عمومی برای ورودی در تصمیمات کراس‌چک مشورت گرفته می‌شود. این ساختارهای جداگانه به اطمینان از استقلال بازبینی از نفوذ سیاسی یا اقتصادی کمک می‌کند. متا همچنین یک فرآیند بازبینی سالانه برای حسابرسی نهادهای موجود در لیست‌های SSR ایجاد کرده تا اطمینان حاصل کند که آنها همچنان واجد شرایط هستند.

آمار و ارقام کراس‌چک

در ماه‌های اخیر، متا به طور متوسط روزانه چندین هزار مورد کراس‌چک را بررسی می‌کند که اکثریت قریب به اتفاق آنها در بخش GSR تکمیل می‌شود. بخش SSR اکنون اقلیت این بازبینی‌های روزانه را تشکیل می‌دهد. تا تاریخ ۱۶ اکتبر ۲۰۲۱، تقریبا ۶۶۰,۰۰۰ کاربر و نهاد در لیست SSR قرار داشتند. این عدد به طور منظم با اضافه یا حذف شدن نهادها تغییر می‌کند.

نمونه‌هایی از کاربران و نهادهای واجد شرایط برای SSR عبارتند از:

نهادهای مرتبط با رویدادهای پرخطر (مثلا کاربری که ویدیوی زنده از خشونت پلیس پخش می‌کند).
نهادهای مشمول برای اهداف انطباق قانونی.
شخصیت‌های عمومی و ناشران با دیده‌شدن بالا.
جمعیت‌های به حاشیه رانده شده (مدافعان حقوق بشر، مخالفان سیاسی و…).
نهادهای مدنی (سیاستمداران، مقامات دولتی، سازمان‌های حمایتی).
کسب‌وکارها (تبلیغ‌کنندگان با ارزش بالا).

کاربران می‌توانند از طریق یک فرم درخواست کنند که در لیست SSR قرار نگیرند، هرچند متا تایید نمی‌کند که آیا کاربران در این لیست‌ها هستند یا از آن حذف شده‌اند.

سیستم Dynamic Multi Review (DMR)

علاوه بر کراس‌چک، متا یک سیستم داخلی دیگر برای پیشگیری از خطا به نام DMR دارد. این سیستم به متا اجازه می‌دهد تا موارد بازبینی‌شده را برای بازبینی مجدد ارسال کند تا یک رای اکثریت در مورد یک تصمیم به دست آید. این سیستم برای بهبود کیفیت و دقت بازبینی انسانی و کاهش ریسک تصمیمات نادرست استفاده می‌شود.

ارزیابی ریسک‌های جهانی و مدیریت بحران

متا برای پاسخ به رویدادهای پرخطر مانند بحران‌ها یا انتخابات، رویکردهای متعددی دارد. این شرکت با جمع‌آوری اطلاعات از گزارش‌های عمومی، توصیه‌های شرکای مورد اعتماد، مشاهدات روندهای محتوایی و ارزیابی‌های تیم‌های اطلاعاتی خود، روندهای بالقوه مضر را شناسایی می‌کند.

بر اساس این اطلاعات، متا ممکن است اقدامات مختلفی را انجام دهد، مانند تغییر یا محدود کردن ویژگی‌های محصول، معرفی محدودیت در نرخ ارسال پیام، و محدود کردن توزیع محتوا. برخی از ابزارهای متا در این زمینه عبارتند از:

پروتکل سیاست بحران (Crisis Policy Protocol – CPP): این پروتکل به متا کمک می‌کند تا راه‌های مقابله با ریسک‌های محتوایی را ارزیابی کند.
مکان‌های پرخطر موقت (Temporary High-Risk Locations – THRL): این یک ابزار سیاستی است که برای مقابله با انواع خاصی از محتوای بالقوه خشونت‌آمیز در مکان‌هایی که به دلیل رویدادهای دنیای واقعی پرخطر شناسایی شده‌اند، استفاده می‌شود.
مراکز عملیات یکپارچگی محصول (Integrity Product Operations Centers – IPOCs): این مراکز تیم‌های مختلف، کارشناسان موضوعی و قابلیت‌های مختلف شرکت را در صورت نیاز گرد هم می‌آورند تا به صورت آنی به مشکلات یا روندهای بالقوه پاسخ دهند.

بخش چهارم: اقدامات اجرایی؛ از هشدار تا غیرفعال کردن حساب

وقتی مشخص می‌شود که یک محتوا قوانین را نقض کرده است، متا مجموعه‌ای از اقدامات را بسته به شدت تخلف و سابقه کاربر انجام می‌دهد.

سیستم «اخطار» (Strike)

اگر کاربری محتوایی پست کند که با استانداردهای جامعه مغایرت دارد، متا آن را حذف کرده و ممکن است یک «اخطار» یا «استرایک» به حساب فیسبوک یا اینستاگرام او اعمال کند. اینکه آیا اخطار اعمال می‌شود یا نه، به شدت محتوا، زمینه‌ای که در آن به اشتراک گذاشته شده و زمان ارسال آن بستگی دارد.

اگر محتوای خلاف قوانین در یک صفحه یا گروهی که کاربر مدیریت می‌کند پست شود، این اخطار ممکن است برای آن صفحه یا گروه نیز حساب شود. در برخی موارد، تخلف ممکن است آنقدر شدید باشد (مانند انتشار محتوای بهره‌کشی جنسی از کودکان) که حساب، صفحه یا گروه در فیسبوک یا حساب در اینستاگرام پس از اولین تخلف غیرفعال شود.

برای اطمینان از اینکه سیستم اخطار منصفانه و متناسب است، متا برای بیشتر تخلفات، اخطارهای مربوط به محتوای پست‌شده بیش از ۹۰ روز پیش را حساب نمی‌کند (برای تخلفات شدیدتر این مدت ۴ سال است). همچنین برای برخی تخلفات خاص، مانند زمانی که شخصی اطلاعات مالی خود را به اشتراک می‌گذارد (که برای جلوگیری از کلاهبرداری حذف می‌شود)، اخطاری شمارش نمی‌شود. تمام اخطارها در فیسبوک یا اینستاگرام ظرف یک سال منقضی می‌شوند.

مراحل و محدودیت‌های سیستم اخطار در فیسبوک به شرح زیر است (این محدودیت‌ها عمدتا برای حساب‌های فیسبوک اعمال می‌شود):

یک اخطار: کاربر یک هشدار دریافت می‌کند چون این اولین اخطار اوست.
دو تا شش اخطار: کاربر برای مدت زمان محدودی از استفاده از ویژگی‌های خاصی مانند پست گذاشتن در گروه‌ها منع می‌شود.
هفت اخطار: کاربر به مدت یک روز از ایجاد محتوا (شامل پست، کامنت، ایجاد صفحه و غیره) محدود می‌شود.
هشت اخطار: محدودیت ۳ روزه برای ایجاد محتوا.
نه اخطار: محدودیت ۷ روزه برای ایجاد محتوا.
ده اخطار یا بیشتر: محدودیت ۳۰ روزه برای ایجاد محتوا.

کاربران می‌توانند تاریخچه تخلفات و محدودیت‌های حساب خود را در بخش «وضعیت حساب» (Account Status) در فیسبوک و اینستاگرام مشاهده کنند. اگر کاربری فکر می‌کند متا اشتباه کرده، می‌تواند موضوع را اطلاع دهد و در صورت تایید، محتوا بازگردانده شده و اخطار و محدودیت حذف می‌شود.

محدودیت‌های ویژه برای شخصیت‌های عمومی

در زمان ناآرامی‌های مدنی، محدودیت‌های استاندارد ممکن است برای شخصیت‌های عمومی که محتوایی در جهت تحریک یا تمجید از خشونت جاری پست می‌کنند، کافی نباشد. شخصیت‌های عمومی (مقامات دولتی، نامزدهای انتخاباتی، افراد با بیش از یک میلیون دنبال‌کننده و افرادی که پوشش خبری قابل توجهی دارند) نفوذ بیشتری دارند و بنابراین ممکن است خطر آسیب بیشتری ایجاد کنند.

در این موارد، متا با در نظر گرفتن عواملی مانند شدت تخلف، سابقه شخصیت عمومی، نفوذ او بر افراد درگیر در خشونت و شدت خشونت، طول مدت محدودیت را تعیین می‌کند که می‌تواند از یک ماه تا ۲ سال متغیر باشد. در پایان دوره محدودیت، متا با کمک کارشناسان ارزیابی می‌کند که آیا خطر برای امنیت عمومی کاهش یافته است یا خیر. اگر خطر همچنان جدی باشد، محدودیت برای یک دوره مشخص دیگر تمدید می‌شود.

یک به‌روزرسانی در تاریخ ۱۲ ژوئیه ۲۰۲۴ اعلام می‌کند که متا به صورت دوره‌ای حساب‌های تحت این پروتکل را بازبینی خواهد کرد تا مشخص شود آیا مجازات‌های تشدید شده همچنان مناسب هستند یا خیر.

مدیریت محتوای بررسی‌شده توسط واقعیت‌سنج‌ها

در ایالات متحده: متا یک برنامه مبتنی بر جامعه به نام «یادداشت‌های جامعه» (Community Notes) دارد که در مرحله آزمایش اولیه است. این یادداشت‌ها مجازاتی ندارند و تاثیری بر دیده شدن محتوا نمی‌گذارند.

خارج از ایالات متحده: متا با واقعیت‌سنج‌های شخص ثالث مستقل کار می‌کند. اگر کاربری محتوایی را به اشتراک بگذارد که توسط این شرکا به عنوان «نادرست»، «تغییریافته» یا «تاحدی نادرست» رتبه‌بندی شود، ممکن است متا مجازات‌هایی را برای آن محتوا و در صورت تکرار، برای حساب، صفحه، گروه یا وب‌سایت کاربر اعمال کند. این مجازات‌ها جدا از اخطارهای مربوط به نقض استانداردهای جامعه هستند.

این اقدامات شامل کاهش توزیع محتوا در فیسبوک، اینستاگرام و تردز، اعمال یک برچسب اطلاع‌رسانی، فیلتر کردن آن از سطوح پیشنهادی (مانند اکسپلور) و عدم اجازه استفاده از آن در تبلیغات است. اگر کاربری به طور مکرر محتوای «نادرست» یا «تغییریافته» پست کند، برای ۹۰ روز مجازات‌های بیشتری دریافت خواهد کرد، مانند اینکه تمام پست‌هایش در فید پایین‌تر نمایش داده می‌شود.

اقدامات دیگر: از صفحه‌های هشدار تا لیست‌های توهین

صفحه‌های هشدار برای محتوای حساس: برای محافظت از افراد در برابر مشاهده محتوای بالقوه حساس، متا روی محتوایی مانند تصاویر خشن یا گرافیکی، برخی اشکال برهنگی یا پست‌های مربوط به خودکشی، یک صفحه هشدار قرار می‌دهد تا کاربران بتوانند انتخاب کنند که آیا می‌خواهند آن را ببینند یا نه.
لیست‌های توهین مخصوص هر بازار: یک زبان ممکن است در چندین کشور و فرهنگ به اشتراک گذاشته شود، اما کلمات توهین‌آمیز (slurs) اغلب مختص یک منطقه یا جامعه خاص (که متا آن را «بازار» می‌نامد) هستند. به همین دلیل، متا از لیست‌های توهین‌آمیز مخصوص هر بازار استفاده می‌کند، نه فقط هر زبان. بازبین‌ها بر اساس تخصص زبانی و نوع تخلف به صف‌های بررسی محتوا اختصاص داده می‌شوند. الگوریتم‌های مسیریابی محتوا هم زبان و هم منطقه را در نظر می‌گیرند تا محتوا به بازبین مناسب ارسال شود و زمینه فرهنگی برای تشخیص درست یک کلمه توهین‌آمیز فراهم باشد.

همانطور که دیدیم، متا برای اجرای قوانین و مدیریت محتوا در پلتفرم‌های خود از یک سیستم بسیار گسترده و چندوجهی استفاده می‌کند. این سیستم به شدت به ترکیبی از فناوری‌های پیشرفته هوش مصنوعی و تخصص هزاران بازبین انسانی در سراسر جهان وابسته است. از مدل‌های یادگیری ماشین که به طور مداوم در حال یادگیری هستند گرفته تا سیستم‌های پیچیده‌ای مانند «کراس‌چک» برای موارد حساس و پروتکل‌های مدیریت بحران، همه و همه بخشی از تلاشی عظیم برای ایجاد توازن بین ایمنی کاربران، آزادی بیان و دقت در تصمیم‌گیری‌ها هستند. در نهایت، این رویکرد نشان می‌دهد که مدیریت محتوا در مقیاس جهانی یک کار ایستا نیست، بلکه یک فرآیند پویا و در حال تکامل است که با تغییرات جامعه و فناوری، خود را وفق می‌دهد.

منابع

نگاهی به سازوکار مدیریت و اجرای قوانین در پلتفرم‌های متا، اینستاگرام، واتساپ و …