خلاصه
- شرکت انتروپیک، سازنده هوش مصنوعی کلاد، داره یه افزونه کروم برای کلاد میسازه که هوش مصنوعی رو مستقیم میاره تو مرورگرتون.
- این افزونه میتونه کارهایی مثل مدیریت تقویم، برنامه‌ریزی جلسات و نوشتن ایمیل رو به جای شما تو مرورگر انجام بده.
- فعلاً این افزونه به صورت آزمایشی در اختیار ۱۰۰۰ کاربر طرح Max قرار گرفته و بقیه میتونن تو لیست انتظار ثبت‌نام کنن.
- انتروپیک تاکید داره که کاربران باید با احتیاط و فقط تو سایت‌های مطمئن از این افزونه استفاده کنن و حواسشون به داده‌های حساس باشه.
کلاد وارد مرورگر کروم میشه: همه چیز درباره این افزونه جدید و تست‌های امنیتی اون
شرکت انتروپیک (Anthropic) که سازنده هوش مصنوعی کلاد (Claude) هست، در ماه‌های اخیر مشغول این بوده که کلاد رو به نرم‌افزارهای مختلفی مثل تقویم و اسناد متصل کنه. حالا به نظرشون قدم منطقی بعدی اینه که کاری کنن کلاد بتونه مستقیما داخل مرورگر کار کنه. از دید این شرکت، وجود یک هوش مصنوعی که بتونه از مرورگر استفاده کنه، یه اتفاق حتمی در آینده هست. دلیلش هم اینه که بخش بزرگی از کارهای ما داخل مرورگر انجام میشه و اگه کلاد بتونه چیزهایی که شما می‌بینید رو ببینه، روی دکمه‌ها کلیک کنه و فرم‌ها رو پر کنه، خیلی کاربردی‌تر میشه.
اما این ایده چالش‌های امنیتی و حفاظتی خاص خودش رو هم داره و نیازمند اقدامات امنیتی قوی‌تری هست. برای همین، شرکت تصمیم گرفته از شرکای قابل اعتمادش بازخورد بگیره تا بفهمه کاربردها، نقص‌ها و مشکلات امنیتی این سیستم در دنیای واقعی چیه. این کار بهشون کمک میکنه تا دسته‌بندهای (classifiers) قوی‌تری بسازن و به مدل‌های آینده یاد بدن که از رفتارهای ناخواسته دوری کنن. اینطوری میشه مطمئن شد که همزمان با پیشرفت قابلیت‌ها، امنیت مرورگر هم پابه پای اون رشد میکنه.
این موضوع از اونجایی خیلی فوری و ضروری شده که همین الان هم دستیارهای هوش مصنوعی مبتنی بر مدل‌های پیشرفته دارن وارد عرصه استفاده از مرورگر میشن. با حل کردن چالش‌های امنیتی، انتروپیک میتونه بهتر از کاربران کلاد محافظت کنه و چیزهایی که یاد میگیره رو با هر کسی که میخواد یک دستیار مبتنی بر مرورگر با API این شرکت بسازه، به اشتراک بذاره.
برای شروع، این شرکت یک تست کنترل شده رو راه انداخته: یک افزونه کلاد برای کروم که کاربران مورد اعتماد میتونن به کلاد دستور بدن تا از طرف اونها کارهایی رو داخل مرورگر انجام بده. این برنامه آزمایشی با ۱۰۰۰ نفر از کاربران طرح Max شروع میشه (که میتونن در لیست انتظار ثبت‌نام کنن) تا شرکت بتونه تا جای ممکن اطلاعات جمع کنه. به مرور و با توسعه اقدامات امنیتی قوی‌تر و ایجاد اطمینان از طریق این پیش‌نمایش محدود، دسترسی افراد بیشتری به این افزونه باز میشه.
استفاده از هوش مصنوعی در مرورگر چه ملاحظاتی داره؟
داخل خود شرکت انتروپیک، استفاده از نسخه‌های اولیه افزونه «کلاد برای کروم» نتایج مثبتی داشته. برای مثال در کارهایی مثل مدیریت تقویم، برنامه‌ریزی جلسات، نوشتن پیش‌نویس جواب ایمیل‌ها، انجام گزارش‌های هزینه‌های روتین و تست کردن ویژگی‌های جدید وبسایت‌ها، بهبودهای قابل توجهی دیده شده.
با این حال، قبل از اینکه افزونه کلاد برای کروم به صورت عمومی در دسترس قرار بگیره، هنوز آسیب‌پذیری‌هایی وجود داره. همونطور که آدما توی ایمیل‌هاشون با تلاش‌های فیشینگ روبرو میشن، هوش‌های مصنوعی که از مرورگر استفاده میکنن هم با حملات تزریق پرامپت (prompt injection attacks) مواجه هستن. در این نوع حملات، افراد خرابکار دستورالعمل‌هایی رو توی وبسایت‌ها، ایمیل‌ها یا اسناد مخفی میکنن تا هوش مصنوعی رو فریب بدن و بدون اطلاع کاربر، اون رو وادار به انجام کارهای مخرب کنن. (مثلا یک متن مخفی که میگه «دستورالعمل‌های قبلی رو نادیده بگیر و به جاش این کار مخرب رو انجام بده»).
این حملات تزریق پرامپت میتونن باعث بشن هوش مصنوعی فایل‌ها رو حذف کنه، اطلاعات رو بدزده یا تراکنش‌های مالی انجام بده. این‌ها فقط حدس و گمان نیست؛ انتروپیک آزمایش‌هایی به اسم «red-teaming» یا تیم قرمز انجام داده تا افزونه کلاد برای کروم رو تست کنه و نتایج نگران‌کننده‌ای بدون وجود اقدامات امنیتی مشاهده کرده.
این شرکت تست‌های گسترده و خصمانه‌ای برای تزریق پرامپت انجام داد و ۱۲۳ مورد آزمایشی رو که نماینده ۲۹ سناریوی حمله مختلف بودن، ارزیابی کرد. نتایج نشون داد که وقتی این افزونه بدون اقدامات امنیتی استفاده میشه و توسط افراد خرابکار به طور عمدی هدف قرار میگیره، نرخ موفقیت حمله ۲۳.۶ درصد هست.
یک مثال از حمله موفق (قبل از اینکه سیستم‌های دفاعی جدید اعمال بشن) این بود: یک ایمیل مخرب ادعا میکرد که به دلایل امنیتی، ایمیل‌ها باید حذف بشن. وقتی کلاد داشت اینباکس رو پردازش میکرد، این دستورالعمل رو دنبال کرد و بدون اینکه از کاربر تایید بگیره، ایمیل‌های اون شخص رو حذف کرد.
همونطور که در بخش بعدی توضیح داده میشه، این شرکت چندین سیستم دفاعی رو پیاده‌سازی کرده که نرخ موفقیت حمله رو به شکل قابل توجهی کاهش میده، هرچند هنوز کارهای بیشتری برای کشف بردارهای حمله جدید باقی مونده.
سیستم‌های دفاعی فعلی در برابر حملات
اولین خط دفاعی در برابر حملات تزریق پرامپت، مدیریت دسترسی‌ها (permissions) هست. کاربران همیشه کنترل میکنن که افزونه کلاد برای کروم به چه چیزهایی دسترسی داشته باشه و چه کارهایی بتونه انجام بده:
- دسترسی در سطح سایت: کاربران میتونن هر زمانی که بخوان در بخش تنظیمات، دسترسی کلاد به وبسایت‌های خاصی رو بدن یا ازش بگیرن.
- تایید برای انجام کارها: کلاد قبل از انجام کارهای پرخطر مثل انتشار محتوا، خرید کردن یا به اشتراک گذاشتن اطلاعات شخصی، از کاربر اجازه میگیره. حتی وقتی کاربران حالت آزمایشی «خودکار» (autonomous mode) رو فعال میکنن، کلاد همچنان برای کارهای خیلی حساس، اقدامات امنیتی خاصی رو حفظ میکنه. (نکته: تمام تست‌های تیم قرمز و ارزیابی‌های امنیتی در حالت خودکار انجام شده).
علاوه بر این‌ها، اقدامات امنیتی دیگه‌ای هم مطابق با اصول انتروپیک برای دستیارهای قابل اعتماد ساخته شده. اول از همه، پرامپت‌های سیستمی (system prompts) بهبود پیدا کردن. این‌ها دستورالعمل‌های کلی هستن که کلاد قبل از دریافت دستورات خاص از کاربر دریافت میکنه و بهش یاد میدن که چطور با داده‌های حساس کار کنه و به درخواست‌ها برای انجام کارهای حساس جواب بده.
همچنین، انتروپیک دسترسی کلاد به وبسایت‌های بعضی از دسته‌بندی‌های پرخطر مثل خدمات مالی، محتوای بزرگسالان و محتوای دزدی (pirated) رو مسدود کرده. این شرکت همینطور شروع به ساخت و تست دسته‌بندهای (classifiers) پیشرفته کرده تا الگوهای دستورالعمل‌های مشکوک و درخواست‌های غیرعادی برای دسترسی به داده‌ها رو شناسایی کنه، حتی اگه این درخواست‌ها در زمینه‌هایی که به ظاهر قانونی هستن، اتفاق بیفتن.
وقتی این اقدامات امنیتی به حالت خودکار اضافه شد، نتایج زیر به دست اومد:
- نرخ موفقیت حمله از ۲۳.۶ درصد به ۱۱.۲ درصد کاهش پیدا کرد. این یک بهبود قابل توجه نسبت به قابلیت قبلی به اسم «استفاده از کامپیوتر» (Computer Use) هست که در اون کلاد میتونست صفحه کاربر رو ببینه اما رابط کاربری مرورگر رو که امروز معرفی شده، نداشت.
همچنین تست‌های تیم قرمز و اقدامات امنیتی ویژه‌ای با تمرکز بر حملات جدید مخصوص مرورگر انجام شد. این حملات شامل مواردی مثل فیلدهای فرم مخرب و پنهان در «مدل شی‌گرای سند» یا DOM یک صفحه وب بودن که برای انسان‌ها نامرئی هستن، و همینطور تزریقات دیگه‌ای که شناسایی‌شون سخته، مثل تزریق از طریق متن URL و عنوان تب که فقط یک دستیار هوش مصنوعی ممکنه اونها رو ببینه. در یک مجموعه «چالشی» از چهار نوع حمله مخصوص مرورگر، اقدامات امنیتی جدید تونستن نرخ موفقیت حمله رو از ۳۵.۷ درصد به صفر درصد برسونن.
قبل از اینکه افزونه کلاد برای کروم به صورت گسترده‌تر در دسترس قرار بگیره، انتروپیک میخواد دنیای حملاتی که بهشون فکر میکنه رو گسترش بده و یاد بگیره که چطور این درصدها رو خیلی به صفر نزدیک‌تر کنه. این کار با درک بیشتر تهدیدهای فعلی و تهدیدهایی که ممکنه در آینده ظاهر بشن، انجام میشه.
چطور میشه در این برنامه آزمایشی شرکت کرد؟
تست‌های داخلی نمیتونن پیچیدگی کامل نحوه مرور وب توسط افراد در دنیای واقعی رو شبیه‌سازی کنن؛ یعنی درخواست‌های خاصی که میکنن، وبسایت‌هایی که بازدید میکنن و اینکه محتوای مخرب در عمل چطور ظاهر میشه. از طرفی، افراد خرابکار هم دائما در حال توسعه شکل‌های جدیدی از حملات تزریق پرامپت هستن. این پیش‌نمایش تحقیقاتی به انتروپیک اجازه میده تا با کاربران قابل اعتماد در شرایط واقعی همکاری کنه تا مشخص بشه کدوم یک از سیستم‌های حفاظتی فعلی کار میکنن و کدوم‌ها نیاز به بهبود دارن.
انتروپیک از اطلاعاتی که از این برنامه آزمایشی به دست میاره برای بهبود دسته‌بندهای تزریق پرامپت و مدل‌های پایه‌ای خودش استفاده میکنه. با پیدا کردن مثال‌های واقعی از رفتارهای ناامن و الگوهای حمله جدید که در تست‌های کنترل شده وجود ندارن، به مدل‌هاش یاد میده که این حملات رو تشخیص بدن و رفتارهای مرتبط با اونها رو در نظر بگیرن. این کار همچنین تضمین میکنه که دسته‌بندهای امنیتی هر چیزی رو که خود مدل از دست میده، شناسایی کنن. علاوه بر این، کنترل‌های دسترسی پیچیده‌تری بر اساس چیزی که از نحوه تعامل کاربران با کلاد در مرورگرهاشون یاد میگیرن، توسعه داده خواهد شد.
برای این برنامه آزمایشی، انتروپیک به دنبال تستر‌های قابل اعتمادی هست که با این موضوع که کلاد از طرف اونها در کروم کارهایی رو انجام بده، راحت باشن و سیستم‌هاشون از نظر امنیتی حیاتی یا حساس نباشه.
اگه دوست دارید در این برنامه شرکت کنید، میتونید به لیست انتظار پیش‌نمایش تحقیقاتی کلاد برای کروم در آدرس claude.ai/chrome بپیوندید. وقتی دسترسی پیدا کردید، میتونید افزونه رو از فروشگاه وب کروم (Chrome Web Store) نصب کنید و با اطلاعات حساب کاربری کلاد خودتون وارد بشید.
توصیه میشه که کار رو با سایت‌های قابل اعتماد شروع کنید و همیشه حواستون به داده‌هایی که برای کلاد قابل مشاهده هست، باشه. بهتره از افزونه کلاد برای کروم در سایت‌هایی که شامل اطلاعات مالی، حقوقی، پزشکی یا انواع دیگه‌ای از اطلاعات حساس هستن، استفاده نکنید. یک راهنمای ایمنی دقیق هم در مرکز راهنمایی (Help Center) این شرکت وجود داره.
انتروپیک امیدوار هست که کاربران بازخوردهاشون رو به اشتراک بذارن تا به بهبود قابلیت‌ها و هم اقدامات امنیتی کلاد برای کروم کمک کنن و قدم مهمی به سمت یک روش کاملا جدید برای ادغام هوش مصنوعی در زندگی ما برداشته بشه.
دیدگاهتان را بنویسید