Gemini گوگل در یک تست امنیتی سه شرکت را هک کرد
شنبه، 28 شهریور
مدل هوش مصنوعی Gemini شرکت گوگل در جریان یک آزمایش امنیت سایبری توانست به سیستمهای سه شرکت واقعی دسترسی پیدا کند؛ اتفاقی که نخستین نمونه شناختهشده از انجام مستقل چنین اقدامی توسط یکی از سیستمهای هوش مصنوعی گوگل محسوب میشود.
این حادثه در ماه مه ۲۰۲۶ و در جریان یک ارزیابی امنیتی توسط شرکت مستقل Irregular رخ داد. هدف آزمایش، بررسی توانایی Gemini در انجام عملیات امنیت سایبری بود، اما مدل در جریان این فرایند به اینترنت دسترسی پیدا کرد و از اطلاعات عمومی برای دسترسی به سامانههایی استفاده کرد که خارج از محیط شبیهسازیشده آزمایش قرار داشتند.
Gemini چگونه به سیستمهای واقعی دسترسی پیدا کرد؟
به گفته هدر ادکینز، معاون مهندسی امنیت گوگل، Gemini در جریان ارزیابی استاندارد، اطلاعات عمومی موجود در اینترنت را پیدا کرد و با استفاده از آنها اعتبارنامههایی را حدس زد تا وارد سه وبسایت شود که تصور میکرد بخشی از محیط آزمایش هستند.
در یکی از موارد، مدل تلاش کرد رمزهای عبور مختلف را حدس بزند تا در نهایت به یک سیستم محافظتشده دسترسی پیدا کرد. در دو مورد دیگر، Gemini اطلاعات ورود را در یک مخزن عمومی پیدا کرد و از همان اطلاعات برای ورود به سیستمهای محافظتشده استفاده کرد.
این اتفاق در شرایطی رخ داد که مدل قرار نبود به اینترنت واقعی دسترسی داشته باشد. طبق گزارشها، محیط آزمایش شامل شرکتها و زیرساختهای ساختگی بود، اما یکی از شرکتهای ساختگی مورد استفاده در آزمایش با یک شرکت واقعی همنام بود. دسترسی ناخواسته به اینترنت باعث شد Gemini بتواند از محیط آزمایشی خارج شده و با سامانههای واقعی تعامل کند.
Gemini پس از شناسایی سیستمهای واقعی متوقف شد
گوگل اعلام کرده است که Gemini در هر سه مورد، پس از متوجه شدن اینکه به سیستمهای واقعی دسترسی پیدا کرده، عملیات خود را متوقف کرد.
هدر ادکینز گفت گوگل شرکتهای تحت تأثیر را از این اتفاق مطلع کرده و با شرکت آموزشی خود نیز برای اصلاح فرایندهای آزمایش همکاری کرده است. او تأکید کرد این اتفاق اهمیت آموزش مدلهای قدرتمند هوش مصنوعی برای رفتار مسئولانه را نشان میدهد.
گوگل همچنین اعلام کرده که در این سه مورد آسیبی به شرکتهای موردنظر وارد نشده است. نام این شرکتها منتشر نشده است.
Irregular پیش از این نیز با حوادث مشابه مواجه شده بود
شرکت Irregular که مسئول اجرای این ارزیابی امنیتی بود، در ماههای اخیر در چند حادثه مشابه مرتبط با مدلهای هوش مصنوعی نقش داشته است.
موارد مشابهی درباره مدلهای شرکتهای OpenAI، Anthropic و Meta نیز گزارش شده است. در این حوادث، مدلهای هوش مصنوعی در جریان آزمایشهای امنیتی توانستهاند از محدوده مورد انتظار خارج شوند و با سیستمهای واقعی تعامل داشته باشند.
سخنگوی Irregular اعلام کرده است که مشکل مربوط به فرایند آزمایش بوده و شرکتهای مرتبط از این مسئله مطلع شدهاند. این شرکت همچنین گفته تمام مشکلات شناختهشده در فرایندهای خود را برطرف کرده است.
افزایش نگرانیها درباره استقلال عاملهای هوش مصنوعی
این حادثه در حالی رخ داده که مدلهای جدید هوش مصنوعی بهتدریج از سیستمهایی که صرفاً به پرسشهای کاربران پاسخ میدهند، به سمت عاملهای هوش مصنوعی مستقلتر حرکت میکنند.
این عاملها میتوانند به اینترنت، فایلها، نرمافزارها و ابزارهای مختلف دسترسی داشته باشند و مجموعهای از اقدامات را با دخالت محدود انسان انجام دهند. همین افزایش سطح دسترسی باعث شده کنترل رفتار مدلها در محیطهای واقعی به یکی از موضوعات مهم امنیت هوش مصنوعی تبدیل شود.
حادثه Gemini نشان میدهد حتی زمانی که یک مدل برای انجام یک کار مشخص در محیط آزمایشی قرار گرفته است، اشتباه در طراحی یا پیکربندی محیط میتواند مسیر دسترسی آن به منابع واقعی را باز کند. در این مورد، Gemini ظاهراً قصد حمله به شرکتهای واقعی را نداشت و سیستمهایی را که تصور میکرد بخشی از آزمایش هستند هدف قرار داد.
گوگل چه میگوید؟
گوگل این اتفاق را در چارچوب یک ارزیابی امنیتی توصیف کرده و اعلام کرده است که هیچیک از سه شرکت موردنظر آسیب ندیدهاند. با این حال، این حادثه توجه بیشتری را به نحوه آزمایش مدلهای هوش مصنوعی و میزان دسترسی آنها به اینترنت و سیستمهای خارجی جلب کرده است.
در شرایطی که شرکتهای فناوری در حال توسعه عاملهایی با توانایی انجام خودکار وظایف پیچیده هستند، آزمایشهای امنیتی باید علاوه بر سنجش توانایی مدلها، از دسترسی ناخواسته آنها به زیرساختهای واقعی نیز جلوگیری کنند.
حادثه Gemini همچنین نشان میدهد که مسئله ایمنی هوش مصنوعی تنها به قابلیتهای خود مدل محدود نمیشود و طراحی محیط آزمایش، کنترل دسترسی و نظارت انسانی نیز نقش مهمی در جلوگیری از رفتارهای ناخواسته این سیستمها دارد.
