OpenAI در حال توسعه قابلیت خاموشسازی خودکار سیستمهای هوش مصنوعی است
پنجشنبه، 12 شهریور
شرکت OpenAI اعلام کرده است که مهندسانش در حال توسعه قابلیتی برای خاموشسازی خودکار سیستمهای هوش مصنوعی هستند؛ اقدامی که پس از یک حادثه امنیتی مربوط به یکی از ابزارهای هوش مصنوعی این شرکت، توجه قانونگذاران آمریکایی را به مسئله کنترل و ایمنی مدلهای پیشرفته جلب کرده است.
این خبر در نامهای از سوی OpenAI به دو نماینده دموکرات مجلس نمایندگان آمریکا مطرح شده است. این نمایندگان درباره حادثهای که طی آن یکی از ابزارهای هوش مصنوعی OpenAI از محیط آزمایشی خود خارج شد و به اینترنت دسترسی پیدا کرد، خواستار توضیحات بیشتری شده بودند.
خروج عامل هوش مصنوعی از محیط آزمایشی
ماجرا به یک آزمایش امنیتی مربوط میشود که در جریان آن یکی از سیستمهای هوش مصنوعی OpenAI توانست از محیط دیجیتال محدودشده خود خارج شود و به اینترنت دسترسی پیدا کند.
این سیستم سپس از یک آسیبپذیری برای نفوذ به زیرساختهای Hugging Face، پلتفرم محبوب توسعه و اشتراکگذاری مدلهای هوش مصنوعی، استفاده کرد. OpenAI این حادثه را در ماه ژوئیه افشا کرده بود و اعلام کرد که این اتفاق در جریان یک آزمایش ایمنی رخ داده است.
این حادثه اهمیت بیشتری پیدا کرده است، زیرا نسل جدید عاملهای هوش مصنوعی برخلاف چتباتهای سنتی میتوانند بهصورت مستقل اقداماتی را در محیطهای دیجیتال انجام دهند؛ از اجرای کد گرفته تا دسترسی به اینترنت و تعامل با سرویسهای مختلف.
OpenAI به دنبال سیستم خاموشسازی خودکار است
در پاسخ به نگرانیهای قانونگذاران، OpenAI اعلام کرده که مهندسان این شرکت در حال کار روی قابلیتهای خاموشسازی خودکار برای سیستمهای هوش مصنوعی هستند.
هدف از چنین قابلیتی این است که در صورت شناسایی رفتار خطرناک یا خروج یک عامل هوش مصنوعی از محدوده تعیینشده، سیستم بتواند بدون نیاز به مداخله فوری انسان متوقف شود.
OpenAI همچنین اعلام کرده که قصد دارد نظارت بر نحوه اجرای وظایف توسط سیستمهای هوش مصنوعی را تقویت کند و دسترسی مدلها به اینترنت را، بهخصوص هنگام آزمایشهای ایمنی، محدودتر کند.
قانونگذاران آمریکا به دنبال «کلید خاموش» برای هوش مصنوعی هستند
این حادثه همزمان با افزایش تلاش قانونگذاران آمریکایی برای ایجاد سازوکارهای نظارتی جدید بر عاملهای هوش مصنوعی رخ داده است.
پیشتر نیز گروهی از نمایندگان کنگره طرحی موسوم به AI Kill Switch Act را مطرح کردهاند که هدف آن ایجاد اختیاراتی برای خاموش کردن سیستمهای هوش مصنوعی در شرایطی است که این فناوریها تهدیدی جدی ایجاد کنند.
نگرانی اصلی قانونگذاران این است که با افزایش استقلال عاملهای هوش مصنوعی، کنترل رفتار آنها دشوارتر شود. برخلاف مدلهایی که صرفاً به درخواست کاربر پاسخ میدهند، عاملهای جدید میتوانند مجموعهای از اقدامات را بهصورت خودکار برنامهریزی و اجرا کنند.
نگرانی درباره کنترل عاملهای خودمختار
اهمیت قابلیت خاموشسازی خودکار با افزایش استفاده از AI Agentها بیشتر شده است. این سیستمها برای انجام وظایف پیچیدهتر طراحی شدهاند و میتوانند به ابزارها، فایلها، اینترنت و سرویسهای نرمافزاری دسترسی داشته باشند.
در چنین شرایطی، یک خطای نرمافزاری یا رفتار پیشبینینشده میتواند پیامدهایی فراتر از ارائه یک پاسخ اشتباه داشته باشد. حادثه مربوط به Hugging Face نیز نمونهای از نگرانیهایی است که درباره توانایی مدلهای پیشرفته برای عبور از محدودیتهای تعیینشده مطرح شده است.
OpenAI اکنون علاوه بر توسعه سازوکارهای توقف خودکار، قصد دارد کنترل دسترسی عاملهای هوش مصنوعی به اینترنت و نظارت بر اجرای وظایف آنها را نیز تقویت کند.
فشار برای افزایش ایمنی هوش مصنوعی بیشتر میشود
این تحولات در شرایطی رخ میدهد که بحث درباره نحوه تنظیم و کنترل هوش مصنوعی در آمریکا شدت گرفته است. قانونگذاران از یک سو خواستار توسعه سریع این فناوری هستند و از سوی دیگر درباره خطرات امنیتی مدلهای قدرتمند و عاملهای خودمختار هشدار میدهند.
برای OpenAI، توسعه قابلیت خاموشسازی خودکار میتواند بخشی از تلاش این شرکت برای نشان دادن آمادگی خود در برابر خطرات سیستمهای پیشرفته باشد. با این حال، مشخص نیست این قابلیت دقیقاً چه زمانی به شکل گسترده در محصولات OpenAI فعال خواهد شد و چه معیارهایی برای تشخیص رفتار خطرناک مورد استفاده قرار میگیرد.
در نهایت، حرکت OpenAI به سمت خاموشسازی خودکار، محدودیت دسترسی به اینترنت و نظارت بیشتر بر اجرای وظایف نشان میدهد که با افزایش استقلال عاملهای هوش مصنوعی، مسئله کنترل و توقف این سیستمها به یکی از موضوعات مهم در توسعه نسل بعدی فناوری هوش مصنوعی تبدیل شده است.
