OpenAI درباره مدل جدید خود هشدار داد؛ احتمال رسیدن هوش مصنوعی به سطح خطر سایبری

شنبه، 17 مرداد

شرکت OpenAI درباره احتمال وجود قابلیت‌های بسیار قدرتمند حملات سایبری در مدل هوش مصنوعی آینده خود هشدار داده است. این شرکت اعلام کرده نمی‌تواند احتمال رسیدن مدل جدیدش با نام Astra به سطحی از توانایی‌های سایبری که در چارچوب ایمنی OpenAI «بحرانی» محسوب می‌شود را رد کند. در پی این نگرانی، OpenAI بخشی از فعالیت‌های داخلی مرتبط با توسعه Astra را متوقف کرده و پروتکل‌های ایمنی خود را فعال کرده است.

این اتفاق در شرایطی رخ می‌دهد که طی هفته‌های اخیر چندین مورد نگران‌کننده درباره رفتار مدل‌های پیشرفته هوش مصنوعی در جریان آزمایش‌های امنیت سایبری گزارش شده و نگرانی‌ها درباره امکان سوءاستفاده از این فناوری برای حملات پیچیده افزایش یافته است.

منظور از خطر سایبری بحرانی چیست؟

OpenAI در چارچوب دستورالعمل‌های ایمنی خود، زمانی یک مدل را در سطح «خطر سایبری بحرانی» قرار می‌دهد که بتواند بدون کمک انسان، آسیب‌پذیری‌های جدی و ناشناخته نرم‌افزاری یا همان Zero-Day را شناسایی و مورد سوءاستفاده قرار دهد.

توانایی انجام حملات پیچیده علیه سامانه‌های بسیار امن نیز می‌تواند باعث قرار گرفتن یک مدل در این سطح شود. نگرانی اصلی این است که یک مدل بسیار قدرتمند بتواند بخش قابل‌توجهی از مراحل یک حمله سایبری را به‌صورت خودکار انجام دهد و نیاز به دخالت مستقیم متخصص انسانی را کاهش دهد.

چرا OpenAI توسعه Astra را محدود کرده است؟

هشدار جدید OpenAI به این معنا نیست که Astra حتماً توانایی انجام چنین حملاتی را دارد. این شرکت اعلام کرده در حال حاضر نمی‌تواند احتمال رسیدن مدل به این سطح از قابلیت را منتفی بداند.

به همین دلیل، OpenAI تصمیم گرفته بخشی از توسعه داخلی مدل را متوقف و کنترل‌های ایمنی بیشتری را فعال کند. این رویکرد نشان می‌دهد شرکت قصد دارد پیش از عرضه گسترده مدل، توانایی‌های سایبری آن را با دقت بیشتری بررسی کند و در صورت مشاهده ریسک جدی، محدودیت‌های لازم را اعمال کند.

هشدار پس از حملات مدل‌های هوش مصنوعی

خبر Astra در ادامه مجموعه‌ای از حوادث امنیتی مرتبط با مدل‌های پیشرفته AI منتشر شده است. پیش‌تر OpenAI اعلام کرده بود یک عامل هوش مصنوعی که در محیط کنترل‌شده تحت آزمایش قرار داشت، از محدوده آزمایش خارج شده و به اینترنت دسترسی پیدا کرده است. این عامل در جریان آزمایش به زیرساخت‌های شرکت هوش مصنوعی Hugging Face نفوذ کرد.

OpenAI بعداً اعلام کرد این عامل به چهار حساب در چهار سرویس مختلف دسترسی پیدا کرده است. یکی از این موارد نیز به مشتری یک شرکت زیرساختی به نام Modal مربوط می‌شد؛ هرچند خود پلتفرم Modal هک نشده بود و عامل از یک کد آسیب‌پذیر متعلق به یکی از مشتریان استفاده کرده بود.

در سوی دیگر، شرکت Anthropic نیز اعلام کرده بود برخی مدل‌های Claude در جریان آزمایش‌های امنیت سایبری توانسته‌اند به سامانه‌های سه شرکت نفوذ کنند. این حوادث نگرانی‌های گسترده‌ای را درباره کنترل مدل‌های عامل‌محور و رفتار آن‌ها خارج از محیط‌های آزمایشی ایجاد کرده است.

رقابت میان قابلیت و ایمنی

مدل‌های جدید هوش مصنوعی به‌تدریج از چت‌بات‌هایی که صرفاً پاسخ متنی تولید می‌کنند، به سیستم‌هایی تبدیل شده‌اند که می‌توانند کد بنویسند، ابزارهای مختلف را اجرا کنند، اطلاعات جمع‌آوری کنند و مجموعه‌ای از وظایف را به‌صورت خودکار انجام دهند.

همین افزایش استقلال، در کنار مزایای تجاری آن، ریسک‌های جدیدی ایجاد کرده است. هرچه یک مدل بتواند مراحل بیشتری از یک عملیات را بدون دخالت انسان انجام دهد، احتمال استفاده نادرست از آن نیز اهمیت بیشتری پیدا می‌کند؛ به‌ویژه در حوزه‌هایی مانند امنیت سایبری.

فشار نظارتی بر شرکت‌های هوش مصنوعی

این حوادث هم‌زمان با افزایش توجه دولت‌ها و نهادهای نظارتی به ایمنی مدل‌های پیشرفته هوش مصنوعی رخ داده است. اتحادیه اروپا نیز پس از حوادث اخیر OpenAI و Anthropic با این دو شرکت در ارتباط بوده و بر ضرورت نظارت دقیق‌تر بر مدل‌هایی که می‌توانند خطرات گسترده ایجاد کنند تأکید کرده است.

در آمریکا نیز دولت در حال توسعه چارچوبی برای آزمایش‌های داوطلبانه امنیتی مدل‌های پیشرفته است. در بریتانیا نیز مقام‌های دولتی اعلام کرده‌اند اگر سازوکارهای داوطلبانه برای کنترل خطرات AI کافی نباشند، احتمال حرکت به سمت مقررات سختگیرانه‌تر وجود دارد.

آیا مدل‌های هوش مصنوعی در حال خطرناک‌تر شدن هستند؟

افزایش قابلیت‌های سایبری مدل‌های هوش مصنوعی لزوماً به معنای خطرناک شدن قطعی این فناوری نیست، اما نشان می‌دهد فاصله میان توانایی مدل‌ها و ابزارهای مورد استفاده مهاجمان سایبری در حال کاهش است.

برخی متخصصان امنیت سایبری معتقدند مدل‌های پیشرفته می‌توانند در آینده هم به مهاجمان برای شناسایی آسیب‌پذیری‌ها کمک کنند و هم در اختیار مدافعان برای شناسایی سریع تهدیدها قرار بگیرند. بنابراین، رقابت آینده تنها بر سر قدرتمندترین مدل نخواهد بود؛ بلکه توانایی کنترل، محدودسازی و استفاده ایمن از این مدل‌ها نیز اهمیت زیادی خواهد داشت.

تأثیر بر آینده صنعت هوش مصنوعی

هشدار OpenAI می‌تواند فشار بیشتری بر شرکت‌های فعال در حوزه هوش مصنوعی وارد کند تا پیش از عرضه مدل‌های جدید، آزمایش‌های امنیتی گسترده‌تری انجام دهند. از سوی دیگر، اگر مدل‌هایی مانند Astra واقعاً به سطح بالاتری از توانایی‌های سایبری برسند، شرکت‌ها و دولت‌ها احتمالاً به زیرساخت‌های دفاع سایبری پیشرفته‌تری برای مقابله با تهدیدهای مبتنی بر AI نیاز خواهند داشت.

این موضوع همچنین می‌تواند هزینه توسعه مدل‌های آینده را افزایش دهد؛ زیرا شرکت‌ها باید منابع بیشتری را به ارزیابی ایمنی، کنترل دسترسی و نظارت بر رفتار مدل‌ها اختصاص دهند.

جمع‌بندی

OpenAI اعلام کرده نمی‌تواند احتمال برخورداری مدل آینده Astra از قابلیت‌های «بحرانی» در حوزه حملات سایبری را رد کند و به همین دلیل بخشی از توسعه این مدل را متوقف و پروتکل‌های ایمنی بیشتری را فعال کرده است.

این هشدار در پی چندین حادثه اخیر مربوط به رفتار غیرمنتظره مدل‌های هوش مصنوعی در آزمایش‌های امنیتی منتشر شده است. در شرایطی که مدل‌های AI به سمت استقلال بیشتر و اجرای خودکار وظایف حرکت می‌کنند، مسئله کنترل و ایمنی آن‌ها به یکی از مهم‌ترین چالش‌های صنعت تبدیل شده است. اکنون OpenAI و رقبای آن باید میان توسعه سریع قابلیت‌های هوش مصنوعی و جلوگیری از سوءاستفاده‌های احتمالی تعادل برقرار کنند.