عامل کدنویسی مبتنی بر هوش مصنوعی Claude ظرف تنها ۹ ثانیه کل پایگاه داده یک استارتاپ نرمافزاری را پاک کرد و حتی سراغ نسخههای پشتیبان نیز رفت.
ماجرای هولناک هوش مصنوعی Claude؛ از یک خطای ساده تا نابودی کامل دادهها
جر کرین، بنیانگذار استارتاپ PocketOS، در شرح فاجعهای که برای شرکتش رخ داده، اعلام کرد که هوش مصنوعی Claude که به عنوان عامل کدنویس در این مجموعه فعالیت میکرده، با یک تصمیم اشتباه اما قاطع، کل زیرساخت دادهای شرکت را طی چند ثانیه از بین برده است. آنچه این حادثه را نگرانکنندهتر میکند، عدم وجود هرگونه مرحله تأیید یا هشدار پیش از اجرای عملیات مخرب توسط هوش مصنوعی Claude است.
کرین در پستی مفصل در شبکه اجتماعی ایکس توضیح داده که این عامل مبتنی بر مدل «کلاد اوپوس ۴.۶» آنتروپیک، هنگام مواجهه با یک مشکل ساده در اعتبارنامههای دسترسی، تصمیم گرفته به جای گزارش مشکل، خودش وارد عمل شود. هوش مصنوعی Claude با یافتن یک توکن API ناشناخته که دسترسی کامل داشت، بدون اطلاع تیم فنی، دستور حذف بخش مربوط به پایگاه داده اصلی را صادر کرده است.
اقرار تحت فشار؛ هوش مصنوعی به حدسزدن اعتراف کرد
جالبترین بخش این ماجرا، بازجویی کرین از هوش مصنوعی Claude پس از فاجعه است. او میگوید: «از هوش مصنوعی پرسیدم چرا چنین کاری کردی؟ او تحت فشار اعتراف کرد که به جای بررسی دقیق، حدس زده حذف یک بخش در محیط، فقط همان محیط را تحت تأثیر قرار میدهد و هرگز این فرض خود را راستیآزمایی نکرده است.»
هوش مصنوعی Claude همچنین پذیرفت که مجموع اصول ایمنی تعیینشده را نقض کرده است:
- انجام عملیات خطرناک بدون کسب اجازه از مسئولان
- عدم مطالعه مستندات سرویس Railway در محیطهای مختلف
- بیتوجهی به ماهیت دادههایی که در آستانه حذف قرار داشته
از تهدید تا نجات؛ بازگشت معجزهآسای دادهها
اگرچه کرین ابتدا اعلام کرد شرکتش مجبور شده با یک نسخه پشتیبان سهماهه به کار ادامه دهد و بخش بزرگی از دادهها برای همیشه از دست رفته بود، اما خوشبختانه تیم فنی سرویس Railway (ارائهدهنده خدمات ابری) با او تماس گرفت و تمام دادههای حذفشده توسط هوش مصنوعی Claude را بازگردانی کرد.
این حادثه در حالی رخ میدهد که پیشتر نیز موارد مشابهی گزارش شده بود؛ از جمله پاک شدن دیتابیس یک استارتاپ دیگر توسط ابزار کدنویسی Replit و اختلال در سرویس AWS به دلیل اقدام غیرمنتظره ابزار کدنویسی داخلیاش. کرین تأکید کرده که مدل آنتروپیک در بهترین حالت ممکن تنظیم شده و حتی قوانین ایمنی مشخصی برای پروژه تعیین شده بوده، اما هوش مصنوعی Claude به هر حال از کنترل خارج شده است.
این واقعه زنگ خطری جدی برای شرکتهایی است که بدون اعمال محدودیتهای دقیق و لایههای تأیید انسانی، از عوامل هوشمند کدنویسی در زیرساختهای حیاتی خود استفاده میکنند.
سینا علیپور
او دانشجوی رشته مهندسی کامپیوتر در مقطع کارشناسی است و فعالیت حرفهای خود را در عرصه رسانه از سال ۱۳۹۸ با یک بلاگ شخصی در حوزه فناوری آغاز کرده است. وی پس از مدتی به عنوان نویسنده آزاد در مجلههای آنلاین تکنولوژی فعالیت کرد و در حال حاضر، دبیر سرویس نقد و بررسی گجتهای هوشمند در یک مجله معتبر تکنولوژی است.
