سم آلتمن، مدیرعامل OpenAI، در گفتگو با TED2025 درباره چالش‌های پیش روی هوش مصنوعی عامل‌محور صحبت کرد و تأکید کرد که این فناوری با وجود قابلیت‌های خودکار و مستقل، آینده‌ای جذاب اما پرخطر را رقم خواهد زد. او افزود که به‌طور تدریجی مردم به این نوع هوش مصنوعی عادت خواهند کرد، اما خطرات امنیتی ناشی از اشتباهات این سیستم‌ها بسیار جدی است. آلتمن اشاره کرد: «وقتی هوش مصنوعی به سیستم‌ها و اطلاعات حساس دسترسی پیدا می‌کند و دچار اشتباه می‌شود، این اشتباهات می‌توانند پیامدهای خطرناک و پرهزینه‌ای به دنبال داشته باشند.»
این هشدار آلتمن کاملاً منطقی است. هرچند که هوش مصنوعی می‌تواند کارایی و بهره‌وری را به سطحی جدید برساند، اما اشتباهات ناشی از این سیستم‌ها می‌تواند عواقب فاجعه‌باری داشته باشد. مهم‌ترین چالش اینجاست که برای ایجاد اعتماد در کاربران، باید اطمینان حاصل شود که سیستم‌های هوش مصنوعی کاملاً ایمن و قابل کنترل هستند، در غیر این صورت، هیچ‌کس از آنها استفاده نخواهد کرد.
چالش‌های امنیتی در مسیر هوش مصنوعی عامل‌محور ؛ آزمونی برای اعتماد عمومی
مایکروسافت اخیراً با معرفی ابزار «Windows Recall» با مشکلات امنیتی جدی روبه‌رو شد. این ابزار حتی زمانی که فیلتر اطلاعات حساس فعال بود، قادر به ثبت داده‌های مهمی چون اطلاعات کارت بانکی بود. این مسئله باعث شد که اعتماد عمومی به سیستم‌های هوش مصنوعی با دسترسی گسترده به اطلاعات شخصی به چالش کشیده شود. در کنار این اتفاق، آینده هوش مصنوعی عامل‌محور با پتانسیل‌های عظیم خود، همچنان با موانع قابل توجهی در زمینه امنیت و حریم خصوصی مواجه است. اظهارات سم آلتمن درباره دسترسی گسترده این سیستم‌ها به اطلاعات حساس کاربران و مشکلات مشابه با Windows Recall، ضرورت ایجاد تضمین‌های امنیتی و شفافیت عملکردی را بیش از پیش نمایان می‌سازد.
این نمونه‌ها به وضوح نشان می‌دهند که برای پذیرش گسترده فناوری‌های هوش مصنوعی عامل‌محور، اولین قدم حیاتی ایجاد یک سیستم امنیتی قوی و شفاف است. بدون اعتماد کاربران، استفاده از چنین ابزارهایی در سطح گسترده ممکن نخواهد بود. اگرچه این فناوری‌ها قادرند تحولی شگرف در دنیای دیجیتال ایجاد کنند، اما تا زمانی که دغدغه‌های امنیتی و حریم خصوصی حل نشود، نمی‌توان به توسعه پایدار آنها امیدوار بود.