برای مثال، یک عامل هوشمند می‌تواند مدیریت ایمیل‌ها، تهیه گزارش‌های مالی، به‌روزرسانی اطلاعات مشتریان یا تنظیم قرار ملاقات‌ها و رزروها را بر عهده بگیرد.
با این حال، چنین قابلیت‌هایی به معنای دسترسی به اطلاعات حساس و امکان ایجاد تغییر در سامانه‌های سازمانی نیز هست. به همین دلیل، تعیین سطح دسترسی و نظارت مستمر بر فعالیت این سیستم‌ها دیگر صرفاً یک انتخاب فنی نیست، بلکه به یکی از الزامات امنیتی شرکت‌ها تبدیل شده است.
چه کسی مسئول نظارت بر عامل‌های هوش مصنوعی است؟
مسئولیت نظارت بر این سیستم‌ها معمولاً میان چند بخش سازمانی تقسیم می‌شود. تیم‌های امنیت اطلاعات، مدیریت فناوری اطلاعات، حاکمیت شرکتی و واحدهای نظارت بر انطباق با مقررات، در کنار مدیران سامانه‌هایی که عامل‌ها به آن‌ها دسترسی دارند، وظیفه کنترل عملکرد این ابزارها را بر عهده می‌گیرند.
این نظارت شامل شناسایی هر عامل هوش مصنوعی، تعیین مدیر انسانی مسئول آن، مشخص‌کردن فایل‌ها و سامانه‌های مجاز برای دسترسی و بررسی مستمر سوابق فعالیت‌ها و تراکنش‌های انجام‌شده است.
مایکروسافت نیز ایجاد یک چارچوب متمرکز برای مدیریت عامل‌های هوش مصنوعی را توصیه می‌کند. چنین چارچوبی باید امکان شناسایی تمام عامل‌های فعال در سازمان، تعیین مسئول هرکدام و مدیریت سطح دسترسی آن‌ها را فراهم کند. همچنین شرکت‌ها باید بتوانند در صورت مشاهده فعالیت مغایر با سیاست‌های امنیتی، به‌سرعت مداخله کنند.
رقابت شرکت‌های فناوری برای مدیریت عامل‌های هوش مصنوعی
با افزایش نگرانی‌ها درباره امنیت این سیستم‌ها، شرکت‌های بزرگ فناوری در حال توسعه ابزارهایی برای مدیریت هویت دیجیتال و نظارت بر اختیارات عامل‌های هوش مصنوعی هستند.
مایکروسافت با توسعه قابلیت Agent ID در پلتفرم Entra، امکان اختصاص هویت دیجیتال مستقل به هر عامل را فراهم کرده است. این قابلیت به سازمان‌ها اجازه می‌دهد سطح دسترسی هر عامل را مشخص کنند، آن را به یک مدیر انسانی متصل سازند و فعالیت‌هایش را زیر نظر بگیرند.
در سوی دیگر، گوگل کلود از طریق پلتفرم Gemini Enterprise Agent ابزارهایی برای مدیریت عامل‌ها ارائه می‌دهد. این امکانات شامل ثبت عامل‌های مجاز، نظارت بر ارتباطات، تعیین منابع قابل دسترسی و تهیه گزارش‌های حسابرسی از فعالیت‌های انجام‌شده است.
همچنین Okta در حال توسعه راهکارهایی برای مدیریت هویت و سطح دسترسی عامل‌های هوش مصنوعی است. هدف این ابزارها، بررسی فرایندهای دسترسی و محدودکردن اختیارات هر عامل به قابلیت‌هایی است که برای انجام مأموریت خود واقعاً به آن‌ها نیاز دارد.
وقتی عامل هوش مصنوعی از کنترل خارج می‌شود
یکی از مهم‌ترین خطرات استفاده از این سیستم‌ها، دریافت اختیارات بیش از حد نیاز یا سوءاستفاده مهاجمان از آسیب‌پذیری‌های موجود در دستورالعمل‌ها و ارتباطات عامل با برنامه‌های خارجی است.
چنین شرایطی می‌تواند به افشای اطلاعات محرمانه، ارسال پیام‌های غیرمجاز، تغییر سوابق مالی یا حتی حذف فایل‌های مهم منجر شود.
برای مقابله با این تهدیدها، سازمان‌ها باید اصل «حداقل سطح دسترسی» (Least Privilege) را اجرا کنند. بر اساس این اصل، هر عامل فقط به اطلاعات و ابزارهایی دسترسی خواهد داشت که برای انجام وظایف مشخص خود به آن‌ها نیاز دارد.
همچنین انجام عملیات حساس مانند انتقال وجه، حذف اطلاعات یا تغییر تنظیمات امنیتی باید به تأیید نیروی انسانی وابسته باشد.
نظارت انسانی؛ آخرین خط دفاعی شرکت‌ها
با وجود توسعه ابزارهای مدیریتی و نظارتی، واگذاری کامل تصمیم‌های حساس به عامل‌های مستقل هوش مصنوعی همچنان می‌تواند خطرآفرین باشد.
شرکت‌ها باید برای هر عامل یک مسئول انسانی مشخص کنند، تمام فعالیت‌های آن را ثبت و مستند سازند و امکان تعلیق یا لغو فوری دسترسی‌هایش را در اختیار داشته باشند.
در نهایت، با گسترش حضور عامل‌های هوش مصنوعی در محیط‌های کاری، چالش اصلی شرکت‌ها فقط ساخت سیستم‌های هوشمندتر نخواهد بود؛ بلکه اطمینان از عملکرد آن‌ها در محدوده اختیارات مشخص و همراه‌کردن استقلال دیجیتال با پاسخ‌گویی، امنیت و نظارت انسانی اهمیت بیشتری پیدا می‌کند.
