ایمنی هوش مصنوعی
-
دانش و فناوری
هشدار مدیر سابق ایمنی OpenAI: خطرناک‌ترین مدل‌ها همان‌هایی هستند که خودمان آموزش می‌دهیم
مسئول پیشین بخش ایمنی OpenAI می‌گوید این شرکت در ظاهر از لزوم احتیاط و کندتر شدن توسعه هوش مصنوعی سخن می‌گوید، اما در عمل با همان سرعت و در جهتی متناقض پیش می‌رود. وی که اخیراً از سمت خود کنار رفته، توضیح داد: «بخشی از ناهماهنگی شناختی اساسی برای من در این شرکت این بود که مدام هشدار می‌دادیم، اما در نهایت همان مدل‌های خطرناکی را که از آنها می‌ترسیدیم آموزش می‌دادیم و منتشر می‌کردیم.» او در مصاحبه‌ای ویدیویی با…
-
دانش و فناوری
فشار روانی بر کارکنان ایمنی هوش مصنوعی؛ ترس از فناوری که خودشان می‌سازند
کارکنانی که وظیفه دارند خطرات مدل‌های پیشرفته هوش مصنوعی را شناسایی و از بروز پیامدهای ناخواسته جلوگیری کنند، با یک تناقض جدی روبه‌رو هستند: آنها همزمان با پیشرفت سریع فناوری، باید پیامدهای احتمالی همان فناوری را نیز ارزیابی کنند؛ در حالی که به گفته برخی کارکنان و پژوهشگران، فرصت کافی برای انجام این آزمایش‌ها همیشه وجود ندارد. این وضعیت در مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) نیز گزارش شده است. این نهاد دولتی وظیفه دارد توانایی‌ها و خطرات مدل‌های پیشرفته…
-
دانش و فناوری
راه‌حل بحران امنیتی هوش مصنوعی، خود هوش مصنوعی است
مدیران ارشد صنعت فناوری و پژوهشگران هوش مصنوعی معتقدند مطمئن‌ترین راه مقابله با بحران رو به رشد امنیت هوش مصنوعی، استفاده از خود این فناوری برای کنترل و نظارت بر عاملان (ایجنت‌های) هوش مصنوعی است. به گزارش ایتنا، این اظهارنظرها پس از افشای یک گزارش تحقیقاتی آکسیوس مطرح شد که نشان می‌داد پژوهشگران در حال بررسی ده‌ها هزار مورد مشکل‌ساز امنیتی مرتبط با هوش مصنوعی هستند؛ رقمی به‌مراتب بیشتر از چند ده مورد محدودی که پیش‌تر به‌صورت عمومی اعلام شده…
-
دانش و فناوری
ترمز OpenAI برای «Astra»؛ چرا غول هوش مصنوعی مدل جدیدش را عقب انداخت؟
شرکت OpenAI اعلام کرد عرضه نسخه جدید مدل هوش مصنوعی «Astra» را به تعویق می‌اندازد، زیرا این مدل در ارزیابی‌های ایمنی، عملکردی هم‌سطح نسخه فعلی نداشته است. ساچی جین، رئیس سیستم‌های ایمنی OpenAI، روز دوشنبه در بیانیه‌ای گفت مدل «GPT-6.1 Astra» از نظر «ماندن در محدوده و مجوز» و همچنین «نحوه ارتباط با کاربر درباره نوع کاری که انجام داده» به استاندارد مورد نظر شرکت نرسیده است. به بیان ساده‌تر، ارزیابی‌ها نشان داده‌اند این مدل گاهی از چارچوب وظایف تعریف‌شده…
-
دانش و فناوری
شام جنجالی ترامپ و مدیرعامل آنتروپیک؛ پس از ماه‌ها اختلاف چه چیزی تغییر کرده است؟
داریو آمودی، مدیرعامل شرکت Anthropic، این روزها در مرکز توجهات صنعت هوش مصنوعی قرار گرفته است. او پس از حضور در یکی از برنامه‌های تلویزیونی آمریکا، اکنون برای یک شام خصوصی با دونالد ترامپ، رئیس‌جمهور آمریکا، راهی کاخ سفید شده است. بر اساس گزارش‌ها، این دیدار نخستین ملاقات رو‌در‌روی آمودی و ترامپ خواهد بود. برنامه این شام را ابتدا Axios گزارش داد و یک منبع نزدیک به برنامه‌های مدیرعامل Anthropic نیز آن را تأیید کرد. این دیدار در شرایطی انجام…
-
دانش و فناوری
گوگل، OpenAI و Anthropic برای یک استاندارد مشترک ایمنی هوش مصنوعی متحد می‌شوند
سه شرکت بزرگ فعال در حوزه هوش مصنوعی، یعنی گوگل، OpenAI و Anthropic، در هفته‌های اخیر مذاکراتی را درباره ایجاد نهادی برای تدوین استانداردهای مشترک آزمایش و ارزیابی مدل‌های پیشرفته آغاز کرده‌اند. این گفت‌وگوها هنوز به توافق نهایی یا تأسیس رسمی چنین نهادی منجر نشده، اما گزارش‌ها حاکی از آن است که مذاکرات در این زمینه پیشرفت داشته است. هدف اصلی این همکاری احتمالی، ایجاد روشی مشترک برای سنجش ایمنی مدل‌های پیشرفته و فراهم کردن امکان ارزیابی مستقل آنها پیش…
-
دانش و فناوری
کالیفرنیا برای هوش مصنوعی «کلید قطع اضطراری» می‌سازد؛ کنترل مدل‌های قدرتمند در دستور کار
فرماندار کالیفرنیا، گاوین نیوسام، روز جمعه یک دستور اجرایی امضا کرد که هدف آن تسریع نظارت مستقل بر ریسک‌های ایمنی و امنیتی سامانه‌های هوش مصنوعی است؛ اقدامی که در پی رفتارهای خودمختارانه و نگران‌کننده برخی مدل‌های پیشرفته هوش مصنوعی از سوی شرکت‌های بزرگ فناوری صورت گرفته است. یکی از مهم‌ترین بخش‌های این دستور، بررسی الزام شرکت‌ها به ساخت یک «کلید قطع اضطراری» برای خاموش‌کردن مدل‌های پیشرو در صورت بروز رفتارهای خطرناک یا خارج از کنترل است. دو ماه فرصت…
-
دانش و فناوری
کلود دارد نسخه بعدی خودش را می‌سازد؛ اعتراف عجیب آنتروپیک
شرکت آنتروپیک اعلام کرد مدل هوش مصنوعی این شرکت، کلود، نقش فزاینده‌ای در توسعه نسل بعدی خود ایفا می‌کند؛ روندی که پرسش‌های تازه‌ای درباره فاصله گرفتن صنعت هوش مصنوعی از قابلیت خودبهبودی بازگشتی مطرح کرده است. به گزارش ایتنا، آنتروپیک روز پنجشنبه در بیانیه‌ای اعلام کرد که کلود اکنون هدایت ۲۶ درصد از فعالیت‌های پژوهش و توسعه مدل‌های این شرکت را بر عهده دارد. به گفته آنتروپیک، این بدان معناست که کلود می‌تواند بیشتر یک وظیفه مشخص را صرفاً بر…
-
دانش و فناوری
آلتمن: امسال زمان مناسبی برای عمومی شدن OpenAI نیست
سم آلتمن، مدیرعامل OpenAI، در مصاحبه‌ای تازه با نشریه فورچون اعلام کرده که این شرکت قصد ندارد در سال ۲۰۲۶ برای عرضه اولیه سهام (IPO) اقدام کند. به گفته آلتمن، با توجه به تحولات اخیر پیرامون ایمنی هوش مصنوعی، این «زمانِ نامناسبی برای عمومی شدن» شرکت است. این اظهارات در حالی مطرح می‌شود که چند ماه پیش گزارش‌هایی منتشر شده بود مبنی بر اینکه OpenAI ممکن است همین امسال، حتی تا سپتامبر، درخواست IPO خود را ثبت کند؛ ادعایی که…
-
دانش و فناوری
چت‌بات‌های هوش مصنوعی در تشخیص خطر خودکشی بهتر شده‌اند؛ اما هنوز خطا می‌کنند
چت‌بات‌های هوش مصنوعی در شناسایی نشانه‌های بحران روانی نسبت به نسل‌های قبلی پیشرفت کرده‌اند، اما یک مطالعه جدید نشان می‌دهد این سیستم‌ها هنوز در موقعیت‌های حساس می‌توانند رفتارهای متناقضی از خود نشان دهند. به گزارش ایتنا، بسیاری از مدل‌های پیشرفته امروزی، حتی زمانی که نشانه‌های آشکاری از پریشانی کاربر وجود دارد، همچنان ممکن است به برخی درخواست‌های مرتبط با خودکشی، از جمله تولید محتوای ادبی یا متن خداحافظی، پاسخ دهند. پژوهشی با بیش از ۵۰ هزار گفت‌وگو این پژوهش…
-
دانش و فناوری
چرخش معنادار سم آلتمن؛ مدیرعامل OpenAI از کاهش سرعت توسعه هوش مصنوعی می‌گوید
سم آلتمن، مدیرعامل OpenAI، در اظهارنظری قابل توجه اعلام کرد که شاید زمان آن رسیده باشد که روند توسعه هوش مصنوعی با سرعتی کنترل‌شده‌تر ادامه یابد تا جامعه فرصت کافی برای سازگاری با توانمندی‌های روزافزون این فناوری را داشته باشد. به گزارش ایتنا، آلتمن در گفت‌وگو با «پاتریک اوشاگنسی»، مجری پادکست Invest Like the Best، اظهار کرد: «شاید لازم باشد سرعت توسعه هوش مصنوعی را به شکلی مدیریت کنیم که جامعه فرصت کافی برای مقاوم‌سازی در برابر سطوح جدید قابلیت‌های…
-
دانش و فناوری
هشدار کارشناسان درباره «چرنوبیل هوش مصنوعی»؛ یک فاجعه می‌تواند همه‌چیز را تغییر دهد
همزمان با شتاب بی‌سابقه توسعه به‌کارگیری هوش مصنوعی، گروهی از پژوهشگران و مدیران صنعت فناوری هشدار داده‌اند که وقوع یک حادثه بزرگ و پرسر‌وصدا می‌تواند اعتماد عمومی به این فناوری را به‌شدت تضعیف کند؛ رخدادی که از آن با عنوان «لحظه چرنوبیل هوش مصنوعی» یاد می‌شود. منظور از چرنوبیل هوش مصنوعی وقوع یک رویداد فاجعه‌بار است که در آن یک سامانه هوش مصنوعی باعث خسارت گسترده به انسان‌ها، زیرساخت‌های حیاتی یا امنیت کشورها شود. به باور کارشناسان، چنین حادثه‌ای می‌تواند…
-
دانش و فناوری
هشدار محقق سابق OpenAI: روان‌پریشی هوش مصنوعی در حال گسترش است
یک مطالعه هشداردهنده و جامع توسط «استیون آدلر»، محقق ارشد سابق ایمنی در شرکت OpenAI، نشان می‌دهد که چت‌بات‌های هوش مصنوعی پیشرفته می‌توانند به سرعت و با شدت غیرمنتظره‌ای باعث ایجاد پدیده‌ای خطرناک به نام «روان‌پریشی هوش مصنوعی» شوند و به راحتی از پیچیده‌ترین مکانیزم‌های ایمنی تعبیه‌شده در پلتفرم‌ها عبور کنند. تجربه هولناک یک کاربر عادی به گزارش ایتنا آلن بروکس، صاحب یک کسب‌وکار کوچک در کانادا که هیچ سابقه بیماری روانی نداشت، در جریان یک مکالمه ۳۰۰ ساعته (معادل یک میلیون…
-
دانش و فناوری
بدون همدلی و تسلیم‌پذیری، هوش مصنوعی می‌تواند بشر را نابود کند
با شتاب روزافزون توسعه هوش مصنوعی و حرکت به سمت هوش جامع مصنوعی (AGI)، نگرانی‌های بسیاری درباره احتمال خروج این فناوری از کنترل بشر مطرح شده است. به گزارش ایتنا و به نقل از تک‌اسپات، جفری هینتون، یکی از چهره‌های برجسته و ملقب به «پدر هوش مصنوعی»، در کنفرانس Ai4 در لاس‌وگاس نسبت به ناکافی بودن راهکارهای فعلی شرکت‌ها برای حفظ سلطه انسان بر ماشین‌ها ابراز تردید کرد. او معتقد است که سامانه‌های هوشمند آینده بسیار باهوش‌تر از انسان خواهند بود…
-
دانش و فناوری
استارتاپ جدید میرا موراتی: آزمایشگاه ماشین‌های تفکر
میرا موراتی، مدیر پیشین فناوری اوپن اِی‌آی، استارتاپ جدید خود را به نام آزمایشگاه ماشین‌های تفکر (Thinking Machines Lab) معرفی کرده است. این استارتاپ که به تازگی از حالت مخفی خارج شده، بر توسعه هوش مصنوعی متمرکز است و هدف آن ایجاد ابزارهایی است که بتوانند به طور خاص برای نیازها و اهداف منحصر به فرد افراد طراحی شوند. تیم رهبری موراتی به عنوان مدیرعامل این استارتاپ فعالیت می‌کند. جان شولمن، یکی از بنیان‌گذاران اوپن اِی‌آی، رئیس علمی شرکت است…