پیام آذری - موج خروج نابغه ها از open ai/ نگرانی ها بابت ایمنی هوش مصنوعی

و به نقل از خبر گزاری ایمنا، خروج مدیر ارشد فناوری، میرا موراتی، که در 25 سپتامبر اعلام شد، شایعات زیادی را برانگیخت؛ شایعاتی مبنی بر اینکه اوضاع در شرکت تحت مدیریت سم آلتمن چندان خوب نیست؛ منابع آگاه گفته‌اند که موراتی به این دلیل شرکت را ترک کرد که دیگر امیدی به اصلاح در داخل شرکت نداشت.
بیشتر بخوانید: اخبار روز خبربان
دو تن از برجسته‌ترین ذهن‌های علمی OpenAI، رئیس تحقیقات باب مکگرو و محققی به نام برت زوف نیز به او پیوستند، در حالی که به نظر نمی‌رسد آنها هم برنامه مشخصی برای آینده خود داشته باشند.
ماجرا به نوامبر سال گذشته بازمی‌گردد، زمانی که ترکیبی از سبک مدیریت مبهم آلتمن و نگرانی‌ها درباره پروژه فوق محرمانه‌ای به نام «Q» (که بعدها به نام «Strawberr» تغییر کرد و ماه گذشته با عنوان «o1» منتشر شد) باعث شد که برخی از اعضای هیئت مدیره تلاش کنند او را از شرکت بیرون کنند. آنها موفق شدند، اما تنها برای چند روز.
آلتمن 39 ساله با کمک چشمگیر مایکروسافت، که مالک 49 درصد از سهام OpenAI است، دوباره کنترل شرکت خود را به دست آورد. مایکروسافت علاقه‌ای نداشت که آلتمن از OpenAI جدا شود، هیئت مدیره تغییر کرد و افراد مخالف آلتمن از شرکت کنار گذاشته شدند. یکی از مدیران ارشد و از بنیانگذاران شرکت، ایلیا سوتسکِوِر، که نگران انگیزه‌های آلتمن بود، نیز در نهایت شرکت را ترک کرد. وی نیز نگران شتابگرایی آلتمن بود؛ ایده‌ای که به پیشبرد توسعه هوش مصنوعی به هر قیمتی تاکید دارد.
سوتسکِوِر در ماه مه رفت، هرچند منابعی میگویند که او در عمل پس از شکست در ماجرای نوامبر دیگر درگیر کارهای شرکت نبود. او پس از ترک OpenAI توانست 1 میلیارد دلار برای راه اندازی شرکتی جدید در حوزه ایمنی هوش مصنوعی جذب کند؛ سوتسکِوِر و همکارش، جان لای که، تیمی به نام «سوپِر الاینمنت» را رهبری می‌کردند که مسئول پیشبینی و جلوگیری از خطرات احتمالی بود.
لای که نیز همزمان با سوتسکِوِر شرکت را ترک کرد و این تیم منحل شد. لای که و بسیاری از کارکنان دیگر به شرکت رقیب OpenAI، Anthropic، پیوستند؛ شرکتی که ایمنتر در زمینه هوش مصنوعی کار می‌کند. موراتی، مکگرو و زوف جدیدترین افرادی هستند که شرکت را ترک کرده‌اند. موراتی نیز نگران مسائل ایمنی بود؛ ایمنی در این صنعت به این معناست که مدل‌های جدید هوش مصنوعی ممکن است با خطرات کوتاه مدت (مانند تعصبات پنهان) و خطرات بلندمدت (مانند سناریوهای مشابه اسکاینت ) روبه رو شوند و باید تحت آزمایش‌های دقیق‌تری قرار گیرند.
برخی متخصصان معتقدند که هوش مصنوعی عمومی (AGI) که توانایی حل مسئله‌ای به اندازه یک انسان را داشته باشد، ممکن است در کمتر از یک یا دو سال به واقعیت برسد، برخلاف سوتسکِوِر، موراتی تصمیم گرفت پس از ماجرای نوامبر در شرکت بماند تا تلاش کند از درون، مانع از شتابزدگی آلتمن و رئیس شرکت، گرگ براکمن، شود.
منابع آگاه میگویند که انتشار محصول o1 در ماه گذشته احتمالاً دلیل نهایی تصمیم موراتی برای ترک OpenAI بوده است. این محصول رویکرد جدیدی ارائه می‌دهد که نه تنها مانند مدل‌های زبانی بزرگ اطلاعات را بازنویسی می‌کند (سخنرانی گتیسبرگ را به سبک ترانه‌ای از تیلور سوئیفت بازنویسی کن) بلکه مسائل ریاضی و برنامه نویسی را نیز مانند انسان حل می‌کند. افرادی که نگران ایمنی هوش مصنوعی هستند، قبل از عرضه چنین محصولاتی به عموم، خواستار آزمایش‌های بیشتر و محدودیت‌های جدیتر شده‌اند.
این محصول در حالی عرضه شد که OpenAI به یک شرکت کاملاً انتفاعی تبدیل شد و دیگر هیچ گونه نظارتی از سوی سازمان‌های غیرانتفاعی بر آن وجود ندارد. این تغییر نگرانی‌هایی را در میان مدیران مستعفی، از جمله موراتی، ایجاد کرده استموراتی در پستی در شبکه اجتماعی ایکس نوشت: اکنون زمان مناسبی برای کنار رفتن است.
نگرانی‌ها چنان شدت یافته که برخی از کارکنان سابق شرکت هشدارهای خود را در مکان‌های عمومی مطرح کرده‌اند. ماه گذشته ویلیام ساندرز، یکی از اعضای سابق تیم فنی OpenAI، در کمیته قضائی سنا شهادت داد که شرکت را ترک کرده زیرا معتقد است اگر OpenAI به مسیر فعلی خود ادامه دهد، یک فاجعه جهانی در راه است.
وی به‌نمایندگان مجلس گفت: “AGI تغییرات بزرگی در جامعه ایجاد خواهد کرد، از جمله تغییرات رادیکال در اقتصاد و اشتغال. AGI همچنین می‌تواند باعث خطرات فاجعه‌باری مانند حملات سایبری خودکار یا کمک به ایجاد سلاح‌های بیولوژیکی جدید شود. هیچکس نمی‌داند چگونه اطمینان حاصل کند که سیستم‌های AGI ایمن و تحت کنترل خواهند بود… OpenAI ادعا می‌کند که در حال بهبود است، اما من و سایر کارمندان مستعفی در این باره تردید داریم.”
این OpenAI که در سال 2015 به عنوان یک سازمان غیرانتفاعی تأسیس شد، در سال 2019 یک بخش انتفاعی راه‌اندازی کرد. اما تا همین اواخر، این شرکت همچنان تحت نظارت هیئت مدیره بنیاد غیرانتفاعی خود بود. اکنون، حذف این نظارت غیرانتفاعی به شرکت آزادی بیشتری برای توسعه سریع محصولات جدید داده است، در حالی که این تغییر ممکن است سرمایه‌گذاران را نیز بیشتر جذب کند.
گزارشی از نیویورک تایمز نشان می‌دهد که OpenAI ممکن است امسال 5 میلیارد دلار از دست بدهد. (هزینه تراشه‌ها و قدرت لازم برای راهاندازی آنها بسیار بالاست.) روز چهارشنبه، این شرکت دور جدیدی از سرمایه‌گذاری را از سوی شرکته‌ایی مانند مایکروسافت و انویدیا به ارزش 6.6 میلیارد دلار اعلام کرد.

این شرکت همچنین باید قراردادهای گران‌قیمت مجوز با ناشران را منعقد کند، زیرا شکایات حقوقی از سوی نیویورک تایمز و دیگران مانع از آن شده است که OpenAI بتواند بهراحتی از محتوای ناشران برای آموزش مدل‌های خود استفاده کند.
حرکت‌های OpenAI موجب نگرانی ناظران صنعت شده است. گری مارکوس، یکی از کارشناسان باسابقه هوش مصنوعی و نویسنده کتاب جدید “رام کردن سیلیکون ولی: چگونه می‌توانیم مطمئن شویم که هوش مصنوعی به نفع ما کار میکند”، به هالیوود ریپورتر می‌گوید: “تغییر به یک شرکت انتفاعی آنچه را که قبلاً نیز آشکار بود، تثبیت کرد: بیشتر صحبت‌ها در مورد ایمنی احتمالاً فقط حرفه‌ای ظاهری بوده است. این شرکت به دنبال کسب درآمد است و هیچ کنترل و توازنی برای اطمینان از ایمنی آن وجود ندارد.”
این OpenAI سابقه‌ای در عرضه محصولاتی دارد که صنعت فکر می‌کند هنوز آماده نیستند. خود ChatGPT وقتی در نوامبر 2022 منتشر شد، صنعت فناوری را شگفت‌زده کرد؛ رقبای گوگل که روی محصولی مشابه کار می‌کردند، فکر نمی‌کردند که مدل‌های زبانی بزرگ در آن زمان آماده استفاده گسترده باشند، اینکه OpenAI بتواند با وجود کاهش نیروهای علمی اخیر به همین سرعت به نوآوری ادامه دهد، هنوز مشخص نیست.
شاید برای پرت کردن حواس از این درام و آرام کردن شکاکان، آلت‌من هفته گذشته یک پست وبلاگی نادر منتشر کرد و پیش‌بینی کرد که ابرهوشمندی ایده اینکه ماشین‌ها می‌توانند چنان قدرتمند شوند که همه چیز را بسیار بهتر از انسان‌ها انجام دهند – ممکن است تا اوایل دهه 2030 اتفاق بیفتد. او نوشت: پیروزی‌های شگفت‌انگیز – حل بحران آب و هوا، ایجاد یک مستعمره فضایی و کشف تمام عرصه‌های فیزیک – در نهایت به امری عادی تبدیل خواهد شد.” جالب است که همین نوع صحبت‌ها ممکن است باعث بخشی از تنش‌های داخلی OpenAI باشد، زیرا این چشم‌ انداز جسورانه و سریع پیشروی آلتمن، برای بسیاری از کارکنان سابق، نظیر موراتی و سوتسکِوِر، نگران کننده بوده است. آنها معتقدند که چنین پیشرفتهای عظیمی بدون ارزیابی دقیق و تدابیر ایمنی، می‌تواند به پیامدهای ناخواسته منجر شود.
منتقدان از جمله افرادی که به تازگی OpenAI را ترک کرده‌اند، استدلال می‌کنند که پیشبرد هوش مصنوعی بدون توجه کافی به مسائل اخلاقی و ایمنی، ممکن است نه تنها کسب‌وکارها و اقتصاد جهانی را دگرگون کند، بلکه حتی جوامع انسانی را با چالش‌های بی‌سابقه ای روبه رو سازد. نگرانی‌ها درباره ظهور هوش مصنوعی عمومی (AGI) و حتی ابر هوشمندی که فراتر از توانایی‌های انسان عمل می‌کند، به ویژه در زمینه‌های نظامی، اقتصادی و امنیت سایبری، موجب شده بسیاری از کارشناسان خواستار نظارت و مقررات سختگیرانه تر بر این حوزه شوند.
اما OpenAI با وجود انتقادات، همچنان به کار خود ادامه می‌دهد و به طور مستمر بر روی توسعه مدل‌های جدید و قدرتمندتر از جمله مدل‌های زبانی و محصولات دیگر متمرکز است. چشم‌اندازهای بلندپروازانه ای که سم آلتمن در مورد هوش مصنوعی و آینده انسان‌ها دارد، برخی را مجذوب کرده و برخی دیگر را به هراس انداخته است.
از طرف دیگر، شرکت‌های رقیب مانند Anthropic، که برخی از متخصصان ناراضی OpenAI به آن پیوسته‌اند، تلاش می‌کنند تا به عنوان جایگزینی ایمن‌تر و با کنترل‌های بیشتری بر فرایندهای توسعه هوش مصنوعی ظاهر شوند. این رقابت در نهایت می‌تواند مسیر آینده این فناوری را شکل دهد