لینک کوتاه مطلب : https://hsgar.com/?p=3290

Shtetl-Optimized » آرشیو وبلاگ » OpenAI!

من یک خبر هیجان انگیز دارم (به هر حال برای من). از هفته آینده به مدت یک سال از UT Austin به مرخصی می‌روم تا در آنجا کار کنم OpenAI. آنها خالقان شگفت انگیز هستند GPT-3 و DALL-E2، که نه تنها من و بچه هایم را به طور بی پایان سرگرم کرده اند، بلکه درک من را از اینکه دنیا برای بقیه عمر ما، چه خوب و چه بد، چگونه خواهد بود، دوباره تنظیم کرد. کار با یک تیم شگفت انگیز در OpenAI، از جمله یان لیکه، جان شولمن، و ایلیا سوتسکور، کار من فکر کردن به مبانی نظری ایمنی و همسویی هوش مصنوعی خواهد بود. پیچیدگی محاسباتی چه چیزی می تواند به درک اصولی از چگونگی واداشتن یک هوش مصنوعی به انجام آنچه می خواهیم و عدم انجام کارهایی که نمی خواهیم کمک کند؟

آره من هم جوابشو نمی دونم به همین دلیل است که من یک سال تمام وقت دارم تا آن را بفهمم! با این حال، یک چیز را با اطمینان می دانم این است که علاقه مند هستم هر دو در کوتاه‌مدت، جایی که ایده‌های جدید اکنون به سرعت قابل آزمایش هستند، و استفاده نادرست از هوش مصنوعی برای هرزنامه‌ها، نظارت، تبلیغات و سایر اهداف پلید در حال حاضر یک نگرانی بزرگ اجتماعی است. و در درازمدت، جایی که ممکن است نگران اتفاقاتی باشد که وقتی هوش مصنوعی تقریباً در همه حوزه ها از توانایی های انسانی پیشی می گیرد. (و تمام نکات در این بین: ممکن است برای یک سواری طولانی و وحشیانه در پیش باشیم.) وقتی شروع به خواندن در مورد ایمنی هوش مصنوعی می کنید، شگفت انگیز است که چگونه دو جامعه جداگانه وجود دارد – جامعه ای که بیشتر نگران یادگیری ماشینی است که تعصبات نژادی و جنسیتی را تداوم می بخشد. و کسی که بیشتر نگران این است که هوش مصنوعی فوق بشری سیاره را به گوه تبدیل کند – که نه تنها با هم کار نمی کنند، بلکه در گلوی همدیگر، با این که هر یک دیگری را متهم می کند که کاملاً موضوع را از دست داده است. با این حال، من بر این باور احتمالاً ساده‌لوحانه پافشاری می‌کنم که اینها فقط دو حالت افراطی در امتداد یک زنجیره واحد از نگرانی‌های هوش مصنوعی هستند. با پی بردن به اینکه چگونه هوش مصنوعی را با ارزش‌های انسانی امروز همسو کنیم – که دائماً ایده‌های نظری خود را با واقعیت روبه‌رو می‌کنیم – می‌توانیم دانشی را توسعه دهیم که به ما فرصت بهتری برای همسو کردن آن با ارزش‌های انسانی فردا بدهد.

به دلایل خانوادگی، من این کار را بیشتر از خانه، در تگزاس انجام خواهم داد، هرچند که هر از گاهی به دفتر OpenAI در سانفرانسیسکو سفر خواهم کرد. من همچنین 30 درصد از زمان خود را صرف ادامه راه اندازی مرکز اطلاعات کوانتومی در UT Austin و کار با دانشجویان و فوق دکترای خود می کنم. در پایان سال، من قصد دارم به تدریس تمام وقت، نوشتن، و فکر کردن در مورد چیزهای کوانتومی برگردم، چیزی که عشق فکری اصلی من در زندگی باقی مانده است، حتی به عنوان هوش مصنوعی – رشته ای که در آن شروع کردم، به عنوان یک دانشجوی دکترا، قبل از اینکه من به محاسبات کوانتومی روی بیاورم، جهان را به شیوه‌هایی تسخیر کرده است که هیچ یک از ما نمی‌توانیم آن را نادیده بگیریم.

شاید به درستی، این مسیر جدید در حرفه من ریشه در اینجا داشته باشد Shtetl-بهینه شده. چندین نظردهنده، از جمله مکس را و مت پوتز، بی درنگ از من پرسیدند که برای ترغیب من به کار بر روی همسویی هوش مصنوعی چه چیزی لازم است. با در نظر گرفتن آن به عنوان یک فرضیه خنده دار، پاسخ دادم که این بیشتر به خاطر پول برای من نیست، و اینکه:

نکته اصلی پیدا کردن یک واقعیت است سوال فنی بالقوه قابل پاسخ در اطراف هم ترازی هوش مصنوعی، حتی یک تراز کوچک، که علاقه من را برانگیخت و احساس می کردم زاویه غیرعادی روی آن دارم. به طور کلی، من سابقه بسیار وحشتناکی در کار کردن روی موضوعات دارم، زیرا به طور انتزاعی احساس می‌کنم که «باید» روی آنها کار کنم. تمام حرفه علمی من اساساً این بوده است که به خودم اجازه داده‌ام یک پازل بعد از معمای بعدی مورد حمله قرار بگیرم.

به هر حال، یان لیک در OpenAI این تبادل را دید و نوشت و پرسید که آیا در علاقه‌ام جدی هستم یا خیر. اوه شلیک کنید! آیا من بودم؟ پس از گفتگوهای فشرده با جان، دیگران در OpenAI، و دیگران در دنیای ایمنی هوش مصنوعی، در نهایت به این نتیجه رسیدم که هستم.

من بدیهی است که کارم را برای خودم قطع کرده ام، فقط برای اینکه به آنچه قبلاً در این زمینه انجام شده است برسم. من در واقع تمام هفته در منطقه خلیج بوده‌ام و با افراد متعدد ایمنی هوش مصنوعی ملاقات کرده‌ام (والبته، پیچیدگی و افراد کوانتومی)، هر جا که می روم، پشته ای از مقالات فنی در مورد ایمنی هوش مصنوعی را حمل می کنم. وقتی با کارشناسان ایمنی هوش مصنوعی صحبت می‌کنم، آنها نه تنها از این موضوع شگفت زده شده‌ام طرد کننده نیست در مورد ارتباط بالقوه نظریه پیچیدگی، آن ها بیشتر از من در مورد آن صحبت می کنند! آنها می خواهند در مورد اینکه مثلاً IP=PSPACE، یا MIP=NEXP، یا قضیه PCP می تواند بینش های کلیدی در مورد اینکه چگونه می توانیم رفتار یک هوش مصنوعی قدرتمند را تأیید کنیم، ارائه دهد. (پاسخ کوتاه: شاید در سطحی! اما، اشتباه، کار بیشتری باید انجام شود.)

این وضعیت پیچیده‌دوست چگونه به وجود آمد؟ این من را به چروک دیگری در داستان می رساند. به طور سنتی، دانشجویان راه اساتید خود را دنبال می کنند. اما در تلاش برای وارد کردن نظریه پیچیدگی به ایمنی هوش مصنوعی، من در واقع راه دانش‌آموزم را دنبال می‌کنم: پل کریستیانویکی از بزرگ‌ترین دانش‌آموزانی که در 9 سال تحصیلم در MIT با او کار کردم، دانشجویی که پروژه دوره‌اش تبدیل به کاغذ پول کوانتومی آرونسون-کریستیانو. پس از MIT، پل دکترای محاسبات کوانتومی را در برکلی با مشاور سابق خود امش وزیرانی گرفت. همچنین کار پاره وقت روی ایمنی هوش مصنوعی پل سپس محاسبات کوانتومی را رها کرد تا به طور تمام وقت روی ایمنی هوش مصنوعی کار کند – در واقع، او گروه ایمنی را در OpenAI تأسیس کرد. پل از آن زمان برای تأسیس سازمان ایمنی هوش مصنوعی خود به نام The مرکز تحقیقات تراز (ARC)، اگرچه او با افراد OpenAI رابطه خوبی دارد. پل تا حد زیادی مسئول آوردن شهودها و تشابهات نظریه پیچیدگی به ایمنی هوش مصنوعی است – به عنوان مثال، از طریق مقاله “ایمنی هوش مصنوعی از طریق بحث”. و کاغذ تقویتی تکراری. من از راهنمایی و تشویق پل – و همچنین دیگرانی که اکنون در این تقاطع کار می کنند، مانند جفری ایروینگ و الیزابت بارنز – هنگام شروع این فصل جدید سپاسگزارم.

بنابراین، من واقعاً روی چه پروژه هایی در OpenAI کار خواهم کرد؟ بله، من هفته گذشته را صرف تلاش کردم تا آن را بفهمم. من هنوز نمی دانم، اما چند احتمال ظاهر شده است. اول، ممکن است یک تئوری کلی پیچیدگی نمونه و غیره را برای یادگیری در محیط‌های خطرناک ارائه کنم – به عنوان مثال، یاد بگیریم که در کجا انجام پرس و جو اشتباه ممکن است شما را بکشد. دوم، من می‌توانم روی توضیح‌پذیری و تفسیرپذیری برای یادگیری ماشین کار کنم: با توجه به یک شبکه عمیق که خروجی خاصی تولید می‌کند، اصلاً منظور ما از «توضیح» برای «چرا» آن خروجی چیست؟ در مورد پیچیدگی محاسباتی یافتن آن توضیح چه می توانیم بگوییم؟ سوم، من ممکن است روی توانایی عوامل ضعیف تر برای تأیید رفتار عوامل قوی تر کار کنم. البته، اگر P≠NP، شکاف بین دشواری حل یک مسئله و دشواری تشخیص یک راه حل گاهی اوقات می تواند بسیار زیاد باشد. و در واقع، حتی در یادگیری ماشینی تجربی، معمولاً بین دشواری تولید می کند اشیاء (مثلا، تصاویر گربه) و دشواری تبعیض آمیز بین آنها و اشیاء دیگر، دومی آسان تر است. اما این شکاف معمولاً نمایی نیست، همانطور که برای مسائل NP-complete حدس زده می شود: بسیار کوچکتر از آن است. و به طور غیرمستقیم، می‌توانیم بچرخیم و از ژنراتورها برای بهبود تمایزکنندگان استفاده کنیم. چگونه می توانیم این را به صورت انتزاعی درک کنیم؟ آیا سناریوهای مدلی در نظریه پیچیدگی وجود دارد که بتوانیم ثابت کنیم چیزی مشابه اتفاق می افتد؟ چقدر می‌توانیم شکاف مولد/تبعیض‌کننده را تقویت کنیم – برای مثال، با استفاده از پروتکل‌های تعاملی، یا بحث‌های بین هوش مصنوعی رقیب؟

البته OpenAI دقیقاً در نام خود کلمه “باز” ​​را دارد و یک مأموریت بنیانگذار “برای اطمینان از اینکه هوش عمومی مصنوعی به نفع تمام بشریت است.” اما همچنین یک شرکت انتفاعی است، با سرمایه گذاران و مشتریان پولی و رقبای جدی. بنابراین در طول سال، از من انتظار نداشته باشید که اطلاعات اختصاصی را به اشتراک بگذارم – به هر حال این به علاقه من نیست، حتی اگر من نکرده بود NDA را امضا کرد. ولی انجام دادن از من انتظار دارید که افکار عمومی خود را در مورد ایمنی هوش مصنوعی در حین توسعه در وبلاگ قرار دهم و از خوانندگان بازخورد درخواست کنم.

در گذشته، من اغلب در مورد چشم‌انداز هوش مصنوعی فوق‌هوشمند و خودآگاهی و نابودی جهان به زودی تردید داشتم (برای مثال، به پست سال 2008 من، The Singularity Is Far) مراجعه کنید. در حالی که من از سال 2005 یا بیشتر از جامعه خطر هوش مصنوعی آگاه بودم. و از رهبر و پیامبرش، الیزر یودکوفسکی; و از توصیه های الیزر به مردم برای کنار گذاشتن هر کار دیگری که انجام می دهند و روی خطر هوش مصنوعی کار کنند، به عنوان بزرگترین مشکلی که بشریت با آن مواجه است، من … همه چیز را در فاصله کوتاهی نگه داشتم. زوج با فرض من قبول کردم که این موضوع بسیار نگران کننده ای است، پرسیدم، امروز می خواهید در مورد آن چه کاری انجام دهم؟ ما در مورد هوش مصنوعی فوق‌هوشمند آینده و نحوه رفتار آن اطلاعات کمی داریم که هر اقدامی که امروز انجام می‌دهیم احتمالاً بی‌فایده یا معکوس خواهد بود.

با این حال، در طول 15 سال گذشته، دیدگاه من و الیزر دچار یک معکوس دراماتیک و کنایه آمیز شد. اگر الیزر را بخوانید “شادی عذاب” از دو هفته پیش، خواهید دید که او اکنون استعفا داده و سرنوشت‌گرا است: او استدلال می‌کند که به هشدارهای اولیه‌اش توجهی نشد، بشریت تقریباً به طور قطع محکوم به فنا است و یک هوش مصنوعی غیر همسو به زودی جهان را نابود خواهد کرد. او می گوید که اساسا وجود دارد نه دستورالعمل‌های امیدوارکننده در تحقیقات ایمنی هوش مصنوعی: برای هر استراتژی همسویی که هر کسی به آن اشاره می‌کند، Eliezer می‌تواند با توضیح اینکه چگونه (به عنوان مثال) هوش مصنوعی با این طرح عاقلانه عمل می‌کند، آن را رد کند و وانمود کند که با هر چیزی که از آن می‌خواهیم همراهی می‌کند در حالی که مخفیانه نقشه می‌کشیم. علیه ما.

بخش عجیب این است که همانطور که الیزر بیشتر و بیشتر در مورد چشم اندازهای دستیابی به هر نقطه در تراز هوش مصنوعی بدبین شد، من نیز بیشتر و بیشتر شده ام. خوشبین. بخشی از خوش‌بینی من به این دلیل است که افرادی مانند پل کریستیانو پایه‌های یک نظریه ریاضی را پایه‌گذاری کرده‌اند: بسیار شبیه به وب (یا نظریه محاسبات کوانتومی) در سال 1992، هنوز در مرحله ابتدایی مضحکی قرار دارد، اما حتی من اکنون تخیل محدود کافی است تا ببینیم چقدر بیشتر می توان در آنجا ساخت. بخش بزرگ‌تری از خوش‌بینی من به این دلیل است که ما اکنون در جهانی با GPT-3، DALL-E2، و سیستم‌های دیگر زندگی می‌کنیم که اگرچه به وضوح AGI نیستند، اما به اندازه کافی قدرتمند هستند که نگرانی در مورد AGI بیشتر شبیه به آن است. احتیاط نسبت به داستان های علمی تخیلی. و در نهایت می‌توانیم شهود خود را در برابر واقعیت‌های این سیستم‌ها آزمایش کنیم، که (خارج از ریاضیات) تقریباً تنها راهی است که انسان‌ها تاکنون در هر کاری موفق شده‌اند.

من پیش‌بینی نمی‌کردم که مدل‌های یادگیری ماشینی به این چشمگیر تا سال 2022 وجود داشته باشند. احتمالاً بسیاری از شما آن را پیش‌بینی نکرده‌اید. محض رضای خدا، الیزر یودکوفسکی آن را پیش بینی نکرد اما این اتفاق افتاده است. و به نظر من، یکی از فضایل تعیین کننده علم این است که، وقتی واقعیت تجربی به شما شوک واضحی می دهد، به جای اینکه هوش خود را صرف پیدا کردن دلایل هوشمندانه کنید که چرا مهم نیست یا نیست، به روز می شوید و سازگار می شوید. شمردن.

به هر حال، پس برنامه همین است! اگر بتوانم راهی برای نجات کهکشان بیابم، این کار را انجام خواهم داد، اما اهدافم را کمی پایین تر، یادگیری برخی چیزهای جدید و انجام برخی تحقیقات جالب و نوشتن مقالاتی در مورد آن و لذت بردن از وقفه ای از تدریس در نظر گرفته ام. برای من یک احتمال موفقیت غیر قابل چشم پوشی آرزو کنید!

این مطلب در تاریخ جمعه 17 ژوئن 2022 ساعت 6:39 بعد از ظهر ارسال شده است و در زیر اطلاعیه ها، خود ارجاعی، سرنوشت بشریت ثبت شده است. شما می توانید هر پاسخی را که به این ورودی داده می شود از طریق فید RSS 2.0 دنبال کنید. تو می توانی یک پاسخ بگذارید، یا پیگیری از سایت خودتان.



لینک منبع

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.