زمانی که آزمایشگاه‌های بزرگ هوش مصنوعی از باز کردن مدل‌های خود سرباز می‌زنند، جامعه مداخله می‌کند

معیارها به اندازه سایر بخش‌های صنعت نرم‌افزار معیاری برای پیشرفت در هوش مصنوعی هستند. اما وقتی معیارها از سوی شرکت‌ها می‌آیند، محرمانه بودن اغلب از تأیید آن توسط جامعه جلوگیری می‌کند.

به عنوان مثال، OpenAI به مایکروسافت، که با آن رابطه تجاری دارد، حقوق مجوز انحصاری مدل زبان قدرتمند GPT-3 خود را اعطا کرد. سایر سازمان‌ها می‌گویند کدی که برای توسعه سیستم‌ها استفاده می‌کنند به ابزارها و زیرساخت‌های داخلی غیرقابل انتشار بستگی دارد یا از مجموعه داده‌های دارای حق چاپ استفاده می‌کند. در حالی که انگیزه ها من میتوانم ماهیت اخلاقی داشته باشید – OpenAI در ابتدا از انتشار GPT-2، سلف GPT-3 خودداری کرد، از ترس اینکه ممکن است سوء استفاده شود – با همان اثر. بدون کد لازم، تأیید ادعاهای سازمان برای محققان شخص ثالث بسیار دشوارتر است.

کلمبیا، دکترای علوم کامپیوتر، گفت: “این واقعاً جایگزین کافی برای شیوه های صنعتی منبع باز خوب نیست.” نامزد گوستاو آهدریتز از طریق ایمیل به TechCrunch گفت. Ahdritz یکی از توسعه دهندگان پیشرو OpenFold است، نسخه منبع باز AlphaFold 2 که ساختار پروتئین DeepMind را پیش بینی می کند. انجام تمام علومی که دوست دارم با کدی که DeepMind منتشر کرد، سخت است.

برخی از محققان تا آنجا پیش می روند که می گویند حفظ کد سیستم “ارزش علمی آن را تضعیف می کند”. در اکتبر 2020، تکذیبیه ای در این مجله منتشر شد طبیعت یک مشکل با یک سیستم پیش‌بینی سرطان که توسط Google Health آموزش داده شده بود، ایجاد کرد، شعبه Google متمرکز بر تحقیقات سلامت. نویسندگان مشترک اشاره کردند که گوگل جزئیات فنی کلیدی را حفظ کرده است، از جمله شرح نحوه توسعه سیستم، که می تواند به طور قابل توجهی بر عملکرد آن تأثیر بگذارد.

اعتبار تصویر: OpenFold

به جای تغییر، برخی از اعضای جامعه هوش مصنوعی، مانند Ahdritz، ماموریت باز کردن سیستم ها را برای خود تعیین کرده اند. این محققان با کار با اسناد فنی، سخت کوشیدند تا سیستم ها را از ابتدا یا با ارتقا بخش هایی از مشخصات در دسترس عموم، بازسازی کنند.

OpenFold یکی از این تلاش هاست. به گفته اهدریتز، مدت کوتاهی پس از معرفی AlphaFold 2 توسط DeepMind راه اندازی شد، هدف تأیید این است که AlphaFold 2 را می توان از ابتدا بازی کرد و اجزای سیستم را در دسترس قرار داد که می توانند در جاهای دیگر مفید باشند.

ما معتقدیم که DeepMind تمام جزئیات لازم را ارائه کرده است، اما … ما این کار را نمی کنیم [concrete] اهدریتز گفت که اثبات این امر و بنابراین این تلاش برای ایمن کردن این مسیر و اجازه دادن به دیگران برای ساختن آن کلیدی است. علاوه بر این، برخی از اجزای AlphaFold در ابتدا تحت یک مجوز غیر تجاری بودند. اجزا و داده های ما – DeepMind هنوز اطلاعات کامل آموزشی خود را منتشر نکرده است – کاملاً منبع باز خواهند بود و به صنعت اجازه ورود می دهند.

OpenFold تنها پروژه در نوع خود نیست. در جاهای دیگر، گروه‌هایی که در جامعه هوش مصنوعی متصل نیستند، سعی می‌کنند کد تولید کد OpenAI و کد ایجاد هنر DALL-E، AlphaZero DeepMind را برای شطرنج، و حتی AlphaStar، یک سیستم DeepMind که برای اجرای بازی استراتژی در زمان واقعی StarCraft طراحی شده است، پیاده‌سازی کنند. 2. در میان موفقیت‌آمیزترها، EleutherAI و راه‌اندازی AI Hugging Face’s BigScience، یک تلاش تحقیقاتی باز با هدف ارائه کد و مجموعه داده‌های مورد نیاز برای راه‌اندازی مدلی قابل مقایسه (هر چند نه یکسان) با GPT-3 هستند.

فیلیپ وانگ، یکی از اعضای پرکار جامعه هوش مصنوعی که از تعدادی پیاده‌سازی منبع باز در GitHub، از جمله یکی از OpenAI DALL-E پشتیبانی می‌کند، استدلال می‌کند که این سیستم‌های منبع باز نیاز به تکرار تلاش‌های محققان را کاهش می‌دهند.

ما مانند هر محقق دیگری در جهان آخرین تحقیقات هوش مصنوعی را می خوانیم. اما به جای کپی کردن کاغذ در سیلو، آن را به صورت متن باز اعمال می کنیم. «ما در محل جالبی در چهارراه علم اطلاعات و صنعت هستیم. من فکر می کنم منبع باز یک طرفه نیست و در نهایت به نفع همه است. او همچنین خواستار چشم اندازی گسترده تر از یک هوش مصنوعی واقعا دموکراتیک شده است که به سهامداران بدهکار نیست.

برایان لی و اندرو جکسون، دو کارمند گوگل، با هم همکاری کردند تا MiniGo، یک کپی از AlphaZero را بسازند. اگرچه لی و جکسون به پروژه رسمی مرتبط نبودند، لی و جکسون – که در گوگل، شرکت مادر اصلی DeepMind بودند – از مزیت دسترسی به منابع خاص خود برخوردار بودند.

اعتبار تصویر: MiniGo

“[Working backward from papers is] لی، محقق مغز گوگل، از طریق ایمیل به TechCrunch گفت. «دستورالعمل‌ها از دستورالعمل‌هایی صحبت می‌کنند که باید ببینید، چه مدت باید در یک مسیر مشخص بروید، چه انشعابی را در یک لحظه حساس طی کنید. جزئیات کافی برای یک ناوبر مجرب برای یافتن راه وجود دارد، اما اگر ندانید چگونه قطب نما را بخوانید، ناامیدانه گم خواهید شد. شما دقیقاً مراحل را دنبال نمی کنید، اما خود را در همان مکان خواهید یافت.”

توسعه دهندگان پشت این طرح ها، از جمله اهدریتز و جکسون، می گویند که آنها نه تنها به نشان دادن اینکه آیا سیستم ها همانطور که تبلیغ می شود کمک می کنند، بلکه برنامه های جدید و پشتیبانی سخت افزاری بهتر را فعال می کنند. سیستم‌های آزمایشگاه‌ها و شرکت‌های بزرگ مانند DeepMind، OpenAI، مایکروسافت، آمازون و متا معمولاً روی سرورهای گران‌قیمت و اختصاصی مرکز داده با قدرت محاسباتی بسیار بیشتر از ایستگاه‌های کاری متوسط ​​آموزش می‌دهند، که به موانع استفاده از منبع باز می‌افزاید.

“یادگیری انواع جدید AlphaFold ممکن است منجر به کاربردهای جدیدی فراتر از پیش بینی ساختار پروتئین شود، که با نسخه اصلی کد DeepMind امکان پذیر نیست زیرا فاقد کد آموزشی است – مانند پیش بینی نحوه اتصال داروها به پروتئین ها، نحوه حرکت پروتئین ها و نحوه تعامل پروتئین ها با دیگر مولکول‌های زیستی، “آهدریتز” گفت: ده‌ها برنامه کاربردی با تاثیر بالا وجود دارد که نیاز به آموزش انواع جدید AlphaFold یا ادغام بخش‌هایی از AlphaFold در مدل‌های بزرگ‌تر دارند، اما فقدان کد آموزشی مانع از همه آنها می‌شود.

جکسون افزود: «این تلاش‌های منبع باز برای گسترش «دانش کاری» درباره نحوه رفتار این سیستم‌ها در محیط‌های غیر آکادمیک بسیار انجام می‌دهند. «مقدار محاسبات مورد نیاز برای بازتولید نتایج اصلی [for AlphaZero] بسیار بالا است عددی که به ذهنم رسید را به خاطر ندارم، اما شامل کار با حدود هزار پردازنده گرافیکی در یک هفته بود. ما در موقعیت بسیار منحصر به فردی قرار داشتیم تا به جامعه کمک کنیم این مدل‌ها را با دسترسی زودهنگام خود به محصول Google Cloud Platform TPU که هنوز به صورت عمومی در دسترس نبود، آزمایش کند.

پیاده سازی سیستم های منبع باز خود چالش برانگیز است، به خصوص زمانی که اطلاعات عمومی کمی برای ادامه وجود داشته باشد. در حالت ایده آل، کد علاوه بر مجموعه داده های مورد استفاده برای آموزش سیستم و به اصطلاح وزن هایی که مسئول تبدیل داده های ارسال شده به سیستم به پیش بینی هستند، در دسترس است. اما این اغلب اتفاق نمی افتد.

به عنوان مثال، در توسعه OpenFold، Ahdritz و تیم مجبور شدند اطلاعاتی را از مطالب رسمی جمع‌آوری کنند و تفاوت‌های بین منابع مختلف، از جمله کد منبع، کد اضافی، و ارائه‌هایی را که محققان DeepMind در ابتدا ارائه کرده‌اند، با هم تطبیق دهند. عدم قطعیت در مراحلی مانند آماده‌سازی داده‌ها و کد آموزشی منجر به شروع‌های نادرست شد، در حالی که کمبود منابع سخت‌افزاری نیاز به مبادله در طراحی داشت.

ما واقعاً فقط چند تلاش داریم که آن را به درستی انجام دهیم، به طوری که به طور نامحدود ادامه پیدا نکند. آدریتز گفت: «این چیزها دارای مراحل محاسباتی فشرده زیادی هستند که یک اشتباه کوچک می‌تواند ما را تا حد زیادی به عقب برگرداند، بنابراین ما باید مدل را دوباره آموزش دهیم و همچنین داده‌های آموزشی زیادی را بازسازی کنیم.» “برخی جزئیات فنی که بسیار خوب کار می کنند [DeepMind] آنها به راحتی برای ما کار نمی کنند زیرا ما سخت افزارهای مختلفی داریم … علاوه بر این، ابهام در مورد اینکه کدام جزئیات مهم هستند و کدام یک بدون فکر زیاد انتخاب شده اند، بهینه سازی یا تنظیم چیزی را دشوار می کند و ما را در هر چیزی قفل می کند (گاهی ناخوشایند). ) انتخاب در سیستم اصلی انجام شده است.”

بنابراین، آیا آزمایشگاه‌های پشت سیستم‌های خود، مانند OpenAI، علاقه‌مند به طراحی مجدد کارشان و حتی استفاده توسط استارت‌آپ‌ها برای راه‌اندازی خدمات رقیب هستند؟ ظاهرا خیر اهدریتز می‌گوید این واقعیت که DeepMind به طور خاص جزئیات زیادی را در مورد سیستم‌های خود منتشر می‌کند نشان می‌دهد که به طور ضمنی این تلاش را تأیید می‌کند، حتی اگر علناً این را نگفته باشد.

اهدریتز گفت: «ما هیچ نشانه روشنی مبنی بر اینکه DeepMind این تلاش را تأیید یا تأیید نمی کند، دریافت نکرده ایم. اما مطمئناً هیچ کس سعی نکرده ما را متوقف کند.»