هفت مدل GPT منبع باز رایگان منتشر شد

شرکت Cerebras هوش مصنوعی سیلیکون ولی هفت مدل GPT منبع باز رایگان را منتشر کرد تا جایگزینی برای سیستم‌های کاملاً کنترل شده و اختصاصی موجود امروزی ارائه کند.

مدل‌های GPT منبع باز رایگان، شامل وزن‌ها و دستور العمل آموزشی، تحت مجوز بسیار مجاز Apache 2.0 توسط Cerebras، یک زیرساخت هوش مصنوعی مبتنی بر دره سیلیکون برای شرکت برنامه‌های هوش مصنوعی منتشر شده‌اند.

تا حدی، هفت مدل GPT اثباتی بر مفهوم ابررایانه هوش مصنوعی Cerebras Andromeda هستند.

زیرساخت Cerebras به مشتریان خود، مانند Jasper AI Copywriter، اجازه می دهد تا به سرعت مدل های زبان سفارشی خود را آموزش دهند.

یک پست وبلاگ Cerebras در مورد فناوری سخت افزار اشاره کرد:

ما تمام مدل‌های Cerebras-GPT را بر روی یک کلاستر 16x CS-2 Cerebras Wafer-Scale به نام Andromeda آموزش دادیم.

این خوشه تمام آزمایش‌ها را به سرعت، بدون مهندسی سیستم‌های توزیع شده سنتی و تنظیم موازی مدل مورد نیاز در خوشه‌های GPU، قادر می‌سازد.

مهمتر از همه، محققان ما را قادر می سازد تا به جای سیستم توزیع شده، روی طراحی ML تمرکز کنند. ما معتقدیم که قابلیت آموزش آسان مدل‌های بزرگ یک عامل کلیدی برای جامعه گسترده است، بنابراین ما Cluster ویفر مقیاس Cerebras را از طریق استودیوی مدل Cerebras AI در فضای ابری در دسترس قرار دادیم.

مدل‌های GPT و شفافیت مغزی

Cerebras تمرکز مالکیت فناوری هوش مصنوعی را به چند شرکت به عنوان دلیلی برای ایجاد هفت مدل GPT منبع باز ذکر می کند.

OpenAI، Meta و Deepmind مقدار زیادی اطلاعات در مورد سیستم های خود را خصوصی نگه می دارند و به شدت کنترل می شوند، که نوآوری را به هر کاری که سه شرکت تصمیم بگیرند دیگران با داده های خود انجام دهند محدود می کند.

آیا یک سیستم منبع بسته برای نوآوری در هوش مصنوعی بهترین است؟ یا منبع باز آینده است؟

Cerebras می نویسد:

برای اینکه LLM یک فناوری باز و در دسترس باشد، ما معتقدیم که دسترسی به مدل‌های پیشرفته که هم برای کاربردهای تحقیقاتی و هم تجاری باز، قابل تکرار و بدون حق امتیاز هستند، مهم است.

برای این منظور، ما خانواده‌ای از مدل‌های ترانسفورماتور را با استفاده از جدیدترین تکنیک‌ها و مجموعه داده‌های باز که Cerebras-GPT می‌نامیم، آموزش داده‌ایم.

این مدل‌ها اولین خانواده مدل‌های GPT هستند که با استفاده از فرمول چینچیلا آموزش دیده‌اند و از طریق مجوز آپاچی 2.0 منتشر شده‌اند.

بنابراین این هفت مدل در Hugging Face و GitHub برای تشویق تحقیقات بیشتر از طریق دسترسی آزاد به فناوری هوش مصنوعی منتشر شده‌اند.

این مدل ها با ابررایانه هوش مصنوعی Andromeda Cerebras آموزش داده شدند، فرآیندی که انجام آن تنها هفته ها طول کشید.

Cerebras-GPT کاملاً باز و شفاف است، برخلاف آخرین مدل‌های GPT از OpenAI (GPT-4)، Deepmind و Meta OPT.

OpenAI و Deepmind Chinchilla مجوزی برای استفاده از مدل ها ارائه نمی دهند. Meta OPT فقط یک مجوز غیر تجاری ارائه می دهد.

GPT-4 OpenAI مطلقاً هیچ شفافیتی در مورد داده های آموزشی آنها ندارد. آیا آنها از داده های Common Crawl استفاده کردند؟ آیا آنها اینترنت را خراش دادند و مجموعه داده های خود را ایجاد کردند؟

OpenAI این اطلاعات (و بیشتر) را مخفی نگه می دارد، که برخلاف رویکرد Cerebras-GPT که کاملاً شفاف است.

موارد زیر کاملاً باز و شفاف است:

. معماری مدل

. داده های آموزشی

. وزنه های مدل

. ایست های بازرسی

. محاسبه وضعیت آموزش بهینه (بله)

. مجوز استفاده: مجوز آپاچی 2.0

این هفت نسخه در مدل های M111، M256، M590، B1.3، B2.7، B6.7 و B13 عرضه می شوند.

IT اعلام شد:

محققان سربراس برای اولین بار در میان شرکت‌های سخت‌افزاری هوش مصنوعی، مجموعه‌ای از هفت مدل GPT با پارامترهای 111M، M256، M590، 1.3B، B2.7، B6.7 و B13 را بر روی ابررایانه هوش مصنوعی Andromeda آموزش دادند.

این کار که معمولاً یک تعهد چند ماهه بود، به لطف سرعت باورنکردنی سیستم‌های Cerebras CS-2 که آندرومدا را تشکیل می‌دهند، و توانایی معماری جریان وزنی Cerebras برای از بین بردن دردسرهای محاسباتی توزیع‌شده، در چند هفته تکمیل شد.

این نتایج نشان می‌دهد که سیستم‌های Cerebras می‌توانند بزرگترین و پیچیده‌ترین حجم کاری هوش مصنوعی را امروز آموزش دهند.

این اولین بار است که مجموعه‌ای از مدل‌های GPT که با استفاده از تکنیک‌های کارآمد آموزشی آموزش داده شده‌اند، عمومی می‌شوند.

این مدل‌ها برای یک بودجه محاسباتی با بالاترین دقت آموزش داده می‌شوند (یعنی آموزش کارآمد با استفاده از دستور چینچیلا) بنابراین نسبت به مدل‌های عمومی موجود، زمان آموزش کمتر، هزینه آموزش کمتر و مصرف انرژی کمتری دارند.

AI منبع باز

بنیاد موزیلا، سازندگان نرم‌افزار متن‌باز فایرفاکس، شرکتی به نام Mozilla.ai را راه‌اندازی کرده است تا سیستم‌های GPT و توصیه‌کننده منبع باز بسازد که قابل اعتماد هستند و به حریم خصوصی احترام می‌گذارند.

Databricks همچنین اخیرا یک GPT Clone منبع باز به نام Dolly منتشر کرده است که هدف آن دموکراتیک کردن “جادوی ChatGPT” است.

علاوه بر آن هفت مدل Cerebras GPT، شرکت دیگری به نام Nomic AI، GPT4All را منتشر کرد، یک GPT منبع باز که می تواند روی لپ تاپ اجرا شود.

امروز ما GPT4All را منتشر می کنیم، یک ربات چت دستیار که از خروجی های 430k GPT-3.5-Turbo استخراج شده است که می توانید آن را روی لپ تاپ خود اجرا کنید. pic.twitter.com/VzvRYPLfoY

— Nomic AI (@nomic_ai) 28 مارس 2023

جنبش AI منبع باز در مرحله نوپایی است اما در حال افزایش است.

فناوری GPT در حال ایجاد تغییرات عظیم در صنایع است و ممکن است، شاید اجتناب‌ناپذیر، مشارکت‌های منبع باز ممکن است چهره صنایعی را که این تغییر را هدایت می‌کنند، تغییر دهد.

اگر جنبش منبع باز با این سرعت به پیشرفت خود ادامه دهد، ممکن است شاهد تغییری در نوآوری هوش مصنوعی باشیم که مانع از تمرکز آن در دست چند شرکت بزرگ شود.

اطلاعیه رسمی را بخوانید:

Cerebras Systems هفت مدل جدید GPT را منتشر کرد که بر روی سیستم‌های مقیاس ویفر CS-2 آموزش دیده بودند

تصویر برجسته توسط Shutterstock/Merkushev Vasiliy