مقایسه Google PalM 2 با OpenAI GPT-4: تفاوت چیست؟

PaLM 2 به‌روزرسانی‌های عظیمی را برای LLM گوگل به ارمغان می‌آورد، اما آیا این بدان معناست که اکنون می‌تواند با GPT-4 OpenAI یکی از پاهای پا به پا شود؟ مقایسه Google PalM 2 با OpenAI GPT-4 را در ادامه بخوانید.

گوگل در 10 می 2023 در Google I/O 2023 از نسل بعدی Pathways Language Model خود (PaLM 2) رونمایی کرد. آماده مقابله با بزرگترین رقیب خود، GPT-4 OpenAI است.

اما گوگل چقدر پیشرفت کرده است؟ آیا PalM 2 همان چیزی است که گوگل امیدوار است باشد، و مهمتر از آن، با این همه قابلیت مشابه، تفاوت PalM 2 با GPT-4 OpenAI چیست؟

مقایسه Google PalM 2 با OpenAI GPT-4: بررسی اجمالی عملکرد

PalM 2 دارای قابلیت های جدید و بهبود یافته نسبت به نسخه قبلی خود است. یکی از مزایای منحصربه‌فرد PalM 2 نسبت به GPT-4 این است که در اندازه‌های کوچک‌تر مخصوص برنامه‌های خاصی که قدرت پردازش آن‌چنانی ندارند، در دسترس است.

همه این سایزهای مختلف مدل‌های کوچک‌تری به نام‌های Gecko، Otter، Bison و Unicorn دارند که Gecko کوچک‌ترین، پس از آن Otter، Bison و در نهایت، Unicorn، بزرگترین مدل هستند.

گوگل همچنین ادعا می‌کند که قابلیت‌های استدلال نسبت به GPT-4 در WinoGrande و DROP بهبود یافته است، در حالی که اولی یک حاشیه باریک در ARC-C دارد. با این حال، بهبود قابل توجهی در سراسر هیئت مدیره در مورد PalM و SOTA وجود دارد.

طبق مقاله تحقیقاتی 91 صفحه‌ای Google، PalM 2 در ریاضیات نیز بهتر است [PDF]. با این حال، روشی که گوگل و OpenAI نتایج آزمایش خود را ساختار داده اند، مقایسه مستقیم این دو مدل را دشوار می کند. گوگل همچنین برخی از مقایسه ها را حذف کرد، احتمالاً به این دلیل که PalM 2 تقریباً به خوبی GPT-4 عمل نمی کرد.

در MMLU، GPT-4 امتیاز 86.4 را به دست آورد، در حالی که PalM 2 امتیاز 81.2 را به دست آورد. همین امر در مورد HellaSwag، جایی که GPT-4 امتیاز 95.3 را کسب کرد، اما PaLM 2 تنها توانست 86.8 را به دست آورد، و ARC-E، جایی که GPT-4 و PalM 2 به ترتیب 96.3 و 89.7 را کسب کردند.

بزرگترین مدل در خانواده PalM 2، PaLM 2-L است. در حالی که اندازه دقیق آن را نمی دانیم، می دانیم که به طور قابل توجهی کوچکتر از بزرگترین مدل PalM است اما از محاسبات آموزشی بیشتری استفاده می کند. طبق گفته گوگل، PalM دارای 540 میلیارد پارامتر است، بنابراین “به طور قابل توجهی کوچکتر” باید PalM 2 را بین 10 تا 300 میلیارد پارامتر قرار دهد. به خاطر داشته باشید که این اعداد فقط فرضیاتی هستند که بر اساس آنچه گوگل در مقاله PalM 2 گفته است.

اگر این عدد نزدیک به 100 میلیارد یا کمتر باشد، PalM 2 به احتمال زیاد از نظر پارامترها کوچکتر از GPT-3.5 است. در نظر گرفتن مدلی که به طور بالقوه زیر 100 میلیارد می تواند با GPT-4 دست به دست شود و حتی در برخی از وظایف آن را شکست دهد، بسیار چشمگیر است. GPT-3.5 در ابتدا همه چیز را از آب خارج کرد، از جمله PalM، اما PalM 2 کاملاً بهبود یافته است.

مزیت عملکرد آشکار دیگری که PalM 2 نسبت به GPT-4 دارد، در دسترس بودن آن در اندازه های مختلف است. این بدان معناست که برای مثال، نسخه‌های مختلف این مدل، Gecko، می‌توانند بر روی دستگاه‌های تلفن همراه، حتی بدون اتصال به اینترنت، اجرا شوند و قابلیت‌های هوش مصنوعی را ارائه دهند – چیزی که هنوز در GPT-4 شاهد آن نیستیم. این نوع پردازش روی دستگاه، وقتی صحبت از دسترسی و استقرار به میان می‌آید، به PALM 2 برتری نسبت به GPT-4 می‌دهد.

تفاوت در داده های آموزشی GPT-4 و PalM 2

در حالی که گوگل اندازه مجموعه داده آموزشی PalM 2 را معرفی نکرده است، این شرکت در مقاله تحقیقاتی خود گزارش می دهد که مجموعه داده های آموزشی جدید LLM به طور قابل توجهی بزرگتر است. OpenAI همچنین هنگام رونمایی از GPT-4 از همین رویکرد استفاده کرد و هیچ ادعایی در مورد اندازه مجموعه داده آموزشی نداشت.

با این حال، گوگل می خواست بر درک عمیق تری از ریاضیات، منطق، استدلال و علم تمرکز کند، به این معنی که بخش بزرگی از داده های آموزشی PalM 2 بر موضوعات فوق متمرکز است. گوگل در مقاله خود می گوید که مجموعه قبل از آموزش PalM 2 از منابع متعددی از جمله اسناد وب، کتاب ها، کدها، ریاضیات و داده های مکالمه تشکیل شده است که حداقل در مقایسه با PalM، پیشرفت هایی را در کل ارائه می دهد.

با توجه به اینکه این مدل به بیش از 100 زبان آموزش داده شده است تا درک متنی بهتر و قابلیت های ترجمه بهتری به آن بدهد، مهارت های مکالمه PalM 2 نیز باید در سطح دیگری باشد. همانطور که گفته شد، گوگل ادعا می کند که PalM 2 خروجی سمی کمتری تولید می کند زیرا در درجه اول بر روی داده های کمتر آموزش داده شده است و از وب سایت هایی که ممکن است حاوی سخنان نفرت انگیز یا سایر رفتارهای سمی باشند اجتناب کند. منابع متنی بزرگ مانند Reddit گزارش شده است که در مجموعه آموزشی گنجانده نشده است، که منجر به خروجی “پاک تر” می شود.

تا آنجا که به داده های آموزشی GPT-4 مربوط می شود، OpenAI به ما گفته است که این مدل را با استفاده از داده های در دسترس عموم و داده هایی که مجوز داده است، آموزش داده است. در صفحه تحقیقاتی GPT-4 آمده است: «داده‌ها مجموعه‌ای از داده‌ها در مقیاس وب هستند که شامل راه‌حل‌های صحیح و نادرست برای مسائل ریاضی، استدلال ضعیف و قوی، گزاره‌های متناقض و منسجم، و نشان‌دهنده تنوع زیادی از ایدئولوژی‌ها و ایده‌ها است».

مقایسه Google PalM 2 با OpenAI GPT-4

هنگامی که از GPT-4 سؤالی پرسیده می شود، می تواند پاسخ های متنوعی را ایجاد کند، که ممکن است همه آنها به درخواست شما مرتبط نباشند. برای همسو کردن آن با هدف کاربر، OpenAI رفتار مدل را با استفاده از یادگیری تقویتی با بازخورد انسانی تنظیم کرد.

در حالی که ممکن است داده های آموزشی دقیقی را ندانیم که هر یک از این مدل ها آموزش داده شده اند، می دانیم که هدف آموزش بسیار متفاوت بود. باید منتظر بمانیم و ببینیم که چگونه این تفاوت در قصد آموزشی بین این دو مدل در یک استقرار در دنیای واقعی متمایز می شود.

گفته می‌شود، حجم بسیار زیاد داده‌های آموزشی مورد استفاده برای GPT-4 به این معنی است که وقتی صحبت از درک تفاوت‌های ظریف زبان می‌شود، دارای مزیت است و از نظر تئوری باید خروجی‌هایی با کیفیت بالاتر تولید کند. با این حال، این بدان معناست که OpenAI باید محدودیت‌های قوی‌تری برای جلوگیری از خراب شدن مدل اعمال کند، چیزی که گوگل می‌تواند از آن اجتناب کند، زیرا منابع بالقوه سمی را از داده‌های آموزشی حذف می‌کند.

ربات‌ها و سرویس‌های چت PalM 2 و GPT-4

اولین پرتالی که به هر دو LLM دسترسی پیدا می کند، از چت ربات های مربوطه آنها، Bard PalM 2 و ChatGPT GPT-4 استفاده می کند. همانطور که گفته شد، GPT-4 پشت یک دیوار پرداخت با ChatGPT Plus قرار دارد و کاربران رایگان فقط به GPT-3.5 دسترسی دارند. از سوی دیگر، Bard برای همه رایگان است و در 180 کشور در دسترس است.

این بدان معنا نیست که شما نمی توانید به صورت رایگان به GPT-4 نیز دسترسی داشته باشید. چت هوش مصنوعی بینگ مایکروسافت از GPT-4 استفاده می کند و کاملا رایگان، برای همه باز است و درست در کنار جستجوی بینگ، بزرگترین رقیب گوگل در فضا، در دسترس است.

Google I/O 2023 مملو از اعلان‌هایی بود درباره اینکه چگونه PalM 2 و ادغام هوش مصنوعی مولد تجربه Google Workspace را با ویژگی‌های هوش مصنوعی که در Google Docs، Sheets، Slides، Gmail و تقریباً هر سرویسی که غول جستجو ارائه می‌دهد، بهبود می‌بخشد. علاوه بر این، گوگل تأیید کرده است که PalM 2 قبلاً در بیش از 25 محصول Google از جمله اندروید و یوتیوب ادغام شده است.

در مقایسه، مایکروسافت قبلاً ویژگی های هوش مصنوعی را به مجموعه برنامه های Microsoft Office و بسیاری از خدمات آن آورده است. در حال حاضر، می‌توانید هر دو LLM را در نسخه‌های پیشنهادی مشابه دو شرکت رقیب که در نبرد هوش مصنوعی قرار دارند، تجربه کنید.

مقایسه Google PalM 2 با OpenAI GPT-4

با این حال، از آنجایی که GPT-4 خیلی زود منتشر شد و مراقب بود تا از بسیاری از اشتباهات گوگل با Bard اصلی جلوگیری کند، این LLM عملاً برای توسعه دهندگان شخص ثالث، استارت آپ ها و تقریباً هر کس دیگری که به دنبال ترکیب یک مدل هوش مصنوعی توانمند تا کنون در خدمت آنها بوده است. اگر می‌خواهید آن‌ها را بررسی کنید، فهرستی از برنامه‌های GPT-4 داریم.

این بدان معنا نیست که توسعه دهندگان به PaLM 2 تغییر نخواهند داد یا حداقل آن را امتحان نخواهند کرد، اما گوگل همچنان باید با OpenAI در این زمینه همکاری کند. این واقعیت که PaLM 2 منبع باز است، به جای قفل شدن در پشت یک API پولی، به این معنی است که پتانسیل آن را دارد که به طور گسترده تر از GPT-4 مورد استفاده قرار گیرد.

همه موارد در نظر گرفته شده، در حال حاضر، به نظر می‌رسد که بارد مجهز به پالم 2 انتخاب بهتری برای تحقیق باشد، زیرا در پاسخ به سوالات با اطلاعات مرتبط و دسترسی به آخرین اطلاعات در اینترنت در مورد هر موضوعی بهتر است. بر اساس آخرین به روز رسانی Bard که در 19 سپتامبر 2023 ارائه شد، Bard اکنون از “تواناترین مدل خود” با پشتیبانی از 40 زبان دیگر، کمک برنامه نویسی عمیق، توانایی ارائه دیدگاه های مختلف در مورد یک موضوع خاص و بهبودهای کلی کیفیت و دقت استفاده می کند.

همچنین می‌توانید پاسخ‌های بارد را با جستجوهای Google دوباره بررسی کنید. با این حال، در بخش عملکرد، این مدل در مقایسه با ChatGPT یا Bing Chat با GPT-4 برای ایجاد پاسخ بیشتر طول می کشد.

آیا PalM 2 می تواند در GPT-4 استفاده کند؟

PALM 2 هنوز بسیار جدید است، بنابراین پاسخ به اینکه آیا می تواند GPT-4 را بپذیرد یا نه، همچنان باید پاسخ داده شود. با این حال، با همه چیزهایی که گوگل وعده می دهد و روش تهاجمی که تصمیم گرفته است برای انتشار آن استفاده کند، به نظر می رسد که PalM 2 می تواند GPT-4 را برای پول خود به ارمغان بیاورد. با توسعه مداوم یک مدل هوش مصنوعی چندوجهی به نام جمینی توسط گوگل، زمان آن فرا رسیده است که OpenAI دست به کار شود.

با این حال، GPT-4 هنوز هم یک مدل کاملاً توانمند است و همانطور که قبلاً ذکر شد، در مقایسه‌های بسیار کمی از PaLM 2 پیشی می‌گیرد. گفته می‌شود، مدل‌های کوچک‌تر متعدد PalM 2 به آن مزیتی غیرقابل انکار می‌دهند. خود Gecko آنقدر سبک است که می تواند روی دستگاه های تلفن همراه کار کند، حتی در حالت آفلاین. این بدان معناست که PalM 2 می‌تواند از کلاس کاملاً متفاوتی از محصولات و دستگاه‌هایی پشتیبانی کند که ممکن است برای استفاده از GPT-4 مشکل داشته باشند.

مسابقه هوش مصنوعی در حال گرم شدن است

با راه اندازی PaLM2، رقابت برای تسلط بر هوش مصنوعی داغ شده است، زیرا این ممکن است اولین حریف شایسته ای باشد که به مصاف GPT-4 می رود. با یک مدل هوش مصنوعی چندوجهی جدیدتر به نام «جمینی» که در حال آموزش است، گوگل هیچ نشانه ای از کاهش سرعت در اینجا نشان نمی دهد.