Llama 3.1 החדש של Meta: מגדיר מחדש את הגבולות ומציב סטנדרטים חדשים בעולם ה-LLMs

על סמך ההתרגשות בתעשייה, היה ברור שמודל ה-Llama 3.1 405B הוא מרשים, אך הוא לא זכה לתשומת לב מלאה עד לציוץ של אנדרי קרפתי. קרפתי, שזוכה להערכה רבה בקהילת ה-AI, ידוע ביצירת תוכן מעולה בנושא LLMs. כמייסד של OpenAI ובעל מומחיות בבטיחות AI, הוא דמות מפתח שכדאי לעקוב אחריה.

וואו, איזו התרשמות מרשימה! ללא ספק, יש ציפייה גדולה לשימוש במודל זה בפרויקטים עתידיים.

קיימים שלושה גדלים של מודלי Llama 3.1 המבוססים על טקסט בלבד, אך הדגש העיקרי יהיה על הגדול והטוב מביניהם: המודל עם 405 מיליארד פרמטרים. וכן, Meta לא הגזימה כשטענה שהוא מספק איכות דומה למודלי שפה מובילים כמו GPT-4.

ניתן לנסות את Llama 3.1 בחינם ב-https://huggingface.co/chat/

חשוב לציין שהקישור הזה מאפשר לקוראים לחוות באופן ישיר את יכולות המודל, מה שמוסיף ערך מעשי לכתבה. זו הזדמנות מצוינת עבור מתעניינים בתחום לבחון בעצמם את הטכנולוגיה החדשנית הזו.

השוואות בנצ'מרק

הנה סקירה מהירה של השוואה במדדי ביצועים מסורתיים בין Llama 3.1 405B לבין GPT-4, GPT-4o, ו-Claude 3.5 Sonnet, כפי שננסה לשכנע בהמשך.

נראה שמדדי הביצועים האלה לא באמת מצליחים לתפוס את ההבדלים המעודנים בין המודלים, אבל הם בהחלט מראים שהמודל ה"פתוח" החדש הזה מ-Meta עומד בשורה אחת, אם לא עולה על, GPT-4. אמנם, עדיין אין לו את כל היכולות המתקדמות של קלט ופלט קולי כמו ל-GPT-4 Omni, אך טכנית גם אין לנו גישה לתכונות אלה עבור המודל הזה עדיין.

הטענה ל"קוד פתוח"

Meta מתגאה ב"קוד פתוח" של Llama 3.1, אבל יש כאן כמה סימני שאלה. לפי ההגדרה הרשמית, AI בקוד פתוח צריך לכלול מידע מלא על מקורות הנתונים לאימון. אבל Meta רק מציינת "מגוון מקורות מידע" – זה לא ממש עומד בסטנדרט.

למה זה חשוב? כי גם אם למישהו היה את התקציב, הוא לא יוכל לשחזר את Llama 3.1 במדויק. זה מעלה שאלות לגבי המחויבות האמיתית של Meta ל-AI בקוד פתוח.

אגב, לפי הניו יורק טיימס, השגת נתונים לאימון LLM נהיית קשה יותר. חברות כמו Reddit וטוויטר מתחילות לגבות תשלום על הנתונים שלהן, מה שעשוי להסביר את חוסר השקיפות של Meta.

AI משפר AI

נושא מרכזי במאמר הוא השימוש במודלי שפה לשיפור מודלי שפה אחרים. למשל, Llama 2 שימש לסינון נתונים עבור Llama 3. זה רק דוגמה אחת מתוך רבות.

Meta פיתחה גם מודל מומחה לקוד כדי למצוא את ההערות האנושיות האיכותיות ביותר, ומודל מומחה רב-לשוני לאיסוף הערות איכותיות בשפות שאינן אנגלית.

מעניין במיוחד: Meta מאפשרת כעת להשתמש ב-Llama 3.1 ליצירת נתונים סינתטיים לשיפור ואימון של מודלים קטנים יותר. זה פותח אפשרויות חדשות למפתחים.

חוקי הסקאלה לביצועים

חלק מרתק במאמר מתאר איך Meta פיתחה חוקי סקאלה לא רק לחיזוי המילה הבאה, אלא גם לביצועי בנצ'מרק. במילים פשוטות, הם יכולים לחזות כמה זמן יקח לאמן את המודל כדי להשיג את הביצועים הרצויים.

זה מראה על ביטחון גובר של Meta בשיטות שלה, והם אפילו הצליחו לחזות במדויק את ביצועי המודל הסופי, עם הערכת חסר קלה בלבד.

הכתבה הזו מספקת הצצה מרתקת לעולם המתפתח של מודלי שפה גדולים, ומדגישה את המורכבות והאתגרים בפיתוח טכנולוגיות AI מתקדמות.

חשיבה ומתמטיקה

Meta פיתחה שיטות מתקדמות לזיהוי ויצירת צעדי חשיבה נכונים במטרה לשפר את יכולות החשיבה והמתמטיקה של המודל מה שמעלה שאלות מרתקות על הגדרת "חשיבה" במכונות

יכולות הקשר ארוך

Llama 405B מציג ביצועים מרשימים עם הקשר של 128000 טוקנים שזה בערך כמו 200 עמודים ומצליח לענות על שאלות מורכבות שדורשות סריקה של כל הטקסט הארוך הזה מה שפותח אפשרויות חדשות לעיבוד טקסטים ארוכים

שיפורי בטיחות ופגיעויות

שיעור ההפרות ירד משמעותית ב-Llama 3 בהשוואה למתחרים אבל עדיין יש פגיעות להזרקת פרומפטים מה שמדגיש את האתגרים המתמשכים בפיתוח AI בטוח ואמין

יכולות ראייה דיבור ווידאו

למרות שעדיין לא זמינות Meta מבטיחה יכולות מרשימות בתחומים אלה במיוחד בזיהוי דיבור מה שמרמז על עתיד מרגש של אינטראקציות מולטימודליות עם AI

Llama 3.1 מסמן קפיצת מדרגה בעולם ה-AI ומעורר סקרנות רבה לגבי ההתפתחויות הבאות בתחום המתפתח במהירות הזה

סיכום: המרוץ לAI המתקדם ביותר מתחמם

Llama 3.1 של Meta מסמן נקודת מפנה בעולם הבינה המלאכותית עם יכולות שמתחרות ואף עולות על מודלים מובילים כמו GPT-4 המודל מציג התקדמות מרשימה בהבנת הקשר ארוך עיבוד שפה טבעית וחשיבה מתמטית

למרות הטענות ל"קוד פתוח" עולות שאלות לגבי שקיפות מלאה בתהליך הפיתוח מה שמדגיש את המתח המתמיד בין חדשנות לנגישות בתעשייה

האתגרים הטכניים והאתיים שMeta התמודדה איתם מספקים תובנות מרתקות על העתיד של פיתוח AI בקנה מידה גדול השיפורים בבטיחות לצד הפגיעויות שעדיין קיימות מדגישים את הצורך בפיתוח אחראי ומאוזן

עם הבטחות ליכולות ראייה דיבור ווידאו בעתיד Llama 3.1 מציב רף חדש למה שאפשרי בAI פתוח ומעורר ציפייה רבה להתפתחויות הבאות בתחום המתפתח במהירות הזה