Meta Platforms באירוע Meta Connect השנתי בקליפורניה מוצג מספר תכונות AI חדשות עבור היישומים הפופולריים שלה Facebook, Instagram ו-WhatsApp, אבל החידוש המרשים ביותר של ענקית הטכנולוגיה אולי נעלם מעיני רבים. אנחנו מדברים על דגם Llama 2 Long AI.
צוות חוקרים מחברת Meta פרסם איכשהו בשקט מאמר בו הציגו מודל חדש של בינה מלאכותית, Llama 2 Long, המסוגל לייצר תשובות קוהרנטיות ורלוונטיות לשאילתות משתמשים ארוכות. לכל היותר, הם אומרים, הוא עולה על כמה מהמתחרים הטובים בענף.
Lama 2 Long הוא הרחבה לאמה 2, מודל AI בקוד פתוח Meta שיצא במהלך הקיץ, שיכול ללמוד ממגוון מקורות נתונים ולבצע מגוון משימות כמו קידוד, מתמטיקה, הבנת שפה ועוד. עם זאת, Llama 2 Long הוכשר על יותר נתונים המכילים טקסטים ארוכים יותר, ואלגוריתם זה שונה כדי לטפל ברצפים ארוכים יותר של מידע. זה מאפשר לה להתעלות על ה-GPT-3.5 Turbo ו-Claude 2 של OpenAI, שיש להם מגבלות על כמות ההקשר שבהם הם יכולים להשתמש כדי ליצור תגובות.
חוקרים meta השתמשו בגרסאות שונות של Llama 2 - מ-7 מיליארד עד 70 מיליארד פרמטרים, כלומר ערכים שמודל הבינה המלאכותית יכול לשנות על ידי למידה מהנתונים. הם הוסיפו עוד 400 מיליארד אסימונים (יחידות טקסט) של נתונים שהכילו טקסטים ארוכים יותר ממערך הנתונים המקורי של המודל. הם גם שינו מעט את הארכיטקטורה של מודל הבינה המלאכותית באמצעות טכניקת הטבעה מיקוםית רוטרית (RoPE) כך שהמודל יוכל ליצור תשובות מדויקות ושימושיות תוך שימוש בפחות מידע וזיכרון משיטות אחרות.
הצוות השתמש בלימוד חיזוק ממשוב אנושי (RLHF), שיטה שבה מודל הבינה המלאכותית מתוגמל עבור תשובות נכונות ומתוקן על ידי מדורגים אנושיים, ונתונים סינתטיים נוצרים על ידי הצ'אט Llama 2 עצמו. כדי לשפר את הביצועים שלו במשימות שונות .
העיתון טוען כי המודל יכול לייצר תגובות באיכות גבוהה להנחיות משתמשים באורך של עד 200 תווים, שווה ערך לכ-40 עמודי טקסט. החוקרים אומרים ש-Llama 2 Long הוא צעד לקראת יצירת מודלים כלליים ורב-תכליתיים יותר של AI שיכולים לענות על הצרכים המורכבים והמגוונים של המשתמשים. הם גם מכירים בהשלכות האתיות והחברתיות הפוטנציאליות של מודלים כאלה וקוראים להמשך מחקר ודיאלוג כיצד להשתמש בהם בצורה אחראית ומועילה.
קרא גם: