Phi מודל בינה מלאכותית מאת Microsoft - קטן, זול ואינו סובל מ"הזיות". זה מה שהם אומרים על מודל השפה החדש, שצפוי לו עתיד גדול.
GPT הוא בהחלט נהדר, אבל יחד עם זאת, זה נורא יקר, וזה לא יכול להיות מושלם עבור כולם. מסיבות אלו ועוד רבות אחרות Microsoft מתנסה בדגמי AI קטנים בהרבה. אומרים ש-Phi-3-mini אפילו מביישת את עבודתם של מהנדסי OpenAI.
מעניין גם: טרנזיסטורים של העתיד: עידן חדש של שבבים מחכה לנו
ChatGPT אינו תרופת פלא
ChatGPT היא המצאה שממומנת, אוצרת ומשופרת Microsoft. למעשה, זה לא שייך Microsoft, וחברת OpenAI, אשר Microsoft אינה מחזיקה (היא המשקיעה המובילה, אם כי לא הגדולה ביותר). מודל השפה GPT נתן Microsoft יתרון ענק על פני שאר תאגידי הטכנולוגיה הגדולים שממהרים כעת להדביק את הפער. עם זאת, יש מספר עצום של בעיות עם GPT, שרבות מהן עדיין לא ניתנות לפתרון.
קודם כל, זהו מודל שפה עתיר משאבים. מונחה אינטרנט Microsoft Copilot או ChatGPT של OpenAI מייצרים עלויות תפעול גבוהות מאוד עבור Microsoft. זוהי תכונה לא רק של GPT, אלא גם של כל דגמי השפה העיקריים. בנוסף, GPT, כמו מתחרותיה, נוטה ל"הזיות", כלומר, היא יכולה ליצור תגובות לשאילתות המכילות מידע שקרי או מטעה. ככל שמודל כזה סופג יותר נתונים, כך הוא נוטה לייצר תוכן דומה. לכן, הזיות והצהרות שווא אינן מיתוס שנשאב מאצבע דיגיטלית. משתמשים מציינים לעתים קרובות כי מודלים של שפות גדולים לעתים קרובות עושים טעויות, נותנים נתונים לא מדויקים ופועלים על פי עובדות שאינן קיימות.
שתי הבעיות חמורות מאוד, וזו הסיבה ש-OpenAI, Microsoft, Meta, Google ואחרות עובדות על פיתוח לא רק של טכנולוגיית Large Language Model, אלא גם של Small Language Model, שבפועל יכול להניב תוצאות טובות בהרבה.
עוזר רואה חשבון דיגיטלי לא צריך לדעת הרבה על פיזיקת קוונטים. זה יכול להיות הרבה יותר קטן ופחות מורכב (ולכן זול יותר), ועל ידי אימון רק על הנתונים הדרושים למטרה שלו, אמור להזות פחות תיאורטית. למרות שזה קל יותר לומר מאשר לעשות. טכנולוגיית GenAI היא עדיין מיזם IT פרוע. ולמרות שהעבודה מתקדמת בקצב חסר תקדים, עדיין קשה לבצע פריצות דרך מעשית בנושאים מהותיים. אבל החברה Microsoft הכריז לאחרונה על פריצת דרך כזו. אנחנו מדברים על מודל שפה קטן Microsoft פי.
מעניין גם: כיצד טייוואן, סין וארה"ב נלחמות על דומיננטיות טכנולוגית: מלחמת השבבים הגדולה
מה ידוע על Microsoft Phi
קודם כל יש לציין שהניסוי נערך ללא השתתפות חברת OpenAI. כלומר, מדובר בפיתוח של מהנדסים Microsoft.
דגמים Microsoft Phi היא סדרה של דגמי שפה קטנים (SLMs) המשיגים תוצאות יוצאות דופן במגוון מבחנים. לדגם הראשון, Phi-1, היו 1,3 מיליארד פרמטרים והשיג את תוצאות קידוד Python הטובות ביותר מבין SLMs קיימים.
לאחר מכן התמקדו המפתחים בהבנת שפה וחשיבה, ויצרו את מודל ה-Phi-1.5, שהיה לו גם 1,3 מיליארד פרמטרים והציג ביצועים דומים למודלים עם פי חמישה מהפרמטרים.
Phi-2 הוא מודל של 2,7 מיליארד פרמטרים המדגים יכולות חשיבה והבנת שפה יוצאות דופן, ביצועים ברמה של מודלים בסיסיים הטובים ביותר עם 13 מיליארד פרמטרים. Phi-2 בולט מדגמים אחרים בשל החידושים שלו בקנה מידה של מודלים והדרכה לאיסוף נתונים.
הוא זמין בקטלוג הדגמים של Azure AI Studio, המאפשר מחקר ופיתוח בתחום מודלים של שפה. Phi-2 הושק בדצמבר 2023. המפתחים מבטיחים שזה עובד טוב כמו Mistral או llama 2 מ-Meta. ו-Phi-3 עובד אפילו טוב יותר מהגרסה הקודמת.
עם זאת, דגם ה-Phi-3 שהוכרז זה עתה הוא חדש לחלוטין באיכותו. לפחות זה מה שאתה יכול לשפוט לפי המידע שסופק Microsoft. לדברי החברה, לפי האינדיקטורים של כל המדדים המוכרים, ה-Phi-3 מתפקד טוב יותר מכל דגם אחר בגודל דומה, כולל ניתוח שפה, עבודת תכנות או עבודה מתמטית.
ה-Phi-3-mini, הגרסה הקטנה ביותר של דגם זה, הפכה זה עתה לזמינה לכל המתעניינים. כלומר, הוא זמין מאז ה-23 באפריל. ל-Phi-3-mini יש 3,8 מיליארד פרמטרים, ולפי מדידות Microsoft, יעיל פי שניים מכל דגם אחר באותו גודל. ניתן למצוא אותו בקטלוג דגמי הבינה המלאכותית של שירות הענן Microsoft Azure, פלטפורמת מודל למידת המכונה Hugging Face, ו- Ollama, מסגרת להפעלת מודלים במכונה מקומית.
כפי שהוא טוען Microsoft, Phi-3-mini אינו דורש שבבים חזקים Nvidia. הדגם יכול לעבוד על שבבי מחשב רגילים. או להתאים אפילו בטלפון שאינו מחובר לאינטרנט.
פחות כוח גם אומר שהדגמים לא יהיו מדויקים כל כך. Phi-3 לא יתאים לרופאים או לחשבי מס, אבל יעזור במשימות פשוטות יותר. למשל למיקוד פרסום או סיכום ביקורות באינטרנט.
מכיוון שהדגמים הקטנים יותר דורשים פחות עיבוד, הם יהיו זולים יותר לשימוש של חברות פרטיות. זה בפנים Microsoft יהיו יותר לקוחות שירצו לערב בינה מלאכותית בעבודתם, אך יחשבו שזה יקר מדי. עם זאת, עדיין לא ברור כמה הם יעלו.
עדיין לא ידוע מתי יופיעו הדגמים הקטנים והבינוניים. אבל האחרון יהיה חזק יותר ויקר יותר. למרות שכבר ידוע של-Phi-3-small יהיו 7 מיליארד פרמטרים, ול-Phi-3-medium יהיו עד 14 מיליארד פרמטרים.
קרא גם:
כיצד להשתמש ב-Phi-3-mini?
GPT-4 Turbo דורש שבבי AI חזקים, שעדיין יקרים מאוד. דגם הדיבור הקטן Phi-3 יכול לעבוד במצב לא מקוון, ללא הענן, אפילו עם שבב בטלפון נייד.
Phi-3 אינו מוצר למשתמשי קצה, אלא טכנולוגיה שמפתחים יוכלו להשתמש בה ולהטמיע באפליקציות שלהם – הן מבוססות ענן, כלומר ממוקמות מרחוק, והן כאלו שעובדות באופן מקומי והן לא מקוון. הוא צפוי לעבוד בצורה חלקה עם מכשירים ורכיביהם, כגון טלפונים ניידים, מכוניות ומערכות המידע והבידור שלהם, או אפילו חיישני IoT. בתרחישים מסוימים, טכנולוגיה זו יכולה להיות בעלת ערך רב.
Microsoft אפילו נותן דוגמה קונקרטית כדי שלא נצטרך לאמץ את דמיוננו. תארו לעצמכם חקלאי בודק את היבול שלו ורואה סימני מחלה על העלים, הגבעולים והענפים. בהיותו רחוק מתרני תקשורת, הוא יצטרך רק להוציא את הטלפון שלו, לצלם את הנזק, להכניס אותו לאפליקציה המשתמשת בטכנולוגיית Phi-3 - והדוגמנית תנתח במהירות ובאופן לא מקוון את התמונה ותיתן עצות לגבי איך בדיוק להילחם במחלה הזו.
כפי שהוא מסביר Microsoft, המפתח להצלחה של GPT היה להסתמך על כמויות אדירות של נתונים לאימון. עם מערכי נתונים כה גדולים, איכות נתונים גבוהה אינה באה בחשבון. בינתיים, בעת אימון מודל Phi, נעשה שימוש בגישת OpenAI ההפוכה בדיוק. במקום לדחוס את המודל במידע, ההתמקדות הייתה בלמידה מצטברת ויסודית.
במקום להשתמש בנתוני אינטרנט גולמיים, חוקרים Microsoft יצר את מערך הנתונים של TinyStories, שיצר מיליוני סיפורי "תינוקות" מיניאטוריים. הסיפורים האלה שימשו לאימון מודלים של שפות קטנות מאוד. לאחר מכן החוקרים הלכו רחוק יותר על ידי יצירת מערך הנתונים CodeTextbook, שהשתמש בנתונים שנבחרו בקפידה, זמינים לציבור, שסוננו לפי ערך חינוכי ואיכות תוכן. לאחר מכן, נתונים אלה סוננו מספר פעמים והוחזרו למודל שפה גדול (LLM) לסינתזה נוספת.
כל זה איפשר ליצור מערך נתונים מספיק כדי להכשיר SLM מסוגל יותר. בנוסף, נעשה שימוש בגישה רב-שכבתית לניהול והפחתת סיכונים בפיתוח מודל ה-Phi-3, כולל הערכה, בדיקות והתאמות ידניות. כתוצאה מכך, כפי שהוא טוען Microsoft, מפתחים המשתמשים במשפחת הדגמים Phi-3 יכולים לנצל את ערכת הכלים הזמינה ב-Azure AI כדי לבנות יישומים מאובטחים ואמינים יותר.
קרא גם: טלפורטציה מנקודת מבט מדעית ועתידו
Microsoft האם Phi יחליף דגמים מסוג ChatGPT?
בכלל לא. למודלים של שפות קטנות (SLMs), גם כשהם מאומנים על נתונים באיכות גבוהה, יש מגבלות ואינם מיועדים ללמידה עמוקה. מודלים של שפות גדולות (LLMs) עולות על SLMs בהיגיון מורכב בשל גודלם וכוח החישוב שלהם. לימודי LLM הם, וימשיכו להיות, שימושיים במיוחד בתחומים כמו גילוי תרופות, שבהם יש לחפש באוספים עצומים של מאמרים מדעיים ולנתח דפוסים מורכבים. מצד שני, SLM יכול לשמש למשימות פשוטות יותר, כמו סיכום הנקודות העיקריות של מסמך טקסט ארוך, יצירת תוכן או הפעלת צ'אטבוטים של שירות לקוחות.
Microsoft, היא אמרה, כבר משתמשת במערכות מודל היברידיות באופן פנימי, כאשר LLM לוקחת את ההובלה, ומכוונת שאילתות מסוימות הדורשות פחות כוח מחשוב ל-SLM בזמן שהיא מטפלת בשאילתות אחרות ומורכבות יותר בעצמה. Phi ממוקם עבור מחשוב במכשירים, ללא שימוש בענן. עם זאת, עדיין יהיה פער בין מודלים של שפות קטנות לרמת האינטליגנציה שניתן להשיג עם מודלים גדולים בענן. הפער הזה, הודות להמשך הפיתוח של ה-LLM, לא צפוי להיעלם בקרוב.
Phi-3 טרם אומתה על ידי גורמים בלתי תלויים חיצוניים. Microsoft לפעמים מדבר על יעילות גבוהה פי 25 או יעילות אנרגטית במקרים קיצוניים, בהשוואה למתחרים, מה שנשמע די מדהים. אמנם, מצד שני, אי אפשר לשכוח שחלפו השנים הללו Microsoft נגמל אותנו קצת מהעובדה שהיא מובילה ברורה בחידושי IT, ואולי בגלל זה אנחנו לא באמת מאמינים בזה. תוכניות מבוססות בינה מלאכותית המגיבות באופן מיידי ופועלות במצב לא מקוון במקום לייצר? זה יהיה שיא ראוי של המהפכה הנוכחית. למרבה הצער, יש בעיה מרכזית אחת.
קרא גם: הכל על שבב Neuralink Telepathy: מה זה ואיך הוא עובד
פי-3 מ Microsoft מבין רק אנגלית
פי-3 לא זלל את הפטאבייטים שנזרקו עליו בהמוניהם. אימון קפדני ומדוקדק של המודל כרוך בבעיה קטנה אחת. Phi-3 עבר הכשרה עם מידע באנגלית ואין לו עדיין מושג בשום שפה אחרת. לא רק אוקראינית, אלא גם גרמנית, ספרדית, צרפתית או סינית. כמובן, זה מקטין מאוד את המשיכה שלו לרוב המשתמשים ברחבי העולם.
אבל ב Microsoft מובטח שהעבודה על פיתוחו ושיפורו מתבצעת. למרות שאתה לא צריך לרמות את עצמך בעובדה שהשוק האוקראיני הוא בראש סדר העדיפויות של כל אחד מהתאגידים הגדולים. לכן, נצטרך לחכות זמן רב מאוד לתמיכה בשפה האוקראינית. אבל עובדה זו מעולם לא עצרה את החובבים ואת אלה שרוצים לעקוב אחר ההתקדמות.
קרא גם: