){kind=link}
חוקרים Apple פיתחו מערכת בינה מלאכותית בשם ReALM (Reference Resolution as Language Modeling), שמטרתה לשפר באופן קיצוני את הדרך שבה עוזרי קול מבינים ומגיבים לפקודות.
במאמר מחקר Apple מתאר מסגרת חדשה לאופן שבו מודלים של שפות גדולים מטפלים בבעיית רזולוציית הפניות, הכוללת פענוח הפניות מעורפלות לאובייקטים על המסך, וכן הבנת הקשר שיח ורקע. כתוצאה מכך, ReALM יכולה להוביל לאינטראקציה אינטואיטיבית וטבעית יותר עם מכשירים.
זיהוי הפניות הוא חלק חשוב בהבנת השפה הטבעית, המאפשר למשתמשים להשתמש בכינויים והפניות עקיפות אחרות בשיחה ללא בלבול. עבור עוזרים דיגיטליים, יכולת זו הייתה היסטורית אתגר משמעותי, מוגבל על ידי הצורך לפרש מגוון רחב של אותות מילוליים ומידע חזותי. מערכת ReALM מ Apple שואפת לפתור בעיה זו על ידי הפיכת התהליך המורכב של זיהוי הפניות למשימת דוגמנות שפה טהורה. כך היא יכולה להבין את ההתייחסויות לאלמנטים החזותיים המוצגים על המסך ולשלב הבנה זו בזרימת השיחה.
ReALM משחזרת את המבנה החזותי של המסך באמצעות ייצוגי טקסט. זה כולל ניתוח אובייקטי מסך וסידורם ליצירת פורמט טקסט המשקף את התוכן והמבנה של המסך. חוקרים Apple מצא כי אסטרטגיה זו, בשילוב עם כוונון מיוחד של מודלים של שפה לבעיות ברזולוציית מדד, עולה בהרבה על השיטות המסורתיות, כולל יכולות ה-GPT-4 של OpenAI.
ReALM יכולה לאפשר למשתמשים ליצור אינטראקציה הרבה יותר יעילה עם עוזרים דיגיטליים בהתבסס על מה שמוצג כעת על המסך, ללא צורך בהנחיות מדויקות ומפורטות. זה יכול להפוך את העוזרות הקוליות להרבה יותר שימושיות במצבים שונים, כמו סיוע לנהגים לנווט במערכות מידע בידור בזמן נהיגה או סיוע למשתמשים עם מוגבלויות על ידי מתן אמצעים קלים ומדויקים יותר לאינטראקציה עקיפה.
Apple פרסמה כבר כמה מאמרי מחקר בתחום הבינה המלאכותית. בחודש שעבר חשפה החברה שיטה חדשה ללימוד מודלים של שפות גדולות המשלבת בצורה חלקה מידע טקסטואלי וחזותי. זה צפוי ש Apple יציג מספר תכונות AI בכנס WWDC ביוני.
קרא גם: