צוות מאוניברסיטת טוקיו חשף את Alter3, רובוט דמוי אדם שיכול לבצע תנועות באמצעות מודל השפה הגדולה GPT-4 (LLM). Alter3 משתמש בכלי העדכני ביותר פתח AI לעלות באופן דינמי על תנוחות שונות, מתנוחת סלפי וכלה ברוח רפאים, והכל ללא צורך בערכים מתוכנתים מראש של מסד הנתונים.
"התגובה של Alter3 לתוכן שיחה באמצעות הבעות פנים ומחוות היא התקדמות משמעותית ברובוטיקה דמוית אדם, הניתנת להתאמה בקלות לאנדרואידים אחרים במינימום שינויים", אמרו החוקרים.
בתחום אינטגרציה של LLM עם רובוטים, ההתמקדות היא בשיפור התקשורת הבסיסית ובניית מודלים של תגובות מציאותיות. החוקרים גם מתעמקים ביכולות של LLM כדי לאפשר לרובוטים להבין ולבצע הוראות מורכבות, ובכך להגדיל את הפונקציונליות שלהם.
באופן מסורתי, ניהול ברמה נמוכה עובד קשור לחומרה ונמצא מחוץ לתחום של תאגידי LLM. זה יוצר קשיים בניהול ישיר של עבודות מבוססות LLM. כדי לפתור בעיה זו, הצוות היפני פיתח שיטה להמרת ביטויים של תנועות אנושיות לקוד מובן עבור אנדרואיד. המשמעות היא שהרובוט יכול ליצור באופן עצמאי רצפים של פעולות לאורך זמן ללא צורך במפתחים לתכנת כל חלק בגוף בנפרד.
במהלך האינטראקציה, אדם יכול לתת פקודות ל-Alter3 כגון "צלם סלפי עם האייפון שלך". לאחר מכן, הרובוט יוזם סדרה של בקשות ל-GPT-4 כדי לקבל הדרכה לגבי השלבים הדרושים. GPT-4 יתרגם זאת לקוד Python המאפשר לעבודה "להבין" ולבצע את התנועות הדרושות. חידוש זה מאפשר ל-Alter3 להזיז את פלג גופו העליון בעוד פלג גופו התחתון נשאר נייח, מחובר למעמד.
Alter3 הוא האיטרציה השלישית בסדרת רובוטים דמויי אדם מאז 2016 של אלטר, המתגאה ב-43 מפעילים האחראים על הבעות פנים ותנועות גפיים המופעלות על ידי אוויר דחוס. תצורה זו מספקת מגוון רחב של מחוות אקספרסיביות. הרובוט לא יכול ללכת, אבל הוא יכול לחקות תנועות הליכה וריצה טיפוסיות.
Alter3 גם הדגים את היכולת להעתיק תנוחות אנושיות באמצעות המצלמה ומסגרת OpenPose. הרובוט מתאים את מפרקיו לתנוחות הנצפות ושומר חיקויים מוצלחים לשימוש מאוחר יותר. אינטראקציה עם אדם הובילה לתנוחות מגוונות יותר, ותומכות ברעיון שתנועות שונות נובעות מחיקוי של האדם, בדומה לאופן שבו יילודים לומדים באמצעות חיקוי.
לפני ה-LLM, החוקרים היו צריכים לשלוט בקפידה בכל 43 המפעילים כדי לשחזר את הפוזה של אדם או לדמות התנהגות, כמו הגשת תה או משחק שח. זה הצריך התאמות ידניות רבות, אבל AI עזר לשחרר את הצוות מהשגרה הזו. "אנו מצפים מ-Alter3 לעסוק ביעילות בדיאלוג על ידי הצגת הבעות פנים ומחוות הרלוונטיות להקשר. זה הוכיח את היכולת לשקף רגשות, למשל, להראות עצב או אושר בתגובה, ובכך לחלוק איתנו רגשות", אומרים החוקרים.
קרא גם: