חוקרים מאדובי והאוניברסיטה הלאומית של אוסטרליה פיתחו אלגוריתם הממיר תמונות דו מימדיות למודלים תלת מימדיים תוך 5 שניות בלבד. פריצת דרך זו מבטיחה לחולל מהפכה ביצירת תוכן בעיצוב ובבידור, אם כי היזהרו מבעיות אפשריות עם טקסטורות מטושטשות והפרת זכויות יוצרים.
האלגוריתם החדש, הנקרא Large Reconstruction Model (LRM), הפך להתקדמות משמעותית ביצירה המהירה של מודלים תלת מימדיים המבוססים על תמונה אחת. האלגוריתם, שאומן על מערך נתונים גדול של כמיליון אובייקטים תלת-ממדיים הזמינים במסדי הנתונים Objaverse ו-MVImgNet, הפגין יכולת הכללה יוצאת דופן בעבודה עם מגוון תמונות ליצירת תוכן תלת-ממדי.
שלא כמו מודלים קודמים שהוכשרו על מערכי נתונים מוגבלים עם התמקדות בקטגוריה אחת של תמונות, LRM משתמש בארכיטקטורה טרנספורמטיבית שהפכה לבסיס לפיתוחים רבים בלמידה עמוקה, עם 500 מיליון פרמטרים. זה מאפשר למודל הבינה המלאכותית לעבוד ביעילות עם מגוון סוגי תמונות, כולל תמונות בעולם האמיתי וקולאז'ים חזותיים שנוצרו על ידי שירותי בינה מלאכותית אחרים כגון DALL-E ו- Stable Diffusion.
Yitzong Hong, המחבר הראשי של המחקר, הדגיש כי LRM מהווה פריצת דרך משמעותית בתחום השחזור התלת מימדי. האלגוריתם מסוגל לשחזר גיאומטריה מפורטת וטקסטורות מורכבות, למשל, טקסטורה של עץ, תוך שמירה על איכות ודיוק.
היישום של LRM יכול להפוך למסיבי באמת, מעיצוב ובידור ועד לתעשיית המשחקים. עבור מעצבים ואמני תלת מימד המשמעות היא זירוז תהליך יצירת המודלים, דבר שחשוב במיוחד בעת פיתוח משחקי וידאו ואנימציה. בנוסף, האפשרות להשתמש ב-LRM על ידי משתמשים רגילים מבטיחה להפוך את המודלים התלת מימדיים לזכותם של לא רק אנשי מקצוע. כעת ניתן יהיה ליצור דגמים מפורטים גם מתמונות שצולמו בסמארטפון.
עם זאת, ל-LRM יש מגבלות, כגון טשטוש מרקמים באזורים נסתרים בתמונה. כדאי גם לשקול סוגיות של זכויות יוצרים, במיוחד בהקשר של שימוש בתמונות שנוצרו על ידי שירותי AI אחרים. כדי להדגים את היכולות של LRM, חוקרי Adobe יצרו עמוד עם הדגמות וידאו ודגמי תלת מימד אינטראקטיביים. זה מדגיש את התפקיד ההולך וגדל של AI בעולם של היום ואת השפעתו הפוטנציאלית על עתיד התעשיות היצירתיות.
קרא גם: