ביום שישי, חוקרים מ NVIDIA הכריזה על Magic3D - מודל בינה מלאכותית שיכול ליצור מודלים תלת מימדיים מתיאורים טקסטואליים. לאחר הזנת רמז, כגון "צפרדע כחולה רעלת חיצים יושבת על שושן מים", Magic3D מייצר מודל רשת תלת מימד עם מרקם צבע תוך כ-3 דקות. עם שינויים, המודל המתקבל יכול לשמש במשחקי וידאו או סצנות אמנות בפורמט CGI.
במאמרו המדעי NVIDIA רואה ב-Magic3D תגובה ל-DreamFusion, מודל הטקסט לתלת-ממד עליו הכריזו חוקרי גוגל בספטמבר. בדיוק כפי ש-DreamFusion משתמשת במודל טקסט לתמונה כדי ליצור תמונה דו-ממדית אשר לאחר מכן עוברת אופטימיזציה לנתוני NeRF (שדה קרינה עצבית), Magic3D משתמשת בתהליך דו-שלבי שלוקח מודל גס שנוצר ברזולוציה נמוכה וממטב אותו רזולוציה גבוהה יותר. על פי מחברי המאמר, שיטת Magic2D המתקבלת יכולה ליצור אובייקטים תלת מימדיים מהר פי שניים מ-DreamFusion.
Magic3D יכול גם לבצע עריכה תוך כדי תנועה של רשתות תלת מימדיות. עם מודל תלת מימד ברזולוציה נמוכה והסבר כלים בסיסי, אתה יכול לשנות את הטקסט כדי לשנות את המודל שהתקבל. Magic3D גם מדגים את שימורה של אותה עלילה לאורך מספר דורות (מושג שנקרא לרוב קוהרנטיות) ויישום של סגנון תמונה דו-ממדי (כגון ציור קוביסטי) על מודל תלת-ממדי.
NVIDIA לא פרסמה שום קוד של Magic3D עם עבודת המחקר שלה.
היכולת ליצור תלת מימד מטקסט נראית התפתחות טבעית במודלים של דיפוזיה מודרניים, המשתמשים ברשתות עצביות כדי לסנתז תוכן חדש לאחר אימון אינטנסיבי על מערך נתונים. רק בשנת 3 ראינו את הופעתם של מודלים רבי עוצמה של טקסט לתמונה כמו DALL-E ו- Stable Diffusion, כמו גם מחוללי טקסט לווידאו ראשוניים מגוגל ומטה.
באשר ל-Magic3D, החוקרים שמאחוריו מקווים שהוא יאפשר לכל אחד ליצור מודלים תלת מימדיים ללא צורך בהכשרה מיוחדת. לאחר עידון, הטכנולוגיה המתקבלת יכולה להאיץ את פיתוח משחקי הווידאו (והמציאות המדומה), ובסופו של דבר עשויה למצוא שימוש באפקטים מיוחדים לקולנוע ולטלוויזיה. בסוף המאמר שלהם, הם כותבים: "אנו מקווים שעם Magic3D נוכל לעשות דמוקרטיזציה של סינתזה תלת-ממדית ולשחרר את הפוטנציאל היצירתי של כולם ביצירת תוכן תלת-ממדי."
אתה יכול לעזור לאוקראינה להילחם נגד הפולשים הרוסים. הדרך הטובה ביותר לעשות זאת היא לתרום כספים לכוחות המזוינים של אוקראינה באמצעות הצלת חיים או דרך העמוד הרשמי NBU.
קרא גם: