Η τεχνητή νοημοσύνη Neuralangelo της NVIDIA δημιουργεί 3D μοντέλα από τα βίντεο που τραβάμε με το κινητό μας

3 Ιουνίου, 2023

Η NVIDIA παρουσίασε ένα νέο μοντέλο τεχνητής νοημοσύνης με την ονομασία Neuralangelo που μπορεί να δημιουργήσει τρισδιάστατα αντίγραφα αντικειμένων από βίντεο 2D, είτε πρόκειται για κλασικά γλυπτά είτε για συνηθισμένα αντικείμενα ή φορτηγά και κτίρια.
Το Neuralangelo λειτουργεί επιλέγοντας διάφορα καρέ που δείχνουν το αντικείμενο από διαφορετικές γωνίες σε ένα 2D βίντεο, ώστε να μπορεί να έχει μια σαφή εικόνα του βάθους, του μεγέθους και του σχήματός του. Στη συνέχεια, δημιουργεί μια πρόχειρη τρισδιάστατη αναπαράσταση του αντικειμένου πριν τη βελτιστοποιήσει ώστε να μιμείται τις λεπτομέρειες του πραγματικού αντικειμένου.

Σύμφωνα με την εταιρεία, το νέο μοντέλο έχει υιοθετήσει την τεχνολογία από το παλιό της μοντέλο, το Instant NeRF, για να μπορεί να καταγράφει με ακρίβεια τις λεπτομέρειες οποιουδήποτε αντικειμένου θέλει ο χρήστης να αναπαραστήσει σε 3D. Αυτές περιλαμβάνουν την υφή, τα μοτίβα και τις χρωματικές παραλλαγές του. Η NVIDIA λέει ότι η ικανότητα του Neuralangelo να συλλαμβάνει δύσκολες υφές, όπως η τραχύτητα σε υλικά όπως το κεραμίδι μια στέγης ή η ομαλότητα του μαρμάρου, “ξεπερνά σημαντικά τις προηγούμενες μεθόδους”.

Φυσικά το σύστημα μπορεί να δημιουργήσει αντικείμενα και από βίντεο που λαμβάνεται από ένα smartphone, γεγονός που θα μπορούσε να δώσει στους δημιουργούς έναν εύκολο τρόπο για τη δημιουργία τρισδιάστατων αναπαραστάσεων για τα έργα τους. Εντυπωσιακή είναι και η ταχύτητα με την οποία λειτουργεί καθώς η NVIDIA Research μας είπε ότι το εργαλείο μπορεί να δημιουργήσει τα τρισδιάστατα αντικείμενα μέσα σε δύο ώρες.

Ο Ming-Yu Liu, συν-δημιουργός του Neuralangelo, δήλωσε ότι “τελικά θα επιτρέψει στους προγραμματιστές να εισάγουν λεπτομερή αντικείμενα – είτε πρόκειται για μικρά αγάλματα είτε για τεράστια κτίρια – σε εικονικά περιβάλλοντα για βιντεοπαιχνίδια ή βιομηχανική χρήση”. Στο  βίντεο που δείχνει τι μπορεί να κάνει η τεχνολογία, η NVIDIA δήλωσε ότι μπορεί να δημιουργήσει προοπτικές μεγάλης κλίμακας με την χρήση ενός drone, διευκολύνοντας τους προγραμματιστές να αναδημιουργήσουν πραγματικές τοποθεσίες στα παιχνίδια τους. Έχει επίσης πολλές άλλες πιθανές εφαρμογές, όπως στη ρομποτική, στις εμπειρίες εικονικής πραγματικότητας, στην αρχιτεκτονική και, φυσικά, στην τέχνη.

Ο ερευνητικός βραχίονας της εταιρείας θα παρουσιάσει το Neuralangelo στην εκδήλωση Conference on Computer Vision and Pattern Recognition που πραγματοποιείται από τις 18 έως τις 22 Ιουνίου στο Βανκούβερ.

NVIDIA