LegoGPT: Inteligența Artificială Transformă Sugestiile Textuale În Creații Lego

Cercetătorii de la Universitatea Carnegie Mellon au prezentat LegoGPT, un nou sistem AI care construiește creații Lego reale din descrieri scrise.

Este primul AI de acest gen care nu doar urmărește o indicație text – precum „o navă alungită și aerodinamică” – dar se asigură și că structura rezultată este fizic stabilă și poate fi construită, cărămidă cu cărămidă.

„Pentru a realiza acest lucru, am construit un set de date de mare anvergură, fizic stabil, cu design-uri LEGO, împreună cu legendele lor asociate,” a explicat echipa în lucrarea lor de cercetare.

LegoGPT a fost antrenat folosind peste 47.000 de modele Lego stabile, împerecheate cu legende detaliate generate de GPT-4o. Acestea au fost construite din forme 3D, transformate în structuri Lego, apoi testate pentru stabilitate în lumea reală folosind simulări fizice.

Fiecare structură a fost de asemenea descrisă din 24 de unghiuri, astfel încât AI să poată învăța cum ar trebui să arate diferitele designuri în cuvinte.

Echipa a utilizat o tehnică specială numită „physics-aware rollback”, unde părțile instabile ale unui design sunt eliminate și reconstruite până când întreaga structură rezistă. Aceasta a îmbunătățit rata de succes a construcției de la 24% la 98,8%.

Modelul AI, bazat pe LLaMA-3.2-Instruct al Meta, prezice care piesă Lego să fie plasată în continuare – similar cu modul în care ChatGPT prezice următorul cuvânt. Fiecare piesă sugerată este verificată pentru plasare, dimensiune și posibile coliziuni înainte de a fi adăugată modelului.

Creațiile LegoGPT pot fi construite atât de oameni, cât și de roboți. „Experimentele noastre arată că LegoGPT produce designuri Lego stabile, diverse și estetic plăcute care se aliniază îndeaproape cu prompturile de text introduse”, au scris cercetătorii.

Deocamdată, LegoGPT utilizează doar opt tipuri de bază de cărămizi și funcționează într-un spațiu de 20×20×20, dar echipa speră să îl extindă.

Setul lor complet de date, cod și model sunt disponibile gratuit, astfel încât alții pot continua să construiască pe baza acestei cercetări. Alternativ, puteți pur și simplu să vă jucați cu demo-ul lor.