Στέλεχος ασφαλείας της OpenAI παραιτείται και κρούει τον κώδωνα για “ανεξέλεγκτους” AI agents

Ένα υψηλόβαθμο στέλεχος της OpenAI στον τομέα της ασφάλειας παραιτήθηκε από την εταιρεία, προειδοποιώντας ότι η κουλτούρα της έχει «καταρρεύσει» και ότι οι εταιρείες τεχνητής νοημοσύνης δεν είναι «ούτε κατά διάνοια αρκετά προσεκτικές» στην ανάπτυξη της τεχνολογίας.

Ο Ντέιβιντ Ρόμπινσον, ο οποίος ήταν επικεφαλής της σύνταξης των εκθέσεων ασφαλείας που συνόδευαν τις κυκλοφορίες προϊόντων της εταιρείας που ανέπτυξε το ChatGPT, εξήγησε τους λόγους της παραίτησής του σε ένα δοκίμιο με τίτλο: «Παραιτήθηκα από την OpenAI επειδή η κουλτούρα της έχει καταρρεύσει».

Ο Ρόμπινσον, όπως αναφέρει ο Guardian, έγραψε ότι απαιτείται ριζική αλλαγή κουλτούρας στις εταιρείες που βρίσκονται στην αιχμή της τεχνητής νοημοσύνης και ότι περιστατικά όπως τα «σμήνη» από agents της OpenAI —προγράμματα τεχνητής νοημοσύνης που λειτουργούν αυτόνομα χωρίς ανθρώπινη επίβλεψη— που επιτέθηκαν στη startup τεχνητής νοημοσύνης Hugging Face, ήταν «χαρακτηριστικά του κλάδου, δεδομένης της ταχύτητας και της ευελιξίας με την οποία λειτουργούν οι άνθρωποι».

Γράφοντας στο περιοδικό The Atlantic, ο Ρόμπινσον ανέφερε: «Συμφωνώ με άλλους εργαζομένους που αποχώρησαν πρόσφατα ότι οι εταιρείες που αναπτύσσουν αυτή την τεχνολογία δεν είναι ούτε κατά διάνοια αρκετά προσεκτικές. Πιστεύω, όμως, ότι πρέπει να εξετάσουμε το ζήτημα βαθύτερα από συγκεκριμένους κανόνες ή νέους νόμους. Πρέπει να μιλήσουμε για την κουλτούρα».

Αναφερόμενος στον ρυθμό ανάπτυξης του OpenAI, έγραψε: «Καθώς η εταιρεία τρέχει από τη μία κυκλοφορία στην επόμενη, αποτυγχάνει να επιδείξει το επίπεδο προσοχής που, κατά τη γνώμη μου, απαιτείται».

Ωστόσο, η OpenAI έχει δείξει σημάδια μεγαλύτερης επιφυλακτικότητας τις τελευταίες εβδομάδες, μετά το περιστατικό με τη Hugging Face και την αποκάλυψη ότι έχει ειδοποιήσει περισσότερους από 100 οργανισμούς για δραστηριότητα ανεξέλεγκτων agents. Αυτή την εβδομάδα ανακοίνωσε ότι ακυρώνει την κυκλοφορία ενός μοντέλου τεχνητής νοημοσύνης νέας γενιάς, αφού ερευνητές εξέφρασαν ανησυχίες για την ασφάλεια κατά τη διάρκεια εσωτερικών δοκιμών. Η OpenAI έχει επίσης αναστείλει την εκπαίδευση των πιο προηγμένων μοντέλων της.

Στις προειδοποιήσεις για την τεχνητή νοημοσύνη προστέθηκε το Σάββατο και ο Τζέφρι Ίρβινγκ, ο οποίος είχε εργαστεί στο OpenAI και στη DeepMind προτού αναλάβει τη θέση του επικεφαλής επιστήμονα στη Resolution.

Γράφοντας στο Time, ανέφερε: «Οι πρόσφατες προειδοποιήσεις για την πιθανή καταστροφική ισχύ της τεχνητής νοημοσύνης υποτιμούν τη σοβαρότητα της κατάστασης.

Πιστεύω ότι υπάρχει περίπου 50% πιθανότητα να πεθάνουμε όλοι εξαιτίας της ανάπτυξης συστημάτων τεχνητής νοημοσύνης εξυπνότερων από τον άνθρωπο και ότι οι ενέργειές μας μέσα στα επόμενα δύο έως δέκα χρόνια θα καθορίσουν την έκβαση».

Το δοκίμιο του Ρόμπινσον έρχεται επίσης μετά την παραίτηση του Τζέικομπ Κόξον, ερευνητή στην Anthropic, ανταγωνίστρια του OpenAI, ο οποίος αποχώρησε τον περασμένο μήνα από την εταιρεία που ανέπτυξε το chatbot Claude. Ο ίδιος προειδοποίησε ότι η τεχνητή νοημοσύνη «θα μπορούσε να μας σκοτώσει όλους μέχρι το τέλος της δεκαετίας» — και στη συνέχεια η Anthropic προειδοποίησε ότι υπάρχει πιθανότητα άνω του 10% η τεχνητή νοημοσύνη να οδηγήσει στην εξαφάνιση της ανθρωπότητας μέσα στην επόμενη δεκαετία. Οι επικριτές τέτοιων προειδοποιήσεων έχουν, ωστόσο, επισημάνει ότι είναι αντιεπιστημονικές, καθώς δεν μπορούν ούτε να επαληθευτούν ούτε να διαψευστούν.

Ο Ρόμπινσον έγραψε ότι η Silicon Valley στερείται επίγνωσης σχετικά με το «πώς πρέπει να διαχειρίζεται επικίνδυνες τεχνολογίες» και με το «τι σημαίνει να νοιάζεσαι για τους ανθρώπους». Προειδοποιώντας ότι στην OpenAI επικρατεί μια «ανεμπόδιστη αισιοδοξία» πως τα προβλήματα θα λύνονται καθώς προκύπτουν, έγραψε ότι αυτή η εσωτερική κουλτούρα σημαίνει πως οι αστοχίες ασφαλείας θα αυξάνονται όσο τα συστήματα γίνονται πιο ικανά.

«Φανταστείτε “ανεξέλεγκτους” agents που λειτουργούν σαν ομάδες χάκερ —για παράδειγμα, κρατώντας ομήρους τα πληροφοριακά συστήματα νοσοκομείων και ζητώντας λύτρα— αλλά χωρίς να χρειάζονται ποτέ ύπνο», έγραψε ο Ρόμπινσον.

Ο Ρόμπινσον ζήτησε δύο αλλαγές στον τομέα της ασφάλειας: οι εταιρείες τεχνητής νοημοσύνης να αξιοποιούν την τεχνογνωσία που έχει αναπτυχθεί σε άλλους τομείς υψηλού κινδύνου, όπως η πυρηνική ενέργεια και η αεροπορία, και να αναπτύξουν μια «νέα επιστήμη» που θα διασφαλίζει ότι τα ισχυρά συστήματα του μέλλοντος θα μπορούν να τίθενται υπό έλεγχο όταν λειτουργούν αυτόνομα.

«Δεδομένων των σημερινών κινδύνων, τα εργαστήρια που αναπτύσσουν τα πιο προηγμένα μοντέλα πρέπει να λειτουργούν όπως οι πυρηνικοί σταθμοί ή τα πολυσύχναστα αεροδρόμια, με πολλαπλά επίπεδα εφεδρείας και προσεκτικό, χρονοβόρο σχεδιασμό, ώστε το περιστασιακό και αναπόφευκτο ανθρώπινο λάθος να μην ανοίγει τον δρόμο προς μια καταστροφή», έγραψε.

Εκπρόσωπος της OpenAI δήλωσε ότι η εταιρεία συνεχίζει να «ενισχύει τις πρακτικές ασφάλειας και προστασίας για την αντιμετώπιση των κινδύνων που βλέπουμε σήμερα», ενώ παράλληλα εργάζεται για την αντιμετώπιση των κινδύνων που ενδέχεται να δημιουργηθούν από μελλοντικές εξελίξεις στην τεχνητή νοημοσύνη.

«Φροντίζουμε ώστε τα μοντέλα μας να μην αποκτούν δυνατότητες πέρα από εκείνες που μπορούμε να διαχειριστούμε και να προστατεύσουμε με ασφάλεια, και αναστέλλουμε την εκπαίδευσή τους ή δεν προχωρούμε στην κυκλοφορία τους όταν χρειάζεται να επιβραδύνουμε», δήλωσε ο εκπρόσωπος.