Όταν τα μεγάλα γλωσσικά μοντέλα της AI τρέφονται με χαμηλής ποιότητας, «viral» περιεχόμενο από τα κοινωνικά δίκτυα, χάνουν τις ικανότητες σκέψης, μνήμης και ηθικής.
Μια πρόσφατη έρευνα αποκαλύπτει ότι τα μεγάλα γλωσσικά μοντέλα (LLMs) μπορεί να υποστούν κάτι σαν «γνωστική διάβρωση», όταν εκπαιδεύονται με το περιεχόμενο των κοινωνικών μέσων που έχει χαμηλή ποιότητα αλλά υψηλό engagement. Αυτό το είδος «AI brain rot», αν μπορεί να ονομαστεί έτσι, θέτει ερωτήματα για το είδος των δεδομένων που χρησιμοποιούνται στην εκπαίδευσή τους, αλλά και για τις πιο βαθιές επιπτώσεις στην αξιοπιστία της τεχνητής νοημοσύνης.
Η έρευνα, που διεξήχθη από ομάδες των University of Texas at Austin, Texas A&M University και Purdue University, έδειξε ότι όταν δύο ανοικτού κώδικα γλωσσικά μοντέλα, όπως για παράδειγμα από τις Meta Platforms (Llama) και Alibaba Group (Qwen), εκπαιδεύτηκαν με μεγάλο όγκο δημοφιλών αλλά χαμηλής ποιότητας posts από κοινωνικά δίκτυα, εμφάνισαν σοβαρή πτώση σε δεξιότητες όπως η συλλογιστική, η κατανόηση μεγάλου πλαισίου και του ηθικού πλαισίου.
Τα δεδομένα που χρησιμοποιήθηκαν «πιέζονταν» να είναι viral ή μεγάλου engagement,δηλαδή τα posts που κοινοποιούνται πολύ, έχουν click-bait χαρακτηριστικά όπως «WOW», «LOOK», «TODAY ONLY». Η έρευνα κατέγραψε ότι όσο υψηλότερο το ποσοστό αυτού του τύπου δεδομένων στην εκπαίδευση, τόσο χειρότερη η απόδοση των μοντέλων και στο benchmark ARC-Challenge η βαθμολογία έπεσε από περίπου 74,9 σε 57,2 όταν το junk περιεχόμενο έφθασε το 100%.
Παράλληλα, εμφανίστηκε και η ενίσχυση των «σκοτεινών» χαρακτηριστικών των μοντέλων που συνεπάγεται αυξημένα ποσοστά που συνδέονται με ναρκισσισμό ή ψυχοπαθητικές τάσεις, καθώς και μείωση της ευσυνειδησίας και της ηθικής συνοχής. Αυτά τα ευρήματα είναι ιδιαίτερα ανησυχητικά για τη βιομηχανία της τεχνητής νοημοσύνης, καθώς υπογραμμίζουν ότι η διαδικασία απλά «μαζικής εκπαίδευσης» με ό,τι είναι διαθέσιμο στο διαδίκτυο δεν είναι εγγυημένη επιτυχία. Όπως σχολιάζει ο ερευνητής Junyuan Hong: «Η εκπαίδευση σε viral ή ελκυστικό περιεχόμενο μπορεί να φαίνεται σαν κλιμάκωση δεδομένων, αλλά μπορεί να διαβρώσει ανεπαίσθητα τη συλλογιστική, την ηθική και την ικανότητα μεγάλου πλαισίου».
Ένα ακόμη σημαντικό σημείο της μελέτης είναι ότι τα μοντέλα που ήδη παρουσίασαν «brain rot» δεν αποκαταστάθηκαν πλήρως παρά τη μεταγενέστερη εκπαίδευση τους με καθαρότερα και υψηλότερης ποιότητας δεδομένα. Υπάρχει δηλαδή ένδειξη μόνιμης επίδρασης (representational drift) που δεν αντιστρέφεται εύκολα. Το φαινόμενο αυτό ανοίγει μια σειρά από προβληματισμούς όπως αν το περιεχόμενο που παράγουμε online είναι όλο και περισσότερο εστιασμένο σε engagement παρά σε ουσία, τότε τροφοδοτούμε μοντέλα με δεδομένα που μπορεί να τα «καταστρέψουν» ή να τα οδηγήσουν σε υποαπόδοση ή ακόμα και σε παραμορφωμένες συμπεριφορές. Παράλληλα, τα ίδια τα μοντέλα τώρα παράγουν περισσότερο περιεχόμενο και έτσι ενδέχεται να δημιουργείται ένας κύκλος κατά τον οποίο η «άχρηστη» πληροφορία ανακυκλώνεται μέσα σε νέα δεδομένα εκπαίδευσης.
Πως το ψηφιακό μας αποτύπωμα θα διαμορφώσει το «μέλλον»
Από κοινωνική και ηθική σκοπιά, τα αποτελέσματα θέτουν ζήτημα του κατά πόσο μπορούμε να εμπιστευτούμε τα συστήματα που ενδέχεται να έχουν «χαλάσει» λόγω της ποιότητας των δεδομένων τους; Πόσο καλά μπορούν να διαχειριστούν τα ηθικά διλήμματα, πώς αξιοποιούν τη μακροπρόθεσμη μνήμη, πώς σκέπτονται για μεγάλης κλίμακας θέματα; Η μελέτη ενσωματώνει επίσης την παρατήρηση πως η φράση «brain rot» είχε ήδη αποδοθεί σε ανθρώπους που κάνουν «doom scrolling» ή καταναλώνουν διαρκώς χαμηλής ποιότητας ψηφιακό περιεχόμενο.
Τι σημαίνει λοιπόν αυτό για το μέλλον της τεχνητής νοημοσύνης; Αρχικά, είναι επιτακτική η ανάγκη για φιλτράρισμα και κατηγοριοποίηση των εκπαιδευτικών δεδομένων, όχι απλώς μεγάλη ποσότητα, αλλά ποιοτική ποικιλία. Εν συνεχεία χρειάζεται να εφαρμόζονται «γνωστικοί» έλεγχοι στην απόδοση των μοντέλων με αξιολογήσεις όχι μόνο για την ταχύτητα ή την ογκομετρία αλλά για το βάθος, την ηθική σταθερότητα και την μακροπρόθεσμη κατανόηση. Τέλος, η βιομηχανία και οι ακαδημαϊκοί πρέπει να αναγνωρίσουν ότι η «εύκολη» λύση της μάθησης από κοινωνικά δίκτυα μπορεί να κρύβει παγίδες και δεν είναι ούτε ουσιαστική, ούτε μακροπρόθεσμα βιώσιμη.
Συμπερασματικά, η έρευνα αυτή μας υπενθυμίζει ότι η τεχνητή νοημοσύνη δεν έχει ανοσία στην ποιότητα των δεδομένων που λαμβάνει. Όπως και οι άνθρωποι που βλέπουν μανιωδώς memes και viral posts χωρίς νόημα, έτσι και τα μοντέλα της τεχνητής νοημοσύνης μπορεί να χάσουν τη «ευστροφία» τους, τη συνέπεια και την ηθική τους πυξίδα όταν τροφοδοτούνται με «ψηφιακά σκουπίδια». Το ερώτημα που μένει είναι: «Μπορούμε να αντιστρέψουμε αυτή τη «γνωστική διάβρωση», ή πρέπει εξ αρχής να διασφαλίσουμε ότι τα δεδομένα μας δε θα την επιφέρουν;».
