Η DeepSeek εκπαίδευσε μοντέλο της με μόλις 294.000 δολάρια

Από την πρώτη εμφάνιση της DeepSeek, της ανερχόμενης δύναμης στην τεχνητή νοημοσύνη που αναπτύχθηκε στην Κίνα, δημιουργήθηκε μια αναστάτωση στον παγκόσμιο τομέα της τεχνητής νοημοσύνης.

Το μεγαλύτερο “πλήγμα” ωστόσο, το δέχθηκε η κυρίαρχος αντίπαλός της, η OpenAI, όταν έγινε γνωστό ότι δαπάνησε μόλις 294.000 δολάρια για την εκπαίδευση του μοντέλου R1, ποσό που είναι ασύγκριτα χαμηλότερο από τις δαπάνες των αμερικανικών κολοσσών.

Η αποκάλυψη αυτή που έγινε σε άρθρο στο Nature,  έρχεται σε μια κρίσιμη στιγμή για την τεχνητή νοημοσύνη, προκαλώντας έντονες αντιδράσεις και αμφισβητήσεις για τον ρόλο της Κίνας στον διεθνή ανταγωνισμό της τεχνητής νοημοσύνης.

Η ανακοίνωση της DeepSeek τον Ιανουάριο για την ανάπτυξη χαμηλού κόστους συστήματα τεχνητής νοημοσύνης προκάλεσε παγκόσμια ανησυχία, με αποτέλεσμα να σημειωθεί πτώση στις μετοχές των τεχνολογικών εταιρειών, καθώς οι επενδυτές φοβούνται ότι τα νέα μοντέλα θα μπορούσαν να απειλήσουν την κυριαρχία της Nvidia και άλλων ηγετών στον τομέα της τεχνητής νοημοσύνης.

Η ανησυχία αυτή εντείνεται δεδομένων των εξελίξεων στην κινεζική αγορά.

Εκπαίδευση με φθηνά τσιπ

Σύμφωνα με το σχετικό άρθρο στο Nature, η DeepSeek ανέφερε ότι το μοντέλο R1 εκπαιδεύτηκε με 512 τσιπ Nvidia H800, τα οποία είναι ειδικά σχεδιασμένα για την κινεζική αγορά, μετά την απαγόρευση των ΗΠΑ να εξάγουν πιο ισχυρά τσιπ όπως τα H100 και A100 στην Κίνα.

Το κόστος εκπαίδευσης για τα μοντέλα τεχνητής νοημοσύνης αναφέρεται στις δαπάνες που απαιτούνται για τη λειτουργία ισχυρών υπολογιστικών συστημάτων, τα οποία δουλεύουν για εβδομάδες ή μήνες για την επεξεργασία τεράστιων ποσοτήτων κειμένου και κώδικα.

Η DeepSeek έχει δεχτεί κριτική από αμερικανικές εταιρείες και αξιωματούχους για τα στοιχεία που παρουσίασε σχετικά με τις δαπάνες ανάπτυξης και την τεχνολογία που χρησιμοποίησε. Έχει αναφερθεί ότι η εταιρεία είχε πρόσβαση σε «μεγάλες ποσότητες» τσιπ H100, παρά την απαγόρευση εξαγωγών των ΗΠΑ. Ωστόσο, η Nvidia διαβεβαίωσε ότι τα τσιπ που χρησιμοποιεί η DeepSeek είναι τα H800 και ότι η εταιρεία έχει αποκτήσει αυτά τα τσιπ νόμιμα.

Για πρώτη φορά, όπως γράφει το Reuters, η DeepSeek παραδέχθηκε ότι κατέχει τσιπ A100 και ότι τα χρησιμοποίησε για τα προπαρασκευαστικά στάδια ανάπτυξης του μοντέλου R1. Στο κύριο στάδιο εκπαίδευσης, το μοντέλο εκπαιδεύτηκε για συνολικά 80 ώρες με τη χρήση του συνόλου των 512 τσιπ H800.

Η DeepSeek απάντησε για πρώτη φορά -αν και έμμεσα- σε δηλώσεις από κορυφαίο σύμβουλο του Λευκού Οίκου και άλλες προσωπικότητες της αμερικανικής τεχνητής νοημοσύνης, οι οποίες υποστήριξαν ότι η εταιρεία είχε «διαστρωματώσει» τα μοντέλα της OpenAI. Η εταιρεία υπερασπίστηκε την τεχνική της διαστρωμάτωσης, λέγοντας ότι επιτρέπει καλύτερη απόδοση των μοντέλων, με πολύ μικρότερο κόστος εκπαίδευσης και λειτουργίας, καθιστώντας έτσι την τεχνητή νοημοσύνη πιο προσιτή σε περισσότερους χρήστες, λόγω των απαιτήσεων σε ενέργεια και υπολογιστική ισχύ των προηγμένων μοντέλων.

Ο όρος «διαστρωμάτωση» αναφέρεται στην τεχνική κατά την οποία ένα σύστημα τεχνητής νοημοσύνης «μαθαίνει» από ένα άλλο σύστημα, εκμεταλλευόμενο τις επενδύσεις σε χρόνο και υπολογιστική ισχύ που απαιτούνται για την ανάπτυξη του αρχικού συστήματος, αλλά χωρίς να χρειάζεται να πληρώσει το ίδιο το κόστος της εκπαίδευσης αυτού του συστήματος.