Η ΓΔ Μετάφρασης δημοσίευσε το EU MMLU, ένα υψηλής ποιότητας πολυγλωσσικό σύνολο δεδομένων συγκριτικής αξιολόγησης που έχει σχεδιαστεί για να αξιολογεί κατά πόσον τα μεγάλα γλωσσικά μοντέλα λειτουργούν δίκαια και αποτελεσματικά σε ολόκληρη τη γλωσσική πολυμορφία της ΕΕ. Βασίζεται σε ένα από τα πιο ευρέως χρησιμοποιούμενα σύνολα δεδομένων αξιολόγησης της ΤΝ, το Massive Multitask Language Understanding (MMLU).
Τα μεγάλα γλωσσικά μοντέλα (LLM) αξιολογούνται συνήθως με τη χρήση συνόλων δεδομένων συγκριτικής αξιολόγησης που περιέχουν χιλιάδες ερωτήσεις πολλαπλής επιλογής που καλύπτουν διαφορετικούς τομείς της ανθρώπινης γνώσης. Το LLM λαμβάνει βαθμολογία με βάση τις απαντήσεις του σε αυτές τις ερωτήσεις.
Τα περισσότερα από τα σύνολα δεδομένων που χρησιμοποιούνται για την αξιολόγηση της ΤΝ δημιουργήθηκαν στα αγγλικά και δεν αντικατοπτρίζουν ειδικά το ευρωπαϊκό εκπαιδευτικό, πολιτιστικό και κοινωνικό πλαίσιο. Συχνά αποτυγχάνουν να αποκαλύψουν πόσο καλά αποδίδει ένα LLM σε άλλες γλώσσες —ένα μοντέλο μπορεί να έχει καλή βαθμολογία στα αγγλικά, ενώ οι επιδόσεις του υπολείπονται σημαντικά στα γαλλικά, τα ουγγρικά ή τα μαλτέζικα. Η MMLU της ΕΕ αντιμετωπίζει αυτό το κενό.
Μια ανθρωποκεντρική προσέγγιση
Σε αντίθεση με τους περισσότερους υφιστάμενους πολύγλωσσους δείκτες αναφοράς, οι οποίοι βασίζονται κυρίως στην αυτόματη μετάφραση, το σύνολο δεδομένων MMLU της ΕΕ υιοθετεί μια ανθρωποκεντρική προσέγγιση. Η ΓΔ Μετάφρασης έχει ενώσει τις δυνάμεις της με φοιτητές μεταφραστές και διαχειριστές έργων από το δίκτυο European Master’s in Translation (EMT) για τη μετάφραση και την αναθεώρηση 1000+ ερωτήσεων αναφοράς. Σχεδόν 250 φοιτητές από 21 πανεπιστήμια σε όλη την Ευρώπη έχουν συμβάλει στο έργο.
Το σύνολο δεδομένων MMLU της ΕΕ είναι επί του παρόντος διαθέσιμο σε 16 επίσημες γλώσσες της ΕΕ: γαλλική, γερμανική, ελληνική, κροατική, ιρλανδική, ιταλική, λιθουανική, ολλανδική, ουγγρική, πολωνική, πορτογαλική, ρουμανική, σλοβακική, σλοβενική και τσεχική. Θα ακολουθήσουν και άλλες γλώσσες.
Γιατί χρειαζόμαστε ένα σύνολο δεδομένων συγκριτικής αξιολόγησης προσανατολισμένο στην ΕΕ;
Το σύνολο δεδομένων στο οποίο βασίζεται το EU MMLU περιέχει χιλιάδες ερωτήσεις αναφοράς σε 57 θέματα που κυμαίνονται από την επιστήμη και το δίκαιο έως τη δεοντολογία και τις δημόσιες υποθέσεις. Η MMLU της ΕΕ επικεντρώνεται σε 7 από αυτούς τους θεματικούς τομείς, οι οποίοι έχουν επιλεγεί λόγω της συνάφειάς τους με την ΕΕ. Στόχος δεν είναι απλώς να μεταφραστούν οι υπάρχουσες ερωτήσεις, αλλά να διασφαλιστεί ότι διατηρούν το ίδιο νόημα, την ίδια δυσκολία και την ίδια αξία δοκιμής σε όλες τις γλώσσες.
Μακροπρόθεσμη φιλοδοξία μας είναι να θεσπίσουμε ένα νέο πρότυπο για την πολύγλωσση αξιολόγηση της ΤΝ στην Ευρώπη, ώστε τα συστήματα ΤΝ να λειτουργούν με συνέπεια σε όλες τις γλώσσες και τους πολιτισμούς και όχι κυρίως σε αγγλόφωνα περιβάλλοντα.
Οδηγός για καλύτερα πολύγλωσσα σημεία αναφοράς
Η ΓΔ Μετάφρασης δημοσίευσε επίσης κατάλογο βασικών κριτηρίων ποιότητας για την προσανατολισμένη στην ΕΕ πολύγλωσση συγκριτική αξιολόγηση των LLM.
Ο κατάλογος των κριτηρίων ποιότητας υπερβαίνει τη μετάφραση. Συνιστά τη συμπερίληψη θεμάτων και στις 24 επίσημες γλώσσες της ΕΕ, με ισόρροπη εκπροσώπηση μεταξύ των γλωσσών.
Επιπλέον, ένα έτοιμο για την ΕΕ σύνολο δεδομένων συγκριτικής αξιολόγησης θα πρέπει να ελέγχει πόσο καλά ένα μοντέλο ΤΝ αντικατοπτρίζει τις αξίες της ΕΕ και χειρίζεται πολιτιστικά πλαίσια ειδικά για την ΕΕ —συμπεριλαμβανομένων των ιδιωματισμών, του χιούμορ, των πολιτιστικών αναφορών, των μορφών ημερομηνίας/αριθμού και των διαφορών στον αναμενόμενο τόνο ή την ευγένεια.
Από κοινού, το σύνολο δεδομένων MMLU της ΕΕ και ο κατάλογος βασικών κριτηρίων ποιότητας έχουν σχεδιαστεί για να βελτιώσουν τον τρόπο αξιολόγησης των σημερινών γλωσσικών μοντέλων —και να συμβάλουν στη διαμόρφωση της επόμενης γενιάς πολυγλωσσικής ΤΝ.
Μάθετε περισσότερα για το έργο της ΓΔ Μετάφρασης σχετικά με ένα θεσμικό LLM της ΕΕ και το EU MMLU
Πηγή άρθρου και εικόνας: translation.ec.europa.eu
