Πώς περιορίζουμε τις παραισθήσεις στα συστήματα RAG

Από την απλή ανάκτηση εγγράφων στον έλεγχο της απάντησης πριν φτάσει στον χρήστη

Τα συστήματα RAG δημιουργήθηκαν για να λύσουν ένα πολύ συγκεκριμένο πρόβλημα της γενετικής Τεχνητής Νοημοσύνης: την τάση των μεγάλων γλωσσικών μοντέλων να απαντούν με ευφράδεια ακόμη και όταν δεν γνωρίζουν. Η βασική ιδέα είναι απλή. Αντί το μοντέλο να βασίζεται μόνο στη μνήμη που απέκτησε κατά την εκπαίδευσή του, αναζητά πρώτα σχετικά έγγραφα και στη συνέχεια διατυπώνει απάντηση στηριγμένη σε αυτά. Στην πράξη, όμως, η ανάκτηση του σωστού εγγράφου δεν εγγυάται ότι η τελική απάντηση θα είναι σωστή. Το μοντέλο μπορεί να έχει μπροστά του την ακριβή πηγή και παρ’ όλα αυτά να την παραποιήσει, να αντιστρέψει το νόημά της ή να προσθέσει στοιχεία που δεν υπάρχουν πουθενά.

Αυτό είναι το κρίσιμο σημείο. Η παραισθητική απάντηση σε ένα απλό chatbot μπορεί να αντιμετωπιστεί με επιφυλακτικότητα από τον χρήστη. Σε ένα σύστημα RAG, όμως, η απάντηση εμφανίζεται ως τεκμηριωμένη. Ο χρήστης θεωρεί ότι το σύστημα διάβασε τις πηγές και άρα δικαιούται μεγαλύτερη εμπιστοσύνη. Γι’ αυτό ο περιορισμός των παραισθήσεων δεν μπορεί να σταματά στην καλύτερη αναζήτηση. Πρέπει να υπάρχει ένα επιπλέον στρώμα ελέγχου μετά τη δημιουργία της απάντησης και πριν από την εμφάνισή της.

Οι πέντε συνηθέστερες αστοχίες

Η πρώτη αστοχία είναι η υπερβολική βεβαιότητα χωρίς τεκμηρίωση. Το μοντέλο γράφει «σίγουρα», «είναι σαφές», «όπως αναφέρεται», ενώ η πληροφορία δεν υπάρχει στο ανακτημένο υλικό. Αυτή η μορφή είναι επικίνδυνη επειδή δεν φαίνεται ως αβεβαιότητα αλλά ως αυθεντία. Η δεύτερη είναι η αριθμητική αντίφαση. Το έγγραφο λέει ότι η προθεσμία επιστροφής είναι 14 ημέρες και η απάντηση γράφει 30 ημέρες. Ή η πηγή αναφέρει ότι το πρόγραμμα κοστίζει 120 δολάρια τον χρόνο και η απάντηση το παρουσιάζει ως 10 δολάρια τον μήνα. Η τρίτη είναι η επινόηση προσώπων, οργανισμών ή βιβλιογραφικών αναφορών. Για παράδειγμα, το μοντέλο μπορεί να επικαλεστεί έναν «Dr. James Harrison» ή ένα ανύπαρκτο arXiv paper, ενώ κανένα από αυτά δεν υπάρχει στα σχετικά έγγραφα. Η τέταρτη είναι η αντιστροφή άρνησης. Η πηγή λέει ότι μια υπηρεσία «δεν υποστηρίζει ακύρωση μετά την πληρωμή» και η απάντηση γράφει ότι «υποστηρίζει ακύρωση μετά την πληρωμή». Η πέμπτη είναι η διολίσθηση της απάντησης στον χρόνο. Η ίδια ερώτηση για την τιμή ενός προϊόντος μπορεί να απαντάται επί εβδομάδες ως 49,99 ευρώ και ξαφνικά, μετά από ανανέωση του ευρετηρίου, να επιστρέφει 39,99 ευρώ χωρίς καμία ειδοποίηση.

Έλεγχος πιστότητας, αντίφασης και οντοτήτων

Ένα πρακτικό σύστημα προστασίας πρέπει να εξετάζει την απάντηση με απλούς αλλά αυστηρούς κανόνες. Πρώτα, μετρά την πιστότητα. Χωρίζει την απάντηση σε προτάσεις που περιέχουν πραγματολογικούς ισχυρισμούς και εξετάζει αν οι βασικές λέξεις κάθε ισχυρισμού υπάρχουν στο ανακτημένο υλικό. Αν πολλές προτάσεις δεν μπορούν να συνδεθούν με την πηγή, η απάντηση δεν πρέπει να προωθείται ως αξιόπιστη.

Έπειτα, ελέγχει αριθμούς και χρονικές εκφράσεις. Αν το πλαίσιο λέει «14 ημέρες» και η απάντηση γράφει «30 ημέρες», το σύστημα δεν πρέπει να το αντιμετωπίσει ως μικρή παραλλαγή. Είναι αντίφαση. Το ίδιο ισχύει για τιμές, ποσοστά, ημερομηνίες, εκπτώσεις, όρια χρήσης και περιόδους χρέωσης. Παράλληλα, πρέπει να ελέγχει τις οντότητες. Ονόματα ανθρώπων, εταιρειών, ερευνητικών ιδρυμάτων και παραπομπών πρέπει να εμφανίζονται σε τουλάχιστον ένα ανακτημένο τεκμήριο. Αν δεν εμφανίζονται, η σχετική πρόταση πρέπει να αφαιρεθεί ή να ξαναγραφτεί.

Διόρθωση πριν από την παράδοση

Ο έλεγχος από μόνος του δεν αρκεί. Ένα ώριμο σύστημα πρέπει να αποφασίζει τι θα κάνει με την προβληματική απάντηση. Υπάρχουν τρεις πρακτικές στρατηγικές. Η πρώτη είναι η στοχευμένη διόρθωση αντίφασης. Αν η απάντηση λέει «10 δολάρια τον μήνα» και η πηγή λέει «120 δολάρια τον χρόνο, με ετήσια χρέωση», το σύστημα μπορεί να αντικαταστήσει όχι μόνο τον αριθμό αλλά και όλη τη διατύπωση της περιόδου χρέωσης. Έτσι η πρόταση γίνεται «120 δολάρια τον χρόνο, με ετήσια χρέωση» και δεν μένει πίσω ένα γλωσσικό υπόλειμμα που παραπλανά.

Η δεύτερη στρατηγική είναι η αφαίρεση μη επαληθεύσιμων οντοτήτων. Αν μια απάντηση αναφέρει ερευνητές ή άρθρα που δεν υπάρχουν στις πηγές, οι σχετικές προτάσεις μπορούν να αφαιρεθούν και να προστεθεί σύντομη σημείωση ότι συγκεκριμένα ονόματα ή αναφορές δεν επαληθεύτηκαν. Η τρίτη στρατηγική είναι η ανασύνθεση από την πηγή. Όταν η πιστότητα είναι πολύ χαμηλή, είναι προτιμότερο να ξαναχτιστεί η απάντηση από τις πιο σχετικές προτάσεις των ανακτημένων εγγράφων. Σε περιπτώσεις υψηλού κινδύνου, όπως νομικές, ιατρικές ή διοικητικές υπηρεσίες, η ασφαλής άρνηση είναι προτιμότερη από μια καλοδιατυπωμένη ανακρίβεια.

Τι σημαίνει αυτό για ανοιχτά και αξιόπιστα συστήματα

Ο περιορισμός των παραισθήσεων δεν είναι μόνο τεχνικό θέμα. Είναι ζήτημα λογοδοσίας. Κάθε διόρθωση πρέπει να καταγράφεται. Κάθε αποδεκτή, διορθωμένη ή απορριφθείσα απάντηση πρέπει να αφήνει ίχνος. Οι διαχειριστές πρέπει να βλέπουν αν ένα μοντέλο διορθώνεται συνεχώς στο ίδιο πεδίο, αν ένα ευρετήριο παράγει αστάθεια ή αν μια πηγή δημιουργεί συστηματικές αντιφάσεις. Η λογική είναι απλή: retrieve, generate, inspect, score, heal, deliver. Ανακτώ, παράγω, ελέγχω, βαθμολογώ, διορθώνω και μόνο τότε παραδίδω.

Για την ελληνική γλώσσα και για εφαρμογές δημόσιου ενδιαφέροντος, αυτή η προσέγγιση έχει ιδιαίτερη σημασία. Χρειαζόμαστε RAG συστήματα με ανοιχτά δεδομένα, τεκμηριωμένα σώματα κειμένων, ανοιχτό κώδικα, επαναλήψιμες δοκιμές και ανθρώπινη εποπτεία. Η αξιοπιστία δεν θα προκύψει επειδή ένα μοντέλο είναι μεγάλο. Θα προκύψει επειδή κάθε απάντηση μπορεί να ελεγχθεί, να εξηγηθεί και, όταν χρειάζεται, να διορθωθεί πριν προκαλέσει ζημιά.

Πηγές άρθρου:

Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks: Η εργασία που εισήγαγε το RAG ως συνδυασμό παραμετρικής μνήμης γλωσσικού μοντέλου και μη παραμετρικής μνήμης μέσω ανακτημένων τεκμηρίων: https://arxiv.org/abs/2005.11401,

Honovich et al., TRUE: Re-evaluating Factual Consistency Evaluation: Χρήσιμη εργασία για την αξιολόγηση της πραγματολογικής συνέπειας παραγόμενων κειμένων και για το γιατί η απλή ευφράδεια δεν αρκεί ως ένδειξη αξιοπιστίας: https://arxiv.org/abs/2204.04991,

Min et al., FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation: Συμβολή στην αξιολόγηση παραγόμενων απαντήσεων μέσω διάσπασης του κειμένου σε επιμέρους πραγματολογικούς ισχυρισμούς: https://arxiv.org/abs/2305.14251,

Es et al., RAGAS: Automated Evaluation of Retrieval Augmented Generation: Πλαίσιο αξιολόγησης RAG συστημάτων που εξετάζει την ποιότητα ανάκτησης, την πιστότητα της απάντησης και τη συνολική ποιότητα παραγωγής χωρίς να απαιτεί πάντα ανθρώπινη παρέμβαση: https://arxiv.org/abs/2309.15217,

Emmimal, hallucination-detector: Ανοιχτό αποθετήριο με πρακτική υλοποίηση ελέγχου, βαθμολόγησης, διόρθωσης και δρομολόγησης απαντήσεων RAG με δοκιμές για συχνές μορφές παραισθήσεων: https://github.com/Emmimal/hallucination-detector/.