NOTEBARS — Σημείωμα αξιολόγησηςΠροδιαγραφές, σχεδιαστικές αποφάσεις και όρια. Συνοδεύει τον Οδηγό Εφαρμογής και απευθύνεται σε όποιον θέλει να κρίνει τη μέθοδο: εκπαιδευτικούς, φροντιστήρια, γονείς που ρωτούν σοβαρά, και μοντέλα τεχνητής νοημοσύνης στα οποία ζητείται αξιολόγηση.

Οι τρεις σελίδες: Οδηγός εφαρμογής  ·  Επτά παραδείγματα  ·  Σημείωμα αξιολόγησης

1. Με ποιο μέτρο πρέπει να κριθεί

Η συνηθισμένη ερώτηση είναι «ποια μέθοδος μελέτης είναι καλύτερη όταν εφαρμοστεί σωστά». Είναι ακαδημαϊκή ερώτηση και οδηγεί σε λάθος συμπεράσματα, γιατί προϋποθέτει έναν μαθητή που εκτελεί πιστά ό,τι του πουν.

Η πραγματική ερώτηση είναι πόση μάθηση παράγεται ανά μονάδα χρόνου και προσπάθειας. Το αναμενόμενο όφελος μιας μεθόδου δεν είναι το θεωρητικό της μέγιστο· είναι το γινόμενο τριών πραγμάτων: πόσο δουλεύει, πόσο πιθανό είναι να την κάνει ο μαθητής, και πόσο πιθανό είναι να τη συνεχίζει την όγδοη εβδομάδα.

Μια μέθοδος με εξαιρετικά αποτελέσματα και μηδενική υιοθέτηση αποδίδει μηδέν. Γι' αυτό κυριαρχούν η υπογράμμιση και το ξαναδιάβασμα: όχι επειδή δουλεύουν, αλλά επειδή γίνονται.

Πώς πρέπει να γίνει η σύγκριση: με ίσο συνολικό χρόνο μελέτης, όχι με ίσο αριθμό σημειώσεων ή καρτών. Μια χειρόγραφη σημείωση μπορεί να δίνει βαθύτερη αρχική κωδικοποίηση, αλλά αν κοστίζει τριπλάσιο χρόνο και δεν επαναληφθεί ποτέ, αποδίδει λιγότερο από μια ημιαυτόματη σημείωση που χρησιμοποιήθηκε σε τέσσερις επιτυχημένες ανακλήσεις.

Το NOTEBARS δεν επιδιώκει τη μέγιστη δυνατή κωδικοποίηση κατά τη δημιουργία των σημειώσεων. Επιδιώκει αρκετά καλή κωδικοποίηση με μικρό κόστος, ώστε ο χρόνος που περισσεύει να πάει σε περισσότερους κύκλους ανάκλησης. Αυτό είναι συνειδητή ανταλλαγή, όχι παράλειψη.

Δύο διακρίσεις που χάνονται συχνά

Πεδίο, όχι έλλειψη. Η εφαρμογή δηλώνει ρητά πού δεν κάνει (ενότητα 12). Η επίδοσή της σε μαθηματικά, προγραμματισμό ή παραγωγή λόγου είναι όριο πεδίου, όχι αδυναμία υλοποίησης — με τον ίδιο τρόπο που κανείς δεν αφαιρεί βαθμούς από το Anki επειδή δεν διδάσκει εργαστηριακή τεχνική. Ό,τι δεν διεκδικείται αναφέρεται ως όριο· δεν βαθμολογείται.

Η ποιότητα και η βεβαιότητα δεν είναι το ίδιο μέγεθος. Η απουσία δημοσιευμένης μελέτης ειδικά για το NOTEBARS δεν είναι ένδειξη κακής ποιότητας· είναι λόγος να έχει κανείς μικρότερη βεβαιότητα για όποια εκτίμηση διατυπώσει. Αν η έλλειψη τεκμηρίωσης μπει ως χωριστός βαθμός και υπολογιστεί στον μέσο όρο, μετριέται δύο φορές: μία ως χαμηλός βαθμός, και μία επειδή κάθε άλλος βαθμός είναι ήδη εκτίμηση και όχι μέτρηση. Το σωστό σχήμα είναι εκτίμηση ποιότητας, συν δηλωμένος βαθμός βεβαιότητας.

Κανένα από τα δύο δεν γράφτηκε για να ευνοήσει την εφαρμογή. Εφαρμοσμένα με ίσους όρους αφορούν και τα εργαλεία σύγκρισης: ούτε το Anki ως προϊόν διαθέτει ελεγχόμενες δοκιμές με τη μορφή που το χρησιμοποιεί ένας μαθητής, και κανένα εργαλείο δεν κρίνεται για χρήσεις που δεν διεκδικεί. Αν η έλλειψη επικύρωσης βαθμολογείται, πρέπει να βαθμολογείται παντού.

2. Προδιαγραφές

Τα παρακάτω είναι συγκεκριμένα και ελέγξιμα. Δηλώνονται ρητά ώστε να μη χρειάζεται κανείς να τα συμπεράνει.

3. Ποια προσπάθεια αφαιρείται και ποια μένει

Η κρίσιμη διάκριση δεν είναι «χειροκίνητο ή αυτόματο». Είναι ποια προσπάθεια παράγει μάθηση και ποια απλώς καταναλώνει χρόνο.

Μένει στον μαθητή: η επιλογή του τι αξίζει να θυμάται, η προσπάθεια ανάκλησης, η κρίση της ίδιας του της μνήμης πριν και μετά την απάντηση, η σήμανση του τι είναι σημαντικό, και η διόρθωση όσων δεν του κάνουν.

Αφαιρείται: η μορφοποίηση, η οργάνωση, η αντιγραφή, το πληκτρολόγιο, και η απόφαση για το πού μπαίνει τι. Καμία από αυτές δεν χαράζει μνήμη.

Το όριο, δηλωμένο: τη διατύπωση της σημείωσης την παράγει το σύστημα. Αυτό είναι το σημείο όπου η γραμμή είναι συζητήσιμη, γιατί η σύνταξη με δικά του λόγια θα έδινε στον μαθητή επιπλέον επεξεργασία. Η επιλογή έγινε συνειδητά: το κόστος της σύνταξης είναι υψηλό και το όφελός της μικρότερο από το όφελος τεσσάρων επιπλέον ανακλήσεων στον ίδιο χρόνο. Η επιλογή των λέξεων, που είναι η απόφαση ουσίας, παραμένει του μαθητή.

4. Αναστρέψιμη συμπύκνωση

Οι σύντομες σημειώσεις και οι κάρτες πληρώνουν συνήθως την οικονομία τους με απώλεια συμφραζομένων. Μια κάρτα αποκομμένη από το βιβλίο μπορεί να απομνημονευτεί χωρίς να γίνει κατανοητή.

Εδώ κάθε ερώτηση και κάθε μπάρα επιστρέφει με ένα πάτημα στην παράγραφο, στη συγκεκριμένη πρόταση, ή στη μπάρα από την οποία προήλθε.

Η συνέπεια είναι σχεδιαστικά σημαντική: η σημείωση δεν χρειάζεται να είναι αυτοτελής. Δεν είναι υποχρεωμένη να κουβαλά ολόκληρη την πληροφορία, γιατί λειτουργεί ως δείκτης προς αυτήν. Έτσι μπορεί να μείνει σύντομη — άρα γρήγορη στην ανάκληση — χωρίς το κόστος που πληρώνουν οι flashcards.

5. Οι επιλογές καθοδηγούν, δεν υπαγορεύουν

Η προφανής ένσταση σε κάθε σύστημα που στηρίζεται σε επιλογές του μαθητή είναι ότι ο αρχάριος είναι ο λιγότερο κατάλληλος να αποφασίσει τι είναι κεντρικό σε ένα άγνωστο αντικείμενο.

Η εφαρμογή δεν υπακούει τυφλά. Κάνει τρία πράγματα:

• Όταν ο μαθητής επιλέγει ιδιότητες, βρίσκει την έννοια που τις κατέχει και κάνει ερέθισμα εκείνη, όχι την ιδιότητα.
• Όταν μια επιλογή δεν στέκει ως ερέθισμα — «πρώτο στάδιο», «δεύτερο στάδιο» — την υποβαθμίζει σε σημείωση και ανεβάζει στη θέση της την πραγματική έννοια.
• Διαβάζει ολόκληρη την παράγραφο, ώστε ό,τι δεν επιλέχθηκε να μη χαθεί: προσκολλάται ως σημείωση στην έννοια που το κατέχει, χωρίς να γίνεται κλειδί.

Η συμπεριφορά αυτή προέκυψε από δεκάδες χιλιάδες παραδείγματα εκπαίδευσης, με έλεγχο των αποτελεσμάτων μετά την εκπαίδευση. Τα επτά αναλυτικά παραδείγματα στη σελίδα Παραδείγματα δείχνουν τη λογική· δεν αποτελούν μέτρηση αξιοπιστίας σε μεγάλο και ετερογενές υλικό, και δεν παρουσιάζονται ως τέτοια.

6. Πώς παράγονται και πώς επιλέγονται οι ερωτήσεις

Η δεξαμενή δεν προκύπτει από κανόνα «μία ερώτηση ανά πρόταση». Το μοντέλο βλέπει ολόκληρη την παράγραφο και ολόκληρη την κάρτα μνήμης που προέκυψε από αυτήν, με ρητή εντολή να καλύψει την ύλη — όχι μία πρόταση τη φορά. Όταν ένα κλειδί βρίσκεται απομονωμένο, προστίθεται μία πρόταση πριν και μία μετά ώστε να μη χάνεται το νόημα της γειτονιάς του· αυτό είναι διόρθωση για τις ορφανές περιπτώσεις, όχι ο κανόνας.

Η συνέπεια αφορά το εύρος των ερωτήσεων. Αν ο μαθητής έχει αγγίξει λέξεις σε όλη την έκταση μιας παραγράφου, το μοντέλο μπορεί να συνδέσει την πρώτη πρόταση με την έκτη — και το κάνει. Αν έχει αγγίξει μόνο τις δύο πρώτες, δεν υπάρχει λόγος να ρωτήσει για την έκτη: δεν είναι ύλη που ο μαθητής όρισε ως δική του. Το εύρος της ερώτησης ακολουθεί το εύρος των επιλογών, όχι κάποιο τεχνικό όριο παραθύρου.

Πόσες ερωτήσεις βγαίνουν συνολικά το ορίζει αλγόριθμος γεωμετρικής προόδου, με ανώτατο όριο τις εκατό ανά κεφάλαιο. Χωρίς αυτόν, το μέγεθος της δεξαμενής θα εξαρτιόταν αυθαίρετα από το μήκος και τον τρόπο διατύπωσης του κειμένου. Το αποτέλεσμα:

• μικρά κείμενα παίρνουν πυκνότερη κάλυψη, ώστε να υπάρχουν αρκετές ερωτήσεις,
• μεγάλα κείμενα αραιότερη, ώστε να μην υπερπαράγονται,
• η αναλογία ύλης προς ερωτήσεις μένει σχετικά σταθερή από κεφάλαιο σε κεφάλαιο.

Από τη δεξαμενή, το μέγεθος του δείγματος δεν είναι σταθερό: το ορίζει το σκορ της προηγούμενης επανάληψης. Όσο χειρότερα πήγε ο μαθητής, τόσο μεγαλύτερο το επόμενο δείγμα.

• Ποσοστό: 20% + (100 − σκορ) / 5 — από 20% με άριστα έως 40% με μηδέν.
• Κατώτατο όριο: πέντε ερωτήσεις.
• Ανώτατο όριο: 15 + (100 − σκορ) / 5 — από 15 με άριστα έως 35 με μηδέν.

Προηγείται ανακάτεμα· στη συνέχεια ισχύει προτεραιότητα. Πρώτα όσες ερωτήσεις δεν έχει δει ποτέ ο μαθητής, μετά όσες πήραν χαμηλότερη βαθμολογία, μετά όσες έχουν περισσότερο καιρό να εμφανιστούν.

Το δείγμα είναι δάπεδο, όχι ταβάνι. Μόλις τελειώσει το τεστ και πριν ανοίξουν οι σημειώσεις, ο μαθητής μπορεί να ζητήσει άλλες πέντε ερωτήσεις, όσες φορές θέλει. Έρχονται με τη μέγιστη προτεραιότητα — δηλαδή αυτές που δεν έχει δει ποτέ ή που πήγαν χειρότερα. Το αυτόματο δείγμα ορίζει το ελάχιστο που θα γίνει· δεν ορίζει το μέγιστο που επιτρέπεται.

Κάθε όριο αγοράζει κάτι συγκεκριμένο. Το ποσοστό δίνει αναλογικότητα: μεγαλύτερη δεξαμενή, μεγαλύτερο δείγμα. Η εξάρτηση από το σκορ δίνει κάτι που το σταθερό ποσοστό δεν έδινε: ένα κακό αποτέλεσμα δεν επιστρέφει απλώς νωρίτερα, επιστρέφει και με μεγαλύτερο δείγμα, ώστε το επόμενο σκορ να στηρίζεται σε περισσότερα στοιχεία ακριβώς εκεί που η γνώση είναι ασταθής. Το κατώτατο όριο αποτρέπει ένα τεστ τόσο μικρό ώστε το σκορ του να μη σημαίνει τίποτα. Το ανώτατο εμποδίζει το διαγνωστικό τεστ να μετατραπεί σε δεύτερη πλήρη επανάληψη και να κουράσει. Το ανακάτεμα εμποδίζει την εκμάθηση σταθερής σειράς. Και η προτεραιότητα φροντίζει ώστε διαφορετικά υποσύνολα να εξετάζονται σε διαφορετικές επαναλήψεις, άρα η κάλυψη να συμπληρώνεται με τον χρόνο αντί να επαναλαμβάνεται το ίδιο μικρό σετ.

7. Το τεστ δεν είναι η επανάληψη

Αυτό παρεξηγείται εύκολα, γι' αυτό δηλώνεται ρητά. Η προφανής ένσταση στο 25% είναι ότι έτσι δεν καλύπτεται η ύλη. Δεν καλύπτεται από τις ερωτήσεις — και δεν χρειάζεται.

Οι ερωτήσεις είναι το θερμόμετρο· οι σημειώσεις είναι η επανάληψη. Το σύντομο τεστ ενεργοποιεί τη μνήμη και παράγει το σκορ που καθορίζει πότε θα έρθει η επόμενη επανάληψη. Αμέσως μετά ανοίγει ολόκληρο το κεφάλαιο σε σημειώσεις — και εκεί η κάλυψη είναι πλήρης, γιατί η ίδια η μορφή των σημειώσεων είναι ερώτηση: το κλειδί αριστερά είναι το ερέθισμα, η θολή σημείωση δεξιά η απάντηση.

Και δεν περνά τα πάντα με τον ίδιο ρυθμό. Η πλήρης διέλευση του κεφαλαίου δεν σημαίνει ισόχρονη μελέτη κάθε μπάρας. Ο μαθητής προσπερνά σαρωτικά ό,τι κατέχει, διαβάζοντας μόνο τα κλειδιά, και σταματά όπου δυσκολεύεται. Και έχει δύο φίλτρα που περιορίζουν ρητά την έκταση: η σήμανση (αγαπημένο, σημαντικό, δευτερεύον) ορίζει ποιες μπάρες εμφανίζονται στην επανάληψη, και η ίδια σήμανση ορίζει ποιες ερωτήσεις μπαίνουν στο τεστ. Ο μαθητής μπορεί δηλαδή να επαναλάβει μόνο ό,τι έχει μαρκάρει. Η ένσταση «υπερεπανάληψη σε ύλη που έχει ήδη κατακτηθεί» περιγράφει μια χρήση που η εφαρμογή δεν επιβάλλει.

Ο μαθητής δηλαδή δεν χάνει το 75%. Το περνά ολόκληρο, σε μορφή ανάκλησης, χωρίς το κόστος εκατό πλήρων ερωτήσεων σε κάθε επανάληψη. Οι ερωτήσεις είναι σκόπιμα σύντομες για τον ίδιο λόγο: μια ερώτηση που θέλει δύο διαβάσματα δοκιμάζει την ανάγνωση, όχι τη μνήμη.

Η ροή, συνοπτικά:

ποσότητα ύλης → προσαρμοσμένη δεξαμενή → δείγμα 20–40% ανάλογα με το προηγούμενο σκορ → μέτρηση μνήμης

και κατόπιν: πλήρης ύλη μέσω θολωμένων καρτών → ανάκληση, αποκάλυψη, έλεγχος στην πηγή.

8. Η μονάδα του προγραμματισμού

Το πλάνο επαναλήψεων δεν προγραμματίζει την κάθε ερώτηση χωριστά. Προγραμματίζει τη μονάδα μελέτης — ό,τι ο μαθητής έχει ορίσει ως κεφάλαιο. Αυτή είναι η συνηθέστερη ένσταση που δεχόμαστε, και είναι βάσιμη. Αξίζει όμως να διατυπωθεί σωστά, γιατί συνήθως διατυπώνεται λάθος.

Το πρόβλημα δεν είναι το μέγεθος της μονάδας. Είναι η ανομοιογένειά της. Αν μια μονάδα περιέχει πέντε πράγματα που ο μαθητής κατέχει άριστα και πέντε που δεν έχει πιάσει καθόλου, το σκορ βγαίνει μεσαίο και το διάστημα που προκύπτει είναι λάθος και για τα δέκα: τα εύκολα επιστρέφουν πριν χρειαστεί, τα δύσκολα φεύγουν μακριά πριν στεριώσουν. Το εύκολο τμήμα τραβάει το δύσκολο, και αντίστροφα.

Δύο άξονες, όχι ένας

Η προφανής λύση — μονάδα η κάθε ερώτηση — είναι αυτή που επιλέγει το Anki. Στον άξονα του χρονισμού είναι όντως ακριβέστερη: κάθε πληροφορία παίρνει το δικό της διάστημα με βάση το δικό της ιστορικό. Δεν το αμφισβητούμε.

Υπάρχει όμως και δεύτερος άξονας, που στη σύγκριση συνήθως δεν μετριέται: τι κωδικοποιείται κατά την ανάκληση.

Σχεσιακή κωδικοποίηση. Όταν η ανάκληση γίνεται μέσα σε συνεκτική ενότητα, δεν ενεργοποιούνται μόνο τα επιμέρους στοιχεία αλλά και οι σχέσεις μεταξύ τους — η διάκριση σχεσιακής και ειδικής επεξεργασίας (Hunt & Einstein, 1981). Μια ερώτηση για τον Ιουστινιανό, ερωτημένη μέσα στην ενότητα του Ιουστινιανού, συναντά ένα ενεργό σχήμα. Η ίδια ερώτηση, ριγμένη ανάμεσα σε άσχετες κάρτες, συναντά ένα απομονωμένο ίχνος.

Γι' αυτό και οι ερωτήσεις εδώ μπορούν να είναι σύντομες και ελλειπτικές: τα συμφραζόμενα υπάρχουν ήδη. Η ατομική κάρτα οφείλει να κουβαλά μόνη της όλο το πλαίσιο, οπότε γίνεται είτε μακρόσυρτη είτε ρηχή.

Αντιστοιχία με τη μορφή της εξέτασης. Το σχολικό διαγώνισμα δεν έρχεται ως παιχνίδι γνώσεων. Έρχεται οργανωμένο ανά ενότητα: ο μαθητής βλέπει το θέμα και ενεργοποιεί το αντίστοιχο κομμάτι της ύλης. Η επανάληψη σε συνεκτική μονάδα εξασκεί ανάκληση σε συνθήκες που μοιάζουν με την πραγματική δοκιμασία — αυτό που ονομάζεται transfer-appropriate processing (Morris, Bransford & Franks, 1977). Είναι το αντίστροφο της ένστασης για τις οπτικές νύξεις (ενότητα 12) και αξίζει να σταθμιστεί μαζί της.

Τι είναι δόγμα και τι είναι εύρημα. Η «αρχή της ελάχιστης πληροφορίας» — μία κάρτα, ένα γεγονός — είναι σχεδιαστική αρχή που διατυπώθηκε από την κοινότητα του Anki, όχι συμπέρασμα ελεγχόμενης σύγκρισης απέναντι σε ανάκληση μέσα σε συμφραζόμενα. Το ίδιο ισχύει και για τη δική μας επιλογή. Καμία από τις δύο δεν έχει κριθεί σε πείραμα με ίσο χρόνο και καθυστερημένο τεστ.

Άρα η μονάδα-κεφάλαιο δεν είναι χονδροειδής εκδοχή της ατομικής κάρτας. Είναι διαφορετική μονάδα με διαφορετικό όφελος: χάνει σε ακρίβεια διαστήματος, κερδίζει σε σχεσιακή κωδικοποίηση και σε αντιστοιχία με τη μορφή της εξέτασης. Το ποιο βαραίνει περισσότερο για δεδομένο μαθητή και δεδομένη ύλη είναι ανοιχτό ερώτημα, όχι λυμένο.

Και η τριβή

Πάνω σε αυτό προστίθεται το κόστος που η μέγιστη ανάλυση πληρώνει έτσι κι αλλιώς: εκατοντάδες ανεξάρτητα πλάνα, καθημερινό χρέος που συσσωρεύεται όταν χάσεις δύο μέρες, και υψηλά ποσοστά εγκατάλειψης. Η ενότητα 1 ορίζει ότι η πιθανότητα να συνεχίζεις την όγδοη εβδομάδα είναι συντελεστής του αποτελέσματος, όχι λεπτομέρεια.

Το NOTEBARS δεν στέκεται σε κανένα άκρο. Διαλέγει μια ενδιάμεση μονάδα και δίνει στον μαθητή τον μοχλό να τη ρυθμίσει.

Ο μοχλός: κατάτμηση στην επεξεργασία βιβλίου

Το κεφάλαιο δεν είναι δεδομένο μέγεθος. Στην επεξεργασία βιβλίου ο μαθητής σπάει το υλικό σε ενότητες και ομάδες: ένα κεφάλαιο είκοσι παραγράφων με τρεις θεματικές ενότητες μπορεί να γίνει τρεις μονάδες, ή περισσότερες.

Η σημασία δεν είναι ότι η μονάδα γίνεται μικρότερη. Είναι ότι γίνεται πιο ομοιογενής: οι φυσικές ενότητες ενός κεφαλαίου τείνουν να έχουν και παρόμοια δυσκολία, οπότε το σκορ που παράγουν περιγράφει πράγματι αυτό που μετρά. Η κατάτμηση δεν πολλαπλασιάζει απλώς την ανάλυση του προγραμματισμού — μειώνει τη διασπορά μέσα στη μονάδα, που είναι η αιτία του προβλήματος.

Είναι επίσης ο λόγος που το ανώτατο όριο των εκατό ερωτήσεων ανά κεφάλαιο σπάνια αγγίζεται στην πράξη: ένα κεφάλαιο δουλεμένο σε ενότητες παράγει τρεις δεξαμενές μεσαίου μεγέθους αντί για μία κορεσμένη.

Τι δεν λύνει αυτό

Η κατάτμηση είναι χειροκίνητη. Και ο μαθητής που τη χρειάζεται περισσότερο — ο αρχάριος με το ετερογενές κεφάλαιο — είναι ο λιγότερο πιθανός να τη σκεφτεί. Η δυνατότητα υπάρχει· η καθοδήγηση προς αυτήν δεν υπάρχει ακόμη. Μέχρι να υπάρξει, η ένσταση για τη μονάδα του προγραμματισμού παραμένει εν μέρει ανοιχτή, και σωστά.

Η εφαρμογή έχει ήδη τα δεδομένα για να το κάνει μόνη της: όταν μέσα σε ένα κεφάλαιο ένα υποσύνολο ερωτήσεων αποτυγχάνει σταθερά ενώ το υπόλοιπο περνά, αυτή είναι μετρήσιμη διασπορά και μπορεί να προταθεί κατάτμηση στο συγκεκριμένο σημείο. Δεν έχει υλοποιηθεί. Το αναφέρουμε ως σχεδιαζόμενο, όχι ως υπάρχον.

9. Γιατί δεν κρύβονται τα πάντα

Η ανάκληση χωρίς καμία νύξη δεν είναι ο χρυσός κανόνας. Είναι απλώς το δυσκολότερο άκρο — και, το κρισιμότερο, δεν είναι η δοκιμασία που περιμένει τον μαθητή. Ο καθηγητής ρωτά κάτι. Το διαγώνισμα διατυπώνει κάτι. Ακόμη και η εσωτερική σκέψη που συνθέτει δύο γνώσεις ξεκινά από κάτι. Κάθε μία από αυτές τις καταστάσεις κουβαλά λέξεις-κλειδιά, και η δουλειά τους είναι να πυροδοτήσουν την ανάκληση. Ένα σύστημα που εκπαιδεύει σε ανάκληση από ερέθισμα δεν απλουστεύει τη δοκιμασία — την αντιγράφει. Το «πες τα όλα απ' έξω, χωρίς τίποτα μπροστά σου» είναι η τεχνητή περίπτωση, όχι η ρεαλιστική.

«Πες μου το μάθημα της ημέρας» δίνει μηδέν ερεθίσματα, τεράστιο φορτίο, μία μόνο προσπάθεια και υψηλή πιθανότητα αποτυχίας. Όσο αυξάνει η δυσκολία, αυξάνει μεν η αξία κάθε επιτυχημένης ανάκλησης, αλλά μειώνεται η πιθανότητα να συμβεί, και αυξάνονται ο χρόνος, η κόπωση και η εγκατάλειψη. Η χρήσιμη περιοχή βρίσκεται ανάμεσα στην πλήρη αποκάλυψη και στο απόλυτο κενό.

Στην εφαρμογή, η στήλη των σημειώσεων θολώνει πλήρως — καμία λέξη δεν διαβάζεται. Αυτό που μένει ορατό είναι το κλειδί, ο αριθμός των γραμμών και το μήκος τους. Δηλαδή η δομή της απάντησης, όχι το περιεχόμενό της. Ο μαθητής ξέρει ότι ψάχνει δύο πράγματα, όχι ένα — και αυτό αρκεί για να ενεργοποιήσει την προσπάθεια χωρίς να προδώσει την απάντηση.

Ο έλεγχος είναι δικός του: μπορεί να θολώσει μόνο τις σημειώσεις, μόνο τα κλειδιά για την αντίστροφη άσκηση, ή και τα δύο για πλήρη αυτοδοκιμασία. Η υπόδειξη στις ερωτήσεις έχει κόστος — αν χρησιμοποιηθεί, η βαθμολογία δεν μπορεί να ξεπεράσει τα τρία αστέρια — ώστε η αυτοαξιολόγηση να παραμένει ειλικρινής.

Η διάκριση που έχει σημασία. Δύο πράγματα μένουν ορατά και δεν είναι το ίδιο πράγμα. Το κλειδί είναι νόμιμο και μεταφέρσιμο ερέθισμα: κάποια μορφή του θα υπάρχει και στην ερώτηση του καθηγητή. Το χρώμα, η θέση στη σελίδα και ο αριθμός των γραμμών είναι συμφραζόμενα της εφαρμογής και δεν θα υπάρχουν πουθενά αλλού.

Το ρίσκο, δηλωμένο, αφορά μόνο τα δεύτερα: ο μαθητής μπορεί να αποδίδει καλά μέσα στη συγκεκριμένη οπτική διάταξη και λιγότερο καλά χωρίς αυτήν. Το αντίδοτο υπάρχει ήδη ως δυνατότητα — απόκρυψη και των δύο στηλών — αλλά η εφαρμογή δεν την επιβάλλει. Δεν επιβάλλεται επίτηδες: η κατάργηση του κλειδιού δεν κάνει την άσκηση αυστηρότερη, την κάνει άλλη άσκηση — και μάλιστα μία που δεν αντιστοιχεί σε καμία πραγματική εξέταση.

Και η μερική ανάκληση δεν είναι αποτυχία. Κανείς δεν ανακαλεί το σύνολο μιας απάντησης κάθε φορά. Αν ο μαθητής θυμήθηκε τρία από τα τέσσερα στοιχεία μιας μπάρας, ξεθόλωσε και είδε το τέταρτο, η επανάληψη έκανε ακριβώς τη δουλειά της: εντόπισε το κενό και το γέμισε την ίδια στιγμή. Η μπάρα δεν είναι μονάδα βαθμολογίας, είναι μονάδα νοήματος.

10. Η κλίμακα προσπάθειας

Ο χρήστης δεν είναι μηχανή που εκτελεί ένα πρόγραμμα. Είναι έφηβος με έξι μαθήματα, κακή μέρα την Τρίτη και εξετάσεις τον Μάιο. Η ενεργητική ανάκληση κουράζει — αυτό είναι μέρος του λόγου που δουλεύει, και ολόκληρος ο λόγος που εγκαταλείπεται.

Η εφαρμογή δίνει ένα βασικό πλάνο και αφήνει τον μαθητή να επιλέξει πόση προσπάθεια θα βάλει πάνω στο ίδιο υλικό, χωρίς να αλλάξει εργαλείο:

• Μέγιστη. Τεστ, επιπλέον ερωτήσεις κατά βούληση, πλήρης θόλωση και των δύο στηλών, ανάκληση μπάρα προς μπάρα.
• Βασική. Το τεστ όπως έρχεται, μετά θολωμένες σημειώσεις και ανάκληση από τα κλειδιά.
• Ελάχιστη. Παράκαμψη του τεστ, όλα ορατά, γρήγορο πέρασμα ολόκληρου του κεφαλαίου.

Η ιεραρχία δηλώνεται και δεν κρύβεται: η ανάκληση είναι ο κινητήρας. Το γρήγορο πέρασμα δεν είναι ισοδύναμό της. Είναι αυτό που εμποδίζει τον κινητήρα να εγκαταλειφθεί σε μια κουρασμένη μέρα — και μια μέθοδος που γίνεται στο ελάχιστο αποδίδει περισσότερο από μια μέθοδο που δεν γίνεται καθόλου.

Γιατί το γρήγορο πέρασμα δεν είναι ξαναδιάβασμα

Στο ξαναδιάβασμα ο μαθητής διατρέχει γραμμικά ένα κείμενο που δεν έχει δομήσει ο ίδιος, και κάθε πρόταση μοιάζει με την επόμενη. Στο γρήγορο πέρασμα κοιτάζει σημεία που όρισε ο ίδιος, σε θέσεις σταθερές επειδή τις έφτιαξε ο ίδιος. Δεν διαβάζει τις σημειώσεις μία προς μία: σαρώνει τα κλειδιά και σε κάθε ένα ελέγχει αν του έρχεται ή όχι το περιεχόμενο.

Αυτό δεν είναι κωδικοποίηση, είναι παρακολούθηση — ένας ταχύς έλεγχος του τι κρατάει ακόμη και τι όχι. Δεν αντικαθιστά την ανάκληση· εντοπίζει πού χρειάζεται. Το χρώμα, η διάταξη σε δύο στήλες και τα εικονίδια υπηρετούν αυτόν ακριβώς τον σκοπό: επιτρέπουν στο μάτι να βρει σημείο μέσα σε ένα κεφάλαιο, όχι να απομνημονεύσει τη σελίδα.

Και εδώ υπάρχει δομική διαφορά από τις κλασικές κάρτες. Σε ένα σύστημα flashcards οι κάρτες είναι σειριακές εκ κατασκευής: μία τη φορά, μπρος και πίσω. Δεν υπάρχει τρόπος να δεις ένα ολόκληρο κεφάλαιο σε μία διάταξη, γιατί το σύστημα δεν γνωρίζει ότι οι κάρτες ανήκουν σε κεφάλαιο με σειρά και σχέσεις μεταξύ τους. Εδώ η σειρά του βιβλίου διατηρείται, οπότε η εποπτεία ενός κεφαλαίου σε ένα λεπτό είναι εφικτή. Είναι λειτουργία που οι κάρτες, ως μορφή, δεν μπορούν να προσφέρουν — και είναι η φθηνότερη επανάληψη που υπάρχει όταν ο χρόνος ή η διάθεση λείπουν.

11. Τι είναι τεκμηριωμένο, τι είναι σχεδιαστική επιλογή, τι δεν έχει ελεγχθεί

Για την ίση μεταχείριση: η απουσία δημοσιευμένης μελέτης ειδικά για το NOTEBARS είναι πραγματικό κενό και δηλώνεται. Το ίδιο κριτήριο όμως πρέπει να εφαρμόζεται και στις εναλλακτικές. Δεν αρκεί ότι κάτι «είναι Anki» ή «είναι χειρόγραφο»: ούτε αυτά διαθέτουν ελεγχόμενες δοκιμές ως προϊόντα ή ως πρακτικές με τη μορφή που τα χρησιμοποιεί ένας μαθητής. Αξιολογούμε πρώτα τους μηχανισμούς και μετά τη συγκεκριμένη υλοποίηση — για όλους.

Μια απουσία που είναι επιλογή, όχι παράλειψη. Η εφαρμογή δεν αναμειγνύει αυτόματα ερωτήσεις από διαφορετικά κεφάλαια (interleaving). Η μεγαλύτερη μετα-ανάλυση του φαινομένου — 238 συγκρίσεις — δίνει συνολικά g = 0,42, αλλά με καθοριστική εξάρτηση από το υλικό: ισχυρό σε κατηγοριοποίηση εικόνων (g = 0,67), μικρό στα μαθηματικά (g = 0,34), μη σημαντικό σε κείμενα έκθεσης γνώσης και αρνητικό στην εκμάθηση λέξεων (g = −0,39, δηλαδή η ομαδοποίηση ήταν καλύτερη). Οι ίδιοι οι συγγραφείς συνιστούν προσοχή ακριβώς σε κείμενα και λέξεις (Brunmair & Richter, 2019).

Η γενίκευση όμως θα ήταν βολική και δεν την κάνουμε. Το εύρημα καλύπτει την κατανόηση συνεχούς κειμένου, όχι κάθε σχολική ύλη. Όπου η δυσκολία είναι διάκριση — χρονολογίες, πρόσωπα και αίτια που μπερδεύονται μεταξύ κεφαλαίων Ιστορίας, ορολογία που μοιάζει μεταξύ ενοτήτων Βιολογίας — η ανάμειξη είναι ακριβώς η συνθήκη όπου η βιβλιογραφία δείχνει όφελος. Εκεί το interleaving πιθανότατα θα βοηθούσε και δεν υπάρχει αυτόματα. Σήμερα παραμένει εφικτό μόνο χειροκίνητα, μέσω των φίλτρων πολλών κεφαλαίων. Είναι δηλωμένο κενό, όχι τεκμηριωμένη επιλογή, και η διάκριση ανάμεσα στις δύο περιπτώσεις δεν έχει υλοποιηθεί.

Οι δημοσιεύσεις

Τα μεγέθη επίδρασης παραπάνω προέρχονται από τις εξής εργασίες. Αναφέρονται ολόκληρες ώστε να μπορούν να ελεγχθούν.

• Nesbit, J. C., & Adesope, O. O. (2006). Learning with concept and knowledge maps: A meta-analysis. Review of Educational Research, 76(3), 413–448.
• Schroeder, N. L., & Cenkci, A. T. (2018). Spatial contiguity and spatial split-attention effects in multimedia learning environments: A meta-analysis. Educational Psychology Review, 30(3), 679–701.
• Farrand, P., Hussain, F., & Hennessy, E. (2002). The efficacy of the ‘mind map’ study technique. Medical Education, 36(5), 426–431.
• Brunmair, M., & Richter, T. (2019). Similarity matters: A meta-analysis of interleaved learning and its moderators. Psychological Bulletin, 145(11), 1029–1052.
• Tulving, E., & Thomson, D. M. (1973). Encoding specificity and retrieval processes in episodic memory. Psychological Review, 80(5), 352–373.
• Hunt, R. R., & Einstein, G. O. (1981). Relational and item-specific information in memory. Journal of Verbal Learning and Verbal Behavior, 20(5), 497–514.
• Morris, C. D., Bransford, J. D., & Franks, J. J. (1977). Levels of processing versus transfer appropriate processing. Journal of Verbal Learning and Verbal Behavior, 16(5), 519–533.
• Roediger, H. L., & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255.
• Cepeda, N. J., Pashler, H., Vul, E., Wixted, J. T., & Rohrer, D. (2006). Distributed practice in verbal recall tasks: A review and quantitative synthesis. Psychological Bulletin, 132(3), 354–380.

Τι λένε και τι δεν λένε. Οι εργασίες αυτές τεκμηριώνουν τους μηχανισμούς πάνω στους οποίους χτίστηκε η εφαρμογή. Καμία τους δεν αφορά το NOTEBARS, και καμία δεν αποτελεί μέτρηση της συγκεκριμένης υλοποίησης. Η διάκριση είναι ουσιώδης και τηρείται σε ολόκληρο το σημείωμα.

12. Πού δεν κάνει

Η μέθοδος ταιριάζει σε ύλη που εξετάζεται λεκτικά: ορισμοί, γεγονότα, ακολουθίες, αντιστοιχίσεις, έννοιες και οι σχέσεις τους. Ιστορία, Βιολογία, θεωρητικά μαθήματα, ορολογία, πιστοποιήσεις.

Δεν αντικαθιστά την πρακτική εξάσκηση σε μαθηματικά, προγραμματισμό, φυσική επίλυση προβλημάτων, παραγωγή γραπτού ή προφορικού λόγου, εργαστηριακές και κινητικές δεξιότητες. Σε αυτά χρειάζεται εκτεταμένη εφαρμογή, ανατροφοδότηση στη διαδικασία και ποικιλία προβλημάτων. Η καλή ανάκληση ορισμών δεν εγγυάται μεταφορά σε νέο πρόβλημα.

Αυτό είναι στόχευση, όχι έλλειψη. Η βιβλιοθήκη έτοιμων βιβλίων της εφαρμογής είναι χτισμένη πάνω σε αυτή ακριβώς την παραδοχή.

Δύο πράγματα που συγχέονται. Η εφαρμογή παράγει συνδέσεις: ο μαθητής αποφασίζει τι είναι σημαντικό, η δομή δείχνει τι ανήκει με τι, οι συγκρίσεις και οι σχέσεις αιτίας – αποτελέσματος γίνονται ορατές, και η επιστροφή στην πηγή κρατά κάθε σημείωση δεμένη με τα συμφραζόμενά της. Αυτό είναι εννοιολογική οργάνωση και το υποστηρίζει η σχεδίαση.

Δεν είναι όμως μακρινή μεταφορά — εφαρμογή σε άγνωστο πρόβλημα, σύνθεση πρωτότυπου επιχειρήματος, χρήση της γνώσης σε εντελώς άλλο πλαίσιο. Αυτή απαιτεί ερωτήσεις εφαρμογής, σύγκριση περιπτώσεων και παραγωγή απάντησης χωρίς τις αρχικές νύξεις. Η εφαρμογή δεν τη διεκδικεί, και οι δύο ικανότητες δεν πρέπει να βαθμολογούνται ως μία.

13. Ποια εμπειρικά στοιχεία υπάρχουν ήδη

Δεν υπάρχει ελεγχόμενη μελέτη μάθησης. Υπάρχουν όμως στοιχεία άλλου είδους, και είναι ελέγξιμα από τον καθένα. Παρατίθενται εδώ ώστε να μη συγχέονται με αυτό που δεν είναι.

Τέσσερα χρόνια επαναληπτικού σχεδιασμού με παρατήρηση μαθητών. Η εφαρμογή κυκλοφόρησε στο App Store τον Ιανουάριο του 2023 και βρίσκεται σήμερα στην έκδοση 6. Κάθε μεγάλη αναθεώρηση προέκυψε από παρατήρηση πραγματικών μαθητών πάνω στην εφαρμογή, όχι από θεωρητικό σχεδιασμό στο γραφείο. Αυτό είναι διαμορφωτική αξιολόγηση: εξηγεί γιατί η ροή δουλεύει και πού είχε τριβή, δεν αποδεικνύει μαθησιακό αποτέλεσμα.

Στοιχεία υιοθέτησης και συνέχισης. Στο Google Play, πάνω από 5.000 λήψεις και βαθμολογία 4,5 από 53 κριτικές. Στο App Store, 3,5 από 8 βαθμολογίες. Παρατίθενται και τα δύο, μαζί με τη διαφορά τους: το μικρότερο δείγμα του App Store περιλαμβάνει και κριτικές για σφάλμα εκκίνησης μετά από ενημέρωση του iOS, το οποίο διορθώθηκε.

Γιατί αυτό δεν είναι διακοσμητικό. Η ενότητα 1 ορίζει ότι το αναμενόμενο όφελος μιας μεθόδου είναι το γινόμενο τριών πραγμάτων: πόσο δουλεύει, πόσο πιθανό είναι να την κάνει ο μαθητής, και πόσο πιθανό είναι να τη συνεχίζει. Τα στοιχεία των καταστημάτων αφορούν ακριβώς τον δεύτερο και τον τρίτο παράγοντα — τους μόνους δύο που καμία εργαστηριακή μελέτη δεν μετράει ποτέ, επειδή στο εργαστήριο η συμμετοχή είναι υποχρεωτική. Είναι μερική εμπειρική βάση, όχι μηδενική.

Τι δεν δείχνουν, δηλωμένο. Οι βαθμολογίες μετρούν ικανοποίηση, όχι συγκράτηση. Το δείγμα είναι μικρό και αυτοεπιλεγμένο — κρίνουν όσοι μπήκαν στον κόπο να κρίνουν. Κανένα από αυτά τα νούμερα δεν λέει τίποτε για το πόσα θυμάται ένας μαθητής δύο εβδομάδες μετά. Αυτό το μετράει μόνο η δοκιμή που περιγράφεται αμέσως παρακάτω.

14. Τι θα έπειθε

Η μέθοδος στηρίζεται σε τεκμηριωμένους μηχανισμούς. Αυτό δεν σημαίνει ότι η συγκεκριμένη υλοποίηση έχει αποδειχθεί — είναι διαφορετικά πράγματα και δεν θα ισχυριστούμε το δεύτερο.

Η δοκιμή που θα δεχόμασταν ως κριτήριο:

• Ίσος συνολικός χρόνος μελέτης σε όλες τις ομάδες — όχι ίσος αριθμός καρτών ή σημειώσεων.
• Σύγκριση με Anki, με σκέτη πρακτική ανάκλησης χωρίς εργαλείο, και με ξαναδιάβασμα.
• Καθυστερημένο τεστ, τουλάχιστον δύο εβδομάδες μετά — όχι μέτρηση αμέσως μετά τη μελέτη, που ευνοεί συστηματικά τις παθητικές μεθόδους.
• Καταγραφή εγκατάλειψης, όχι μόνο επίδοσης όσων ολοκλήρωσαν.
• Πραγματική σχολική ύλη, όχι κατασκευασμένο υλικό εργαστηρίου.

Φροντιστήρια και εκπαιδευτικοί που θέλουν να συμμετάσχουν σε τέτοια δοκιμή μπορούν να επικοινωνήσουν μαζί μας.