Blind test και άλλες απόψεις
Quote:
Originally Posted by dStam
(έχω την υποψία, δε, ότι ο Vassilis θα μπορούσε να μοιραστεί μαζί μας μερικές εμπειρίες επ' αυτού... κατά προτίμηση ανοίγοντας ένα νέο θέμα )
Μετά αυτή την πρόσκληση-πρόκληση σου (τι το ήθελες) άρπα τώρα την παρακάτω Ιερά Σινδόνη του Τορίνο (ή Τουρίνου) σε μια από τις ελάχιστες δημόσιες εξόδους της από την βαρύτιμη θήκη της για αέρισμα για μην μουχλιάσει.
Απλά και μόνο για λόγους εξυπηρέτησης της συζήτησης και για να ξεκινήσω από κάπου απομόνωσα μερικές φράσεις (οι υπογραμμίσεις είναι δικές μου) :
Quote:
...δεν έχω παρατηρήσει κάτι τέτοιο, αλλά έχω παρατηρήσει το κουφό του να ακούγεται χειρότερα το .....
Quote:
....και το .... ακούγεται καλύτερα γιατί δε χρειάζεται να ....μετατραπεί το...
Και το
Quote:
αφού η φύση του τεστ είναι τέτοια που ειδικότερα οι μη έμπειροι από τους ακροατές σε τέτοιες περιπτώσεις μπορεί να ξεγελαστούν και να αποδειχτεί ότι η εκτίμηση τους είναι τελείως λανθασμένη. Και κλασικό παράδειγμα έχουμε όταν σε blind test εκτιμούν ότι το mp3 ακούγεται καλύτερα από το wav.
Όπως το έζησα από κοντά εξέλαβα ότι το προς διερεύνηση στα blind test (που ορθά χαρακτήρισε ως «ακαδημαϊκά» ο dstam) δεν είναι η διαπίστωση του καλύτερου (πέραν του ότι δεν υπάρχει καλυτερόμετρο, όπως σωστά είπε κάποιος κάπου, αυτήν ακριβώς η υποκειμενική παράμετρος είναι που πρέπει να αποκλειστεί από μια τέτοια διαδικασία) αλλά το να εντοπιστούν οι ενδεχόμενες διαφορές και το σε τι αυτές συνίστανται.
Για το λόγο αυτό προηγείται και «εκπαίδευση» των ακροατών ώστε να εξοικειωθούν με συγκεκριμένα ακουστικά κριτήρια ώστε να χρησιμοποιείται και κοινό λεξιλόγιο (ορολογία) με το ίδιο περιεχόμενο (να ένα θέμα που θα πρέπει να απασχολήσει τον ειδικό τύπο -έντυπο ή ηλεκτρονικό- και το αναγνωστικό κοινό αυτού) που απέχουν σίγουρα από ορισμούς όπως καλύτερο - χειρότερο ή προτιμότερο - λιγότερο προτιμητέο ή λιγότερο αρεστό - περισσότερο αρεστό. Συγκεκριμένα όροι των οποίων το περιεχόμενο έχει προκύψει από άλλα test και έρευνες ψυχοακουστικής και έχουν δοκιμαστεί και έχουν πλέον στατιστικώς και ακαδημαϊκός αποδεκτοί με τις λιγότερες δυνατές αμφισβητήσεις όπως αυτές που θα δείτε στη σελ. 44 του αρχείου στο παρακάτω link.
http://www.ebu.ch/en/technical/trev/trev_274-hoeg.pdf
Δεν νοείται test αυτού του είδους χωρίς την εξοικείωση με το περιεχόμενο της κοινής ορολογίας που ανέφερα. Ο σκοπός ενός τέτοιου test εξ αρχής είναι να εξυπηρετηθεί η ΣΤΑΤΙΣΤΙΚΗ και δεν έχει να κάνει σε τίποτα με τα γούστα μας το αντίθετο μάλιστα. Σκοπός ενός τέτοιου test είναι να εκμηδενίσει το κίνδυνο του να ξεγελαστεί κάποιος και κυρίως να μην του αφεθεί η δυνατότητα του να παρασυρθεί σε κρίσεις μεταξύ καλύτερου ή μη. Αυτό που είναι το ζητούμενο σε μια τέτοια διαδικασία είναι :
Να εντοπιστούν διαφορές; ποιες συγκεκριμένες διαφορές; πόσο μεγάλες;
ΚΑΙ ΜΟΝΟ ΑΥΤΑ.
Το καλύτερο ή όχι θα μας το ανακοινώσουν αυτοί που θα μελετήσουν την στατιστική (οργανισμοί, φορείς, συντεχνίες, πανεπιστήμια κ.α) είτε μας αρέσει είτε όχι.
Και τελικά σαφώς και σωστά ισχύει το ότι:
Quote:
δεν πρόκειται για μια δημοκρατική διαδικασία "απλής αναλογικής" όπου αν σε πέντε ζευγάρια Α/Β, βρείς το Β τρεις φορές έχεις αποδείξει κάτι!
Για αυτό είναι απολύτως κρίσιμο το test αυτό να
Quote:
... γίνει με τις κατάλληλες συνθήκες (και έχει σχεδιαστεί σωστά)
Ώστε να
Quote:
... μην έχεις πολλά περιθώρια αμφισβήτησης παρά μόνο πραγματοποιώντας ένα άλλο ανάλογο test που θα εξετάζει την ισχύ μιας διαφορετικής υπόθεσης η οποία αντικρούει αυτήν που απέδειξε το πρώτο test!
Και φυσικά το επανεξετάζεις μια «υπόθεση» (φυσικά με αποδεκτά και επαρκή κριτήρια και εργαλεία) είναι εντελώς δημοκρατικό και επίσης προάγει σαφώς και την επιστήμη.
Και για να αντιληφθούμε την σοβαρότητα μιας τέτοιας προσέγγισης, όλα τα παραπάνω συμβαίνουν για κάτι που οι δημιουργοί ή οι μελετητές, κ.λ.π ενός τέτοιου test ονομάζουν έτσι και αλλιώς subjective (παρά του ότι το έχουν στήσει και δουλεύουν πάνω σε αυτό χωρίς έννοιες όπως καλύτερο ή χειρότερο) απλά και μόνο γιατί όσο και να προσπαθήσεις τελικά δεν υπάρχει σίγουρος τρόπος να καλιμπράρεις την ανθρώπινη ακουστική αντίληψη.
:o
Αριστοτέλη ζεις εσύ μας οδηγείς.
Quote:
Originally Posted by
dStam
...Πριν από τριάντα χρόνια οι μετρητές παραμόρφωσης δεν μπορούσαν να πραγματοποιήσουν σαρώσεις, είκοσι χρόνια πριν δεν γνωρίζαμε την TIM και την IMD, πρίν από δεκαπέντε χρόνια δεν μπορούσαμε να μετρήσουμε το jitter, σήμερα προσπαθούμε με κόπο (και τεράστια ποσά) να πραγματοποιήσουμε perceptual μετρήσεις.
Δεν θα αρνηθούμε τα εργαλεία του σήμερα (θα δουλεψουμε με αυτά και με αυτά θα πάμε στο αύριο. Τι παει να πέι αυτό το «πριν τριάντα χρόνια δεν μπορούσαμε...» κάθε φορά θα μετράμε συτό που μπορούμε και έτσι θα βρίσκουμε το κενό για να το καλυψουμε στο επόμενο βήμα. Δεν θα αρνηθούμε τις δυνατότητες του σήμερα ένεκα του βελτιωμένου αύριο.
«Όλοι είμαστε αιχμάλωτοι της εποχής που γεννηθήκαμε, γράφει ο Ντάνιελ Κέλμαν. Η εποχή σου σού προσφέρει ένα τεράστιο πλεονέκτημα ως προς το παρελθόν και σε κάνει καρνάβαλο του μέλλοντος»
Είπε ο Καρλ Φρίντριχ Γκάους, ο επονομαζόμενος και «πρίγκιπας των μαθηματικών», ένα παιδί-θαύμα, γόνος αγράμματων αγροτών, που ήδη στα 21 κέρδισε την αιωνιότητα γράφοντας το «Disquisitiones Αrithmeticae», ένα σπουδαίο βιβλίο της θεωρίας των αριθμών. στο βιβλίο «Η μέτρηση του κόσμου» του Ντάνιελ Κέλμαν. Το μεγαλύτερο σύγχρονο μπεστ σέλερ της γερμανικής λογοτεχνίας
«Αν κάτι σε τρομάζει, μέτρα το»
«Τα γεγονότα και οι αριθμοί θα μπορούσαν, ίσως, να φέρουν τη σωτηρία. Να απογυμνώσουν την πλάση από τη φαντασία, το όνειρο, την πλάνη και την ομίχλη».
Και θα ματώσουμε για αυτό. Αριστοτέλη ζεις εσύ μας οδηγείς.
"mizaru, kikazaru, iwazaru"
Quote:
Originally Posted by
dStam
Να το κάνω λίγο πιο λιανά, γιατί έχω την εντύπωση ότι δεν γίνομαι κατανοητός (και μάλλον φταίω εγώ... :o ):
1. H διαδικασία μιας τυφλής δοκιμής περιλαμβάνει ως παράμετρο και το σύστημα.
2. Οι συμμετέχοντες στην δοκιμή, επισήμως, δεν δικαιούνται να έχουν άποψη για τις παραμέτρους επειδή δεν τους αφορούν. Η δοκιμή δεν είναι "στοίχημα" γι' αυτούς και δεν κρίνεται οποιαδήποτε ικανότητά τους. Έχουν ήδη κριθεί ικανοί, από την στιγμή που συμμετέχουν, και θεωρούνται αξιόπιστοι από την στιγμή που έχουν περάσει το post screening. Αν υπάρχει διακύβευμα αφορά τους διοργανωτές.
3. Η δημοσίευση των αποτελεσμάτων της δοκιμής, όταν γίνεται, περιλαμβάνει, εκτός των άλλων, και το σύνολο των παραμέτρων, οι οποίες καθορίζονται με αρκετή σαφήνεια από την βιβλιογραφία, ώστε να μπορεί να ελεγχθεί η ορθότητά της, να μπορεί να γίνει κριτική (όπως καλή ώρα, ύστερα από πέντε χρόνια!) και να εξασφαλίζεται μια ελάχιστη δυνατότητα επαναληψιμότητας.
4. Με βάση τα παραπάνω, η αμφισβήτηση του αποτελέσματος μπορεί να γίνει επί τη βάση αποκλίσεων είτε από την διαδικασία, είτε από την μαθηματική επεξεργασία, είτε από τις προτεινόμενες προδιαγραφές των παραμέτρων και με σαφή αναφορά στην παράμετρο και το είδος της απόκλισης της.
Όπως κατάλαβες φίλε μου Μήτσο:
http://upload.wikimedia.org/wikipedi...il_Toshogu.jpg
και πιθανά εσύ να είσαι πιο σοφός...