+ Reply to Thread
Page 1 of 2 1 2 LastLast
Results 1 to 10 of 33

Thread: Blind test και άλλες απόψεις

Hybrid View

  1. #1

    Post Blind test και άλλες απόψεις

    Originally Posted by dStam
    (έχω την υποψία, δε, ότι ο Vassilis θα μπορούσε να μοιραστεί μαζί μας μερικές εμπειρίες επ' αυτού... κατά προτίμηση ανοίγοντας ένα νέο θέμα )

    Μετά αυτή την πρόσκληση-πρόκληση σου (τι το ήθελες) άρπα τώρα την παρακάτω Ιερά Σινδόνη του Τορίνο (ή Τουρίνου) σε μια από τις ελάχιστες δημόσιες εξόδους της από την βαρύτιμη θήκη της για αέρισμα για μην μουχλιάσει.

    Απλά και μόνο για λόγους εξυπηρέτησης της συζήτησης και για να ξεκινήσω από κάπου απομόνωσα μερικές φράσεις (οι υπογραμμίσεις είναι δικές μου) :

    ...δεν έχω παρατηρήσει κάτι τέτοιο, αλλά έχω παρατηρήσει το κουφό του να ακούγεται χειρότερα το .....


    ....και το .... ακούγεται καλύτερα γιατί δε χρειάζεται να ....μετατραπεί το...

    Και το
    αφού η φύση του τεστ είναι τέτοια που ειδικότερα οι μη έμπειροι από τους ακροατές σε τέτοιες περιπτώσεις μπορεί να ξεγελαστούν και να αποδειχτεί ότι η εκτίμηση τους είναι τελείως λανθασμένη. Και κλασικό παράδειγμα έχουμε όταν σε blind test εκτιμούν ότι το mp3 ακούγεται καλύτερα από το wav.

    Όπως το έζησα από κοντά εξέλαβα ότι το προς διερεύνηση στα blind test (που ορθά χαρακτήρισε ως «ακαδημαϊκά» ο dstam) δεν είναι η διαπίστωση του καλύτερου (πέραν του ότι δεν υπάρχει καλυτερόμετρο, όπως σωστά είπε κάποιος κάπου, αυτήν ακριβώς η υποκειμενική παράμετρος είναι που πρέπει να αποκλειστεί από μια τέτοια διαδικασία) αλλά το να εντοπιστούν οι ενδεχόμενες διαφορές και το σε τι αυτές συνίστανται.

    Για το λόγο αυτό προηγείται και «εκπαίδευση» των ακροατών ώστε να εξοικειωθούν με συγκεκριμένα ακουστικά κριτήρια ώστε να χρησιμοποιείται και κοινό λεξιλόγιο (ορολογία) με το ίδιο περιεχόμενο (να ένα θέμα που θα πρέπει να απασχολήσει τον ειδικό τύπο -έντυπο ή ηλεκτρονικό- και το αναγνωστικό κοινό αυτού) που απέχουν σίγουρα από ορισμούς όπως καλύτερο - χειρότερο ή προτιμότερο - λιγότερο προτιμητέο ή λιγότερο αρεστό - περισσότερο αρεστό. Συγκεκριμένα όροι των οποίων το περιεχόμενο έχει προκύψει από άλλα test και έρευνες ψυχοακουστικής και έχουν δοκιμαστεί και έχουν πλέον στατιστικώς και ακαδημαϊκός αποδεκτοί με τις λιγότερες δυνατές αμφισβητήσεις όπως αυτές που θα δείτε στη σελ. 44 του αρχείου στο παρακάτω link.

    http://www.ebu.ch/en/technical/trev/trev_274-hoeg.pdf

    Δεν νοείται test αυτού του είδους χωρίς την εξοικείωση με το περιεχόμενο της κοινής ορολογίας που ανέφερα. Ο σκοπός ενός τέτοιου test εξ αρχής είναι να εξυπηρετηθεί η ΣΤΑΤΙΣΤΙΚΗ και δεν έχει να κάνει σε τίποτα με τα γούστα μας το αντίθετο μάλιστα. Σκοπός ενός τέτοιου test είναι να εκμηδενίσει το κίνδυνο του να ξεγελαστεί κάποιος και κυρίως να μην του αφεθεί η δυνατότητα του να παρασυρθεί σε κρίσεις μεταξύ καλύτερου ή μη. Αυτό που είναι το ζητούμενο σε μια τέτοια διαδικασία είναι :

    Να εντοπιστούν διαφορές; ποιες συγκεκριμένες διαφορές; πόσο μεγάλες;

    ΚΑΙ ΜΟΝΟ ΑΥΤΑ.


    Το καλύτερο ή όχι θα μας το ανακοινώσουν αυτοί που θα μελετήσουν την στατιστική (οργανισμοί, φορείς, συντεχνίες, πανεπιστήμια κ.α) είτε μας αρέσει είτε όχι.


    Και τελικά σαφώς και σωστά ισχύει το ότι:

    δεν πρόκειται για μια δημοκρατική διαδικασία "απλής αναλογικής" όπου αν σε πέντε ζευγάρια Α/Β, βρείς το Β τρεις φορές έχεις αποδείξει κάτι!

    Για αυτό είναι απολύτως κρίσιμο το test αυτό να


    ... γίνει με τις κατάλληλες συνθήκες (και έχει σχεδιαστεί σωστά)

    Ώστε να

    ... μην έχεις πολλά περιθώρια αμφισβήτησης παρά μόνο πραγματοποιώντας ένα άλλο ανάλογο test που θα εξετάζει την ισχύ μιας διαφορετικής υπόθεσης η οποία αντικρούει αυτήν που απέδειξε το πρώτο test!
    Και φυσικά το επανεξετάζεις μια «υπόθεση» (φυσικά με αποδεκτά και επαρκή κριτήρια και εργαλεία) είναι εντελώς δημοκρατικό και επίσης προάγει σαφώς και την επιστήμη.

    Και για να αντιληφθούμε την σοβαρότητα μιας τέτοιας προσέγγισης, όλα τα παραπάνω συμβαίνουν για κάτι που οι δημιουργοί ή οι μελετητές, κ.λ.π ενός τέτοιου test ονομάζουν έτσι και αλλιώς subjective (παρά του ότι το έχουν στήσει και δουλεύουν πάνω σε αυτό χωρίς έννοιες όπως καλύτερο ή χειρότερο) απλά και μόνο γιατί όσο και να προσπαθήσεις τελικά δεν υπάρχει σίγουρος τρόπος να καλιμπράρεις την ανθρώπινη ακουστική αντίληψη.

  2. #2

    Default

    ΠΡΟΣΩΠΙΚΕΣ ΕΚΤΙΜΗΣΕΙΣ – ΠΑΡΑΤΗΡΉΣΕΙΣ

    Θέση (Thesis)

    Τώρα, αν όσα ανέφερα παραπάνω αφορούν ηχογραφημένο υλικό στο όποιο format, coding, πείτε το όπως θέλετε, για το οποίο καλούμαστε να εντοπίσουμε διαφορές τότε πρέπει να εμπλέξουμε και ένα σύστημα αναπαραγωγής και ένα χώρο αναπαραγωγής που όχι μόνο θα μας βοηθήσει να εντοπίσουμε τις διαφορές που ψάχνουμε αλλά να έχει και υψηλή την ικανότητα να τις αποκαλύπτει. Και εδώ είναι ένα σημείο που προσωπικά είχα εκφράσει σοβαρότατες επιφυλάξεις (στον dstam ως chief researcher –ο όρος δικός μου- στο εν λόγω test προ 5-6 ετών ) αφού ή δική μου εμπειρία ήταν τέτοια που με έβαλε σε πολλούς προβληματισμούς στο αν το σύστημα αναπαραγωγής είχε αυτή την ικανότητα, και είμαι σίγουρος ότι δεν είχε να κάνει με το γούστο μου (προσέξτε τώρα πως παραμονεύει ο κίνδυνος της υποκειμενικότητας).

    Και αυτό (η ικανότητα του συστήματος αναπαραγωγής να αποκαλύπτει τις διαφορές) είναι νομίζω μια από τις παραμέτρους που έχουν να κάνουν με το να


    ... γίνει με τις κατάλληλες συνθήκες (και έχει σχεδιαστεί σωστά)
    Και αυτό το σημείο (η ικανότητα του συστήματος αναπαραγωγής να αποκαλύπτει τις διαφορές) θεωρώ ότι περιέχει πολλούς και μεγάλους κινδύνους να πέσεις σε «σφάλμα» αν έχεις κάνει όλα τα προηγούμενα σωστά.

    Εδώ θα προσκαλούσα – προκαλούσα την δημιουργία ενός τέτοιου test (εν είδη διπλωματικής εργασίας – Thesis) προκειμένου να διαπιστωθεί ο ισχυρισμός για την ικανότητα ή μη, διαφορετικών συστημάτων να αποκαλύπτουν τέτοιες διαφορές (λιγότερο – περισσότερο ή καθόλου)




    Εκτίμηση

    Τώρα το να θες να κάνεις τέτοιου είδους test για να εντοπίσεις διαφορές (προσοχή διαφορές και όχι να εντοπίσεις το καλύτερο ή χειρότερο) στην αναπαραγωγή (στο παίξιμο) μεταξύ δύο συσκευών (π.χ δύο προενισχυτών ή δύο τελικών κ.λπ) σε συγκεκριμένη αλυσίδα αναπαραγωγής - σύστημα αναφοράς ώστε να βγάλεις ασφαλή συμπεράσματα (προσοχή πάλι προς ικανοποίηση της ΣΤΑΤΙΣΤΙΚΗΣ και όχι του γούστου) θα πρέπει να κάνεις κάποιες παραδοχές σχετικές με την συνέργεια μεταξύ των συσκευών τόσο την ηλεκτρική (πράγμα που υπόκειται σε κάποιους σχετικούς συμβιβασμούς) όσο και της ακουστικής φυσιογνωμίας (πράγμα εντελώς υποκειμενικό) οπότε νομίζω και η όποια προσπάθεια ικανοποίησης της στατιστικής τινάζεται στον αέρα.


    Audiophile manifest

    (after all: opinions are like ash holes, everybody got one – που λένε και οι Αμερικάνοι- except the public opinion which is the cesspool που λέω εγώ)

    Γενικά η στατιστική είναι σεβαστή και χρήσιμη (ακόμα και όταν είναι αξιόπιστη, χε χε...) αλλά το γούστο μας και η ακοή μας είναι πολύ περισσότερο και βάσει αυτού διαθέτουμε και τα χρήματα μας (δηλαδή τον κόπο μας) όπότε είναι προσωπική υπόθεση του κάθε ενός από εμάς το που θα δώσει τον ιδρώτα του.

    Και για είμαι και επίκαιρος σεβαστές και χρήσιμες οι δημοσκοπήσεις αλλά η μοναδική δημοσκόπηση είναι αυτή που θα γίνει με τους πραγματικούς ψηφοφόρους στις πραγματικές κάλπες. Φυσικά ακόμα και αυτό το αποτέλεσμα δεν μας στερεί το αναπαλλοτρίωτο δικαίωμα μας (που είπε και ένας ευέξαπτος φίλος) να διατηρούμε την γνώμη μας ή να την μεταβάλουμε ή να την αλλάζουμε.(το καλύτερο επάγγελμα είναι ο δημοσκόπος δεν θα μείνει ποτέ χωρίς δουλειά)


    Φυσικά εκτός από την δημοσκοπία υπάρχει και μια σοβαρότερη και πιο χρήσιμη επιστήμη, η κοινωνιολογία. Οι κοινωνίες οι άνθρωποι ο πολιτισμός τους τα έργα και οι ήμερες τους και οι διαδρομές τους δεν είναι αθροίσματα ατομικών καταστάσεων και αναγωγές σε μέσους όρους (όπως πιθανά κάνει η δημοσκοπία και σίγουρα δεν πρέπει να κάνει ένα blind test) αλλά είναι αυτό που υπάρχει σαν κοινή συνιστώσα μέσα σε όλες τις ατομικές καταστάσεις (που είναι και εν πολλοίς βιωματικές και εξατομικευμένες) και από αυτό το γενικό «κοινό χαρακτηριστικό» είναι που προσανατολίζονται οι κοινωνίες, οι άνθρωποι, ο πολιτισμός τους, τα έργα και οι ήμερες τους, οι διαδρομές τους. Aυτό λέει η κοινωνιολογία και μην έχουμε αυταπάτες το ίδιο θα πρέπει να συμβαίνει και σε ένα σωστά σχεδιασμένο blind test αφού έχει να κάνει με τους ανθρώπους.


    Προτροπή

    Καλλιεργήστε την μουσική στα αυτιά σας, ιδρώστε τα παπούτσια και τις κάλτσες σας και όχι μόνο σε δρομολόγια μεταξύ αντιπροσώπων και dealers αλλά και εκεί που θα ακούσετε μουσική κατά προτίμηση ζωντανή και unplugged. Δηλαδή πληρώστε και κάποιο μέρος του ιδρώτα σας (αναλογικά μάλλον μεγαλύτερο από αυτό που έχετε τοποθετήσει σε μηχανήματα) και τότε θα έχετε στατιστικά τις μεγαλύτερες πιθανότητες να στήσετε ή να επιλέξετε το «καλύτερο» σύστημα , format ή ότι άλλο για την δική σας απόλαυση και για ικανοποίηση της δίκης σας στατιστικής και όχι της στατιστικής σαν επιστήμη ή σαν ακαδημαϊκό εργαλείο ή ως κάποιο κακώς νοούμενο δημοσκοπικό μέσο όρο ή ότι άλλο.



    Σε ότι έχω λάθος με διορθώνεται.

  3. #3

    Default

    Καλά τα περιγράφεις σε γενικές γραμμές. Στην πραγματικότητα βεβαίως, υπάρχουν υποκειμενικές δοκιμές στις οποίες το ζητούμενο είναι, ακριβώς, η άποψη κάθε ακροατή για το αν ένα ερέθισμα είναι χειρότερο από ένα άλλο. Κλασικό παράδειγμα είναι οι δοκιμές codecs όπου το ζητούμενο είναι το "πόσο χειρότερο είναι το encoded σήμα σε σχέση με το ασυμπίεστο σήμα αναφοράς". Η δυνατότητα αυτή εισάγεται ιδιαίτερα κομψά από το γεγονός ότι η κλασική κλίμακα βαθμολόγησης περιλαμβάνει δύο επιλογές την "Annoying" και την "Perceptive but not Annoying". Ακριβώς επειδή αυτού του είδους οι δοκιμές ενέχουν υποκειμενικά κριτήρια και αυτό είναι κάτι που το θέλουμε σε τελική ανάλυση, προκειμένου τα αποτελέσματα να έχουν νόημα σε ένα ευρύτερο κοινό ο στατιστικός τους έλεγχος πρέπει να πληροί μερικούς αυστηρούς όρους. Από αυτούς, ο πλέον απαγορευτικός (στο επίπεδο της τακτικής διοργάνωσης τέτοιων δοκιμών) είναι ο αριθμός των ακροατών και ο αριθμός των ερεθισμάτων.
    Οσον αφορά το θέμα της δυνατότητας ενός συστήματος να "αποκαλύπτει" διαφορές, αυτό έχει δύο πλευρές:
    Πρώτον, σαφώς, οι τεχνικές προδιαγραφές του συστήματος αναπαραγωγής θα πρέπει να καλύπτουν κάποια κριτήρια τα οποία με την σειρά τους καθορίζονται από το είδος της δοκιμής.
    Δεύτερον, με δεδομένες τις προδιαγραφές αυτές (σε τελική ανάλυση είναι εύκολο να φτιάξεις ένα πολύ καλό τέτοιο σύστημα) θα πρέπει να δείχνεις τον σχετικό "θεσμικό σεβασμό", επειδή σε αντίθετη περίπτωση, η δοκιμή δεν πρόκειται να καταλήξει ποτέ σε κανένα αποτέλεσμα, αλλά θα περιοριστεί σε μια σειρά κύκλων κατά τους οποίους οι ακροατές θα κρίνουν το σύστημα, φορτώνοντάς του την αδυναμία τους να βρουν διαφορές!
    Αυτό το επιχείρημα, δηλαδή η "αναλυτικότητα" του συστήματος χρησιμοποιήται κατά κόρον από τους διάφορους ύποπτους χαιεντάδες οι οποίοι αποφεύγουν τις τυφλές δοκιμές (αν υποθέσουμε ότι κάποιος θα μπορούσε να κάνει τέτοιοιες) με την λογική ότι η τάδε λύση/προιόν που κάνει για το ένα σύστημα δεν κάνει για το άλλο (δεν "ματσάρει") οπότε, δεν μπορούμε ποτέ να συγκρίνουμε δύο λύσεις ή προιόντα διαφορετικών κατασκευαστών στο ίδιο σύστημα αναφοράς (απλώς δεν θα συμφωνήσουν ποτέ, ότι το κοινό σύστημα είναι ικανό να αναδείξει τις διαφορές! -πολύ βολικό).
    Στην πραγματικότητα, ο χώρος των υποκειμενικών δοκιμών χρησιμοποιεί ξεκάθαρες τεχνικές προδιαγραφές προκειμένου να αξιολογήσει το σύστημα που θα χρησιμοποιηθεί και περιορίζεται στο να αναφέρει με λεπτομέρειες τις προδιαγραφές αυτές.

  4. #4

    Default

    Πόσο σύμφωνους σας βρίσκει η άποψη που λέει ότι, η άμεση σύγκριση είτε είναι blind η όχι είναι λάθος αφού σε μια τέτοια σύγκριση α-β ο εγκέφαλος έχει την τάση να αντισταθμίζει την διαφορετική άποψη για το ίδιο άκουσμα?

  5. #5

    Default

    Mπορείς να γίνεις λίγο πιο σαφής; Κατ' αρχήν ποιός έχει εκφράσει τέτοια άποψη και μετά τί σημαίνει ο όρος "αντισταθμίζει" στην συγκεκριμένη περίπτωση; Οτι ο εγκέφαλος ρυθμίζει το δεύτερο άκουσμα να μοιάζει με το πρώτο; Οτι στην δεύτερη περίπτωση προκύπτει κάποιος μέσος όρος; Και ποιά είναι να επιχειρήματα ότι πράγματι συμβαίνει κάτι τέτοιο; Θα είχε ενδιαφέρον αν αυτή η άποψη έχει κάποια βάση, αλλά θα πρέπει να γνωρίζουμε τις ρίζες της για να την αξιολογήσουμε σωστά.

  6. Default

    Quote Originally Posted by dStam View Post
    από τους διάφορους ύποπτους χαιεντάδες
    Δηλαδή υπάρχουν και "μη ύποπτοι"?
    "Θαυμάζω την κομψότητα της μεθόδου σας. Πρέπει να είναι ωραίο να καλπάζεις με το άλογο των αληθινών Μαθηματικών, ενώ εμείς οι υπόλοιποι αγκομαχάμε στον ποδαρόδρομο" - ο Άλμπερτ Άινσταϊν στον Τούλλιο Λέβι-Τσίβιτα

  7. #7

    Default

    E, ναι... Καλή τη πίστη... Είμαι της άποψης ότι θα πρέπει να εφαρμόζουμε την γνωστή νομική αρχή: "Αθώος μέχρις αποδείξεως του εναντίου". Στο κάτω-κάτω, υπάρχουν διάφορες προσεγγίσεις στην υπόθεση high-end και θα πρέπει να αφήνουμε τα σχετικά περιθώρια...

  8. Default

    Quote Originally Posted by dStam View Post
    Είμαι της άποψης ότι θα πρέπει να εφαρμόζουμε την γνωστή νομική αρχή: "Αθώος μέχρις αποδείξεως του εναντίου".
    Καλά, εσύ πρέπει να είσαι απίστευτα ξενέρωτος για παρέα!
    "Θαυμάζω την κομψότητα της μεθόδου σας. Πρέπει να είναι ωραίο να καλπάζεις με το άλογο των αληθινών Μαθηματικών, ενώ εμείς οι υπόλοιποι αγκομαχάμε στον ποδαρόδρομο" - ο Άλμπερτ Άινσταϊν στον Τούλλιο Λέβι-Τσίβιτα

  9. #9

    Default

    [QUOTE]
    Quote Originally Posted by dStam View Post
    ..υπάρχουν υποκειμενικές δοκιμές στις οποίες το ζητούμενο είναι, ακριβώς, η άποψη κάθε ακροατή για το αν ένα ερέθισμα είναι χειρότερο από ένα άλλο.
    Επειδή δεν είχα αυτή την εμπειρία και δεν μπορώ να πω και πολλά.
    Νομίζω όμως ότι τέτοια test θα απαιτούν ένα ιδιαίτερα «ώριμο» και έμπειρο σε ακούσματα ακροατήριο προκειμένου να μην υπάρχει ο κίνδυνος του «μη αναγνωρίσιμου» άρα και μη αντιληπτού ως καλύτερου, ακόμα και αν θα έπρεπε να είναι.



    Αυτό το επιχείρημα, δηλαδή η "αναλυτικότητα" του συστήματος χρησιμοποιήται κατά κόρον από τους διάφορους ύποπτους χαιεντάδες
    Μακριά από έμας τέτοια πράγματα όπως «αναλυτικότητα» και χαιενταδες...


    οι οποίοι αποφεύγουν τις τυφλές δοκιμές (αν υποθέσουμε ότι κάποιος θα μπορούσε να κάνει τέτοιοιες)...
    πάντως αν με ξαναβάζατε να αποδείξω ότι δεν είμαι χαιεντας και δεν αποφεύγω τις τυφλές δοκιμές (υπόθετωντας ότι θα ξαναμπορουσα να κάνω τέτοιες) αυτή τη φορά θα ζητούσα τουλάχιστον ένα κλιματιστικό στο χώρο ακρόασης -έλεος- ( τα πρόβατα ζητούν ανθρώπινες συνθήκες σφαγής) και λιγότερους υαλοβάμβακες, έχω και αλεργία.


    Στην πραγματικότητα, ο χώρος των υποκειμενικών δοκιμών χρησιμοποιεί ξεκάθαρες τεχνικές προδιαγραφές προκειμένου να αξιολογήσει το σύστημα που θα χρησιμοποιηθεί και περιορίζεται στο να αναφέρει με λεπτομέρειες τις προδιαγραφές αυτές.
    Ναι τώρα μάλιστα. Όσο ξεκάθαρο μπορεί να είναι ένα ηχείο που είτε λάμπα του έβαζες είτε τρανζιστορ, αυτό έπεζε σε έναν, ίδιο, δικο του χαβά. Μιά γευση για όλα τα γούστα (γευση φαστ φουντ ένα πράμα, δεν ενοχλώ κανένα δεν ενθουσιάζω κανενα - σίγουρη πελατεία). Αυτό το λένε εμπορική προσαρμογή με στοχό τις πωλήσεις και τους ιδιοκτήτες ενός μεγάλου εύρους ενισχυτικών και όχι ηχείο που αναφοράς που θα δείχνει διαφορές ακόμα και αν έχεις διαθέσιμο εκείνο το τέρας με τα μεγάλα αυτιά (ψύκτρες) να το οδηγεί.

    Τωρα γιατί εγώ στα δικά μου ηχεία μπορώ να διακρίνω (το λιγότερο) την διαφορά από ένα λυχνιακό σε ένα τρανζιστορκό ενισχυτή (δεν εννοω σαν οδηγηση αλλά σαν φυσιογνωμία), και το αστείο του πράγματος, μιλάμε για ηχεία από τον ίδιο κατασκευαστή, απλά παλαιότερης γενιάς, θέλετε να με πείσετε ότι αυτό είναι ένα θέμα που απλά έχει κάνει με τα μικρά αυτιά μου ή και τον δικό μου νοσηρό εγκέφαλο και όχι με το crossover των ηχείων.
    Ααχ, κατακημένη Ρούμελη... τη τύφλα μας δε βλέπουμε...εμα με έπρηξες...

  10. Default

    Πάντως το τεστ που γίνεται στο avsite μουσικώς καθόλου δεν μου αρέσει. Προτιμώ οπερέτες για πιάνο και μαγιονέζα
    "Θαυμάζω την κομψότητα της μεθόδου σας. Πρέπει να είναι ωραίο να καλπάζεις με το άλογο των αληθινών Μαθηματικών, ενώ εμείς οι υπόλοιποι αγκομαχάμε στον ποδαρόδρομο" - ο Άλμπερτ Άινσταϊν στον Τούλλιο Λέβι-Τσίβιτα

+ Reply to Thread

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts