Mobile-based assessment: an exploration of acceptance and motivation factors

Abstract

This thesis introduces, for the first time, acceptance models for mobile-based assessment from both students’ and teachers’ perspectives. The thesis also investigates motivational issues associated with mobile-based assessment and suggests, for the first time, a comprehensive theoretical framework about student motivation in mobile-based assessment. The experimentally evaluated proposed acceptance models are: (i) the Mobile-Based Assessment Acceptance Model (MBAAM) that explains and predicts students’ Behavioral Intention to Use mobile-based assessment in terms of Perceived Ease of Use and Perceived Usefulness and the constructs of Facilitating Conditions, Social Influence, Mobile Device Anxiety, Personal Innovativeness, Mobile-Self-Efficacy, Perceived Trust, Content, Cognitive Feedback, User Interface and Perceived Ubiquity Value; (ii) the Teachers’ Acceptance of Mobile-Based Assessment (TAMBA) model that explains and predicts teachers’ Behavioral Intention to Use mobile-based assessment in terms of Perceived Ease of Use, Perceived Usefulness and the constructs of Social Influence, Facilitating Conditions, Mobile Self-Efficacy and Output Quality; (iii) the Mobile Based Assessment - Motivational and Acceptance Model (MBA-MAM) that introduces into the Technology Acceptance Model the constructs of autonomy, competence and relatedness from the Self-Determination Theory of Motivation. The firstly introduced model explains and predicts Behavioral Intention to Use mobile-based assessment in terms of students’ perceived autonomy, competence and relatedness and also in terms of the features of mobile technologies, user profile, educational content and instructional methods used. This thesis also provides evidence for the impact of mobile-based assessment on student motivation: (i) mobile-based homework self-assessments, in comparison to conventional paper-based assessments, have a positive impact on the motivation and performance of low achieving students; (ii) mobile-assessment micro-learning and assessment enhances students’ motivation in terms of perceived autonomy, competence and relatedness, and also improves students’ factual knowledge; (iii) the enhanced levels of autonomy, competence and relatedness result in higher levels of student engagement in mobile-assisted inquiry-based science learning. Grounding on the Self-Determination Theory of Motivation and building on the aforementioned empirical evidence, the study proposes the Mobile-Based Assessment Motivation Framework (MBAMF). It is a two dimensional framework that provides the links among the technological affordances offered by mobile devices, the self-directed learning strategies employing mobile technologies and specific instructional methods based on the Self-Determination Theory. The framework is aiming at fulfilling students’ basic psychological needs for autonomy, competence and relatedness in order to enhance student motivation. All the above models have been tested with secondary students during field trips and other learning activities, University students during low-stake assessments and medical students during their clinical training. The findings of this dissertation are important for the following reasons: (i) understanding the acceptance and motivational factors that influence students’ and teachers’ intentions to use mobile technologies for assessment purposes encourages the introduction of mobiles for assessment and learning; (ii) understanding the motivational aspects of mobile-based assessment and proposing a comprehensive mobile-based assessment motivation framework facilitates education stakeholders to design and implement more motivating and engaging mobile-based assessments and mobile learning interventions.

Η παρούσα διατριβή εισάγει, για πρώτη φορά στη βιβλιογραφία, μοντέλα αποδοχής από την πλευρά των εκπαιδευτικών αλλά και των εκπαιδευομένων, που αφορούν στη χρήση των κινητών συσκευών στην αξιολόγηση (κινητή αξιολόγηση). Η παρούσα διατριβή διερευνά επίσης τους παράγοντες κινήτρων που σχετίζονται με τη χρήση των κινητών συσκευών στην διαδικασία της αξιολόγησης και προτείνει ένα ολοκληρωμένο θεωρητικό πλαίσιο για την ενδυνάμωση των κινήτρων των μαθητών κατά τη διάρκεια της κινητής αξιολόγησης. Τα μοντέλα αποδοχής που προτείνονται και επαληθεύονται πειραματικά είναι: (i) το μοντέλο αποδοχής κινητής αξιολόγησης (MBAAM) που προβλέπει και ερμηνεύει την συμπεριφορική πρόθεση των εκπαιδευομένων να χρησιμοποιήσουν την κινητή αξιολόγηση ως συνάρτηση της αντιλαμβανόμενης ευκολίας χρήσης, της αντιλαμβανόμενης χρησιμότητας αλλά και άλλων μεταβλητών όπως είναι οι συνθήκες διευκόλυνσης, η κοινωνική επιρροή, η ανησυχία που προκαλεί η χρήση των κινητών τεχνολογιών, ο βαθμός της προσωπικής καινοτομίας, η επάρκεια στην χρήση των κινητών τεχνολογιών, η εμπιστοσύνη στις κινητές τεχνολογίας, το εκπαιδευτικό περιεχόμενο, η γνωστική ανατροφοδότηση, το περιβάλλον διεπαφής και η αντιλαμβανόμενη αξίας της πανταχού παρουσίας των κινητών συσκευών; (ii) το μοντέλο αποδοχής κινητής αξιολόγησης (TAMBA) που προβλέπει και ερμηνεύει την συμπεριφορική πρόθεση των εκπαιδευτικών να χρησιμοποιήσουν την κινητή αξιολόγηση ως συνάρτηση της αντιλαμβανόμενης ευκολίας χρήσης, της αντιλαμβανόμενης χρησιμότητας αλλά και άλλων μεταβλητών όπως είναι η κοινωνική επιρροή, οι συνθήκες διευκόλυνσης, η επάρκεια στην χρήση των κινητών τεχνολογιών και η ποιότητα απόδοσης; (iii) το μοντέλο αποδοχής και κινήτρων της κινητής αξιολόγησης το οποίο εισάγει στο μοντέλο αποδοχής τεχνολογίας (TAM) μεταβλητές από τη θεωρία αυτοπροσδιορισμού (SDT). Αυτό το νέο μοντέλο προβλέπει και ερμηνεύει τη συμπεριφορική πρόθεση των εκπαιδευομένων να χρησιμοποιήσουν την κινητή αξιολόγηση ως συνάρτηση της αντιλαμβανόμενης αυτονομίας, της αντιλαμβανόμενης ικανότητας και της αίσθησης της συσχέτισης με το κοινωνικό περιβάλλον, καθώς επίσης και άλλων παραγόντων όπως των χαρακτηριστικών των κινητών συσκευών, του προφίλ του χρήστη, του εκπαιδευτικού περιεχομένου αλλά και των εκπαιδευτικών μεθόδων. Η παρούσα διατριβή διερευνά επίσης την επίδραση της κινητής αξιολόγησης στα κίνητρα των μαθητών: (i) κινητή αυτό-αξιολόγηση, σε σύγκριση με την συμβατική αξιολόγηση, έχει στατιστικά σημαντική θετική επίδραση στα μαθησιακά κίνητρα και την επίδοση των πιο «αδύνατων» μαθητών; (ii) εκπαιδευτικές παρεμβάσεις μικρο-μάθησης και μικρο-αξιολόγησης ενισχύουν την αντιλαμβανόμενη αυτονομία, ικανότητα και κοινωνική σχετικότητα και κατ’ επέκταση τα μαθησιακά κίνητρα; (iii) η ενίσχυση της αντιλαμβανόμενης αυτονομίας, ικανότητας και κοινωνικής σχετικότητας των μαθητών κατά τη διάρκεια δραστηριοτήτων ανακαλυπτικής μάθησης υποβοηθούμενης με κινητές συσκευές, ενισχύει με τη σειρά της την ενεργό συμμετοχή των μαθητών. Με βάση τα προηγούμενα ερευνητικά πορίσματα και τη θεωρία αυτοπροσδιορισμού, η παρούσα διατριβή εισάγει το πλαίσιο κινήτρων της κινητής αξιολόγησης (MBAMF). Πρόκειται για ένα διδιάστατο πλαίσιο που συσχετίζει πλεονεκτήματα των κινητών συσκευών με αυτοκαθοδηγούμενες εκπαιδευτικές δραστηριότητες και συγκριμένες αρχές της θεωρίας κινήτρων του αυτοπροσδιορισμού. Τα πλαίσιο προτείνει τρόπους ικανοποίησης των βασικών ψυχολογικών αναγκών της αυτονομίας, ικανότητας και κοινωνικής σχετικότητας, με απώτερο σκοπό την ενίσχυση των κινήτρων των μαθητών. Όλα τα παραπάνω μοντέλα έχουν επαληθευθεί πειραματικά με μαθητές δευτεροβάθμιας εκπαίδευσης σε εκπαιδευτικές επισκέψεις εκτός σχολείου αλλά και άλλες μαθησιακές δραστηριότητες, φοιτητές πανεπιστημίου σε τεστ προόδου και φοιτητές ιατρικής κατά τη διάρκεια της πρακτικής τους στις κλινικές. Τα ερευνητικά πορίσματα της παρούσας διατριβής είναι σημαντικά για τους παρακάτω λόγους: (i) Η κατανόηση των παραγόντων αποδοχής και κινήτρων που επηρεάζουν τις προθέσεις εκπαιδευτικών και εκπαιδευομένων να χρησιμοποιήσουν την κινητή αξιολόγηση ενθαρρύνει την εισαγωγή των κινητών συσκευών στην εκπαιδευτική διαδικασία; (ii) η κατανόηση των κινήτρων που σχετίζονται με την κινητή αξιολόγηση αλλά και η εισαγωγή ενός ολοκληρωμένου πλαισίου κινήτρων για την κινητή αξιολόγηση διευκολύνει τους εκπαιδευτικούς φορείς να σχεδιάσουν και να υλοποιήσουν διδακτικές παρεμβάσεις που ενισχύουν τα κίνητρα αλλά και τη συμμετοχή των εκπαιδευομένων.