MMAT (Mixed Methods Appraisal Tool)
| Devis de recherche | Outil développé pour être utilisé dans les revues systématiques mixtes. Comprend des critères pour 5 catégories d'études : 1) études qualitatives, 2) essais contrôlés randomisés, 3) études non randomisées, 4) études descriptives, et 5) études aux méthodes mixtes. |
| Nombre de critères | 25 (5 items pour chaque catégories d'études) et 2 questions préliminaires |
| Cotation | oui, non, ne sait pas |
| Validité | Le MMAT a été créé à partir d'une revue de la littérature sur les revues mixtes. Il a été mis à jour en 2018 à partir d'une revue de littérature sur l'outil d'évaluation de la qualité, d'étude sur son utilisabilité et d'une étude e-Delphi avec des experts. • Hong, Q. N., Gonzalez-Reyes, A., & Pluye, P. (2018). Improving the usefulness of a tool for appraising the quality of qualitative, quantitative and mixed methods studies, the Mixed Methods Appraisal Tool (MMAT). Journal of Evaluation in Clinical Practice, 24(3), 459-467. • Hong, Q. N., Pluye, P., Fàbregues, S., Bartlett, G., Boardman, F., Cargo, M., et al. (2019). Improving the content validity of the Mixed Methods Appraisal Tool (MMAT): a modified e-Delphi study. Journal of Clinical Epidemiology, 111(7), 49-59.e41. |
| Fidélité | La version 2011 du MMAT a été soumise à deux études sur la fidélité interjuge. Les Kappa varient de faibles à bons selon les catégories de critères. • Pace, R., Pluye, P., Bartlett, G., Macaulay, A. C., Salsberg, J., Jagosh, J., & Seller, R. (2012). Testing the reliability and efficiency of the pilot Mixed Methods Appraisal Tool (MMAT) for systematic mixed studies review. International Journal of Nursing Studies, 49(1), 47-53. • Souto, R. Q., Khanassov, V., Hong, Q. N., Bush, P. L., Vedel, I., & Pluye, P. (2015). Systematic mixed studies reviews: Updating results on the reliability and efficiency of the mixed methods appraisal tool. International Journal of Nursing Studies, 52(1), 500-501. |
| Autres informations | Trois versions: version 2009, 2011 et 2018. http://mixedmethodsappraisaltoolpublic.pbworks.com |
| Principales références | • Version 2009: Pluye, P., Gagnon, M. P., Griffiths, F., & Johnson-Lafleur, J. (2009). A scoring system for appraising mixed methods research, and concomitantly appraising qualitative, quantitative and mixed methods primary studies in mixed studies reviews. International Journal of Nursing Studies, 46(4), 529-546. • Version 2011: Pluye, P., Robert, E., Cargo, M., Bartlett, G., O’Cathain, A., Griffiths, F., et al. (2011). Proposal: A Mixed Methods Appraisal Tool for systematic mixed studies reviews. Retrieved November 15, 2013, from http://mixedmethodsappraisaltoolpublic.pbworks.com • Version 2018: Hong, Q. N., Pluye, P., Fàbregues, S., Bartlett, G., Boardman, F., Cargo, M., et al. (2018). Mixed Methods Appraisal Tool (MMAT), version 2018. Registration of Copyright (#1148552), Canadian Intellectual Property Office, Industry Canada. |
Quality assessment with diverse studies (QuADS)
| Devis de recherche | Outil développé pour être appliqué pour divers devis de recherche. Inclut des critères pour les études qualitatives et les études quantitatives. Pour évaluer les études aux méthodes mixtes, les auteurs suggèrent d'utiliser tous les critères. |
| Nombre de critères | 16 |
| Cotation | pas du tout, très légèrement, modérément, complètement |
| Validité | Le Quality Assessment Tool for Studies with Diverse Designs (QATSDD) a été développé à partir d'outils existants et en consultation avec des chercheurs universitaires experts du York Centre for Reviews and Dissemination. Neuf chercheurs ont commenté sur la validité du contenu, la compréhension et la facilité d'application (Sirriyeh et al 2012). La validité apparente et de contenu du Quality assessment with diverse studies (QuADS) a été explorée auprès de 10 chercheurs avec une expertise dans l'évaluation de la qualité des études avec divers devis dans des revues systématiques (Harrison et al 2021). |
| Fidélité | Trois évaluateurs ont évalué trois articles. La fidélité interjuge du QATSDD était bonne (k= 0.715). La fidélité test-retest (après un intervalle de 6 semaines) allait de bonne à substantielle pour chacun des évaluateurs (Sirriyeh et al 2012). La fdélité inter-juge du QuADS a été testée sur 40 études et un kappa de 0,65 a été obtenu (Harrison et al 2021). |
| Autres informations | Le Quality assessment with diverse studies (QuADS) est une mise à jour du Quality Assessment Tool for Studies with Diverse Designs (QATSDD). |
| Principales références | • Harrison, R., Jones, B., Gardener, P., & Lawton, R. (2021). Quality assessment with diverse studies (QuADS): an appraisal tool for methodological and reporting quality in systematic reviews of mixed-or multi-method studies. BMC Health Services Research, 21(1), 1-20. • Sirriyeh, R., Lawton, R., Gardner, P., & Armitage, G. (2012). Reviewing studies with diverse designs: The development and evaluation of a new tool. Journal of Evaluation in Clinical Practice, 18(4), 746-752. |
Mixed Methods Impact Evaluations (MMIE)
| Devis de recherche | Études aux méthodes mixtes sur les évaluation d'impact |
| Nombre de critères | 20 items (8 sur les aspects quantitatifs, 6 sur les aspects qualitatifs et 6 sur l'intégration) |
| Cotation | oui, non (aussi "non applicable" pour les items sur les aspects quantitatifs). |
| Validité | Outil développé à partir de critères d'évaluation et de cadres conceptuels dans la littérature sur les études qualitatives, quantitatives et aux méthodes mixtes. L'outil a été examiné par des experts en méthodes mixtes et testé par des évaluateurs indépendants (Jimenez et al 2018). |
| Fidélité | N/A |
| Autres informations | N/A |
| Principales références | • Jimenez, E., Waddington, H., Goel, N., Prost, A., & Pullin, A. (2018) Mixing and Matching: Using Qualitative Methods to Improve Quantitative Impact Evaluations (IEs) and Systematic Reviews (SRs) of Development Outcomes. London, UK: Centre of Excellence for Development Impact and Learning (CEDIL) Inception Paper 5. • Jimenez, E., Waddington, H., Goel, N., Prost, A., Pullin, A., White, H., et al. (2018). Mixing and matching: using qualitative methods to improve quantitative impact evaluations (IEs) and systematic reviews (SRs) of development outcomes. Journal of Development Effectiveness, 10(4), 400-421. |
ASSESS Tool
| Devis de recherche | Outil développé pour (1) décrire les études sur l'implantation qui utilisé des méthodologies qualitative, quantitative, et/ou mixtes et (2) évaluer les risques de biais des études sur l'implantation. |
| Nombre d'items | 24 items (avec plusieurs sous-items) sur 4 domaines |
| Cotation | Item 23: 0 or 1 Item 24: élevé (score de 1–2), faible (score de 3–5), ou indéterminé (pas en mesure d'évaluer). |
| Validité | Outil développé à partir d'une technique de groupe nominal (n=5) et méthode Delphi (n=32). L'outil inclut une liste de nouveaux items et items provenant d'outils existants: TIDieR checklist, StaRI checklist, MMAT tool, implementation outcomes taxonomy, et FRAME framework. L'utilisabilité et l'utilité ont été documentées auprès de 9 participants. • Ryan, N., Vieira, D., Gyamfi, J., Ojo, T., Shelley, D., Ogedegbe, O., Iwelunmor, J., & Peprah, E. (2022). Development of the ASSESS tool: a comprehenSive tool to Support rEporting and critical appraiSal of qualitative, quantitative, and mixed methods implementation reSearch outcomes. Implementation Science Communications, 3(1), 1-13. |
| Fidélité | |
| Autres informations | |
| Principales références | • Ryan, N., Vieira, D., Gyamfi, J., Ojo, T., Shelley, D., Ogedegbe, O., Iwelunmor, J., & Peprah, E. (2022). Development of the ASSESS tool: a comprehenSive tool to Support rEporting and critical appraiSal of qualitative, quantitative, and mixed methods implementation reSearch outcomes. Implementation Science Communications, 3(1), 1-13. |