Construção e Validação de Instrumentos de Pesquisa de Survey: da Psicologia à Administração

Kelmara Mendes Vieira; Aureliano Angel Bressan

doi:10.23925/2178-0080.2022v24i3.54115

Authors

Kelmara Mendes Vieira Universidade Federal de Santa MariaPrograma de Pós-Graduação em Administração Pública
Aureliano Angel Bressan Universidade Federal de Minas GeraisCEPEAD/UFMG http://orcid.org/0000-0002-9333-3394

DOI:

https://doi.org/10.23925/2178-0080.2022v24i3.54115

Keywords:

research instruments, validity, surveys, psychometrics

Abstract

This descriptive and prescriptive study presents the theoretical, experimental, and analytical procedures necessary for the construction or adaptation of a research instrument. The article traces a path for constructing instruments, indicating to researchers which main procedures, techniques, and precautions to adopt, both in the theoretical and empirical validation phases. It also specifies the objective and criteria for applying Exploratory Factor Analysis, Item Response Theory, and Structural Equation Modeling in the validation context. To build or adapt instruments for survey research, suggestions to management researchers were presented at the end.

Metrics

Metrics Loading ...

Author Biographies

Kelmara Mendes Vieira, Universidade Federal de Santa MariaPrograma de Pós-Graduação em Administração Pública

Possui graduação em Administração pela Universidade Federal de Viçosa (1995), mestrado em Administração pela Universidade Federal do Rio Grande do Sul (1998) , doutorado em Administração pela Universidade Federal do Rio Grande do Sul (2006), graduação em estatística pela Universidade Federal de Santa Maria (2019) e pós-doutorado pela Universidade Federal de Minas Gerais (2020). Professora titular da Universidade Federal de Santa Maria. Foi coordenadora (2011-2013) do Programa de Pós-Graduação em Administração, editora da Revista Sociais e Humanas (2009-2016), editora da Revista Práticas de Administração Pública (2016-2020), editora associada da Brazilian Administration Review(2020) . Atualmente é Coordenadora do Programa de Pós-Graduação em Administração Pública, editora associada da Revista Práticas de Administração Pública , e revisora ad hoc de diversos periódicos nacionais e internacionais. Tem experiência na área de Administração, com ênfase em Finanças e Administração Pública. As pesquisas em finanças comportamentais tem como principais temas de interesse: alfabetização financeira, atitude ao endividamento, bem-estar financeiro, uso e dívida no cartão de crédito, gerenciamento financeiro, planejamento financeiro para a aposentadoria, cidadania financeira e inadimplência. Em administração pública tem realizado pesquisas em construção e aplicação de instrumentos para avaliação de políticas públicas do ponto de vista do usuário/beneficiário

Aureliano Angel Bressan, Universidade Federal de Minas GeraisCEPEAD/UFMG

Aureliano A. Bressan é economista (UFRJ), doutor em economia aplicada pela UFV (2001). Atualmente, é Professor Titular do Departamento de Ciências Administrativas na Universidade Federal de Minas Gerais. Na UFMG, leciona cursos e conduz pesquisa em temas relacionados à econometria, finanças e economia comportamental. Atua nos programas de pós-graduação em Administração (CEPEAD) e Controladoria e Contabilidade (CEPCON) e nos cursos de graduação em Administração e Controladoria & Finanças. É membro do corpo editorial científico da Revista de Administração Contemporânea (RAC) desde 2020. É membro do Comitê de Investimentos da FUNDEPAR (Fundep Participações S/A) desde 2013, do Comitê Científico da Sociedade Brasileira de Finanças e do Comitê de Ética em Pesquisa da UFMG. É avaliador de 13 periódicos científicos indexados no sistema Qualis-Capes. Foi bolsista de produtividade nível 2 do CNPq entre 2013 e 2018. Foi membro do corpo editorial da Revista Eletrônica Gestão e Sociedade (2006-2008) e do corpo editorial científico da Revista de Administração de Empresas (RAE-FGV) (2009-2014), e editor da seção de Finanças Estratégicas da Revista de Administração Mackenzie (2009-2016). Possui 21 artigos publicados em periódicos indexados nos últimos cinco anos. Tem 20 orientações de mestrado concluídas, além de cinco orientações de doutorado concluídas e duas em andamento. Foi membro do comitê organizador local do 49º Congresso da SOBER (2011) e do Comitê Científico da ANPAD (biênios 2011/2012 e 2015/2016). Recebeu o Prêmio IBGC Itaú - Categoria Academia, pelo Instituto Brasileiro de Governança Corporativa (IBGC) em 2014 e o Prêmio SBFIN 2015 concedido pela Sociedade Brasileira de Finanças. Tem interesse nos seguintes temas de pesquisa: percepção de risco, finanças comportamentais, educação financeira e economia comportamental. Homepage: https://sites.google.com/site/aurelianobressan/

References

Abrantes-Braga, F. D. M., & Veludo-de-Oliveira, T. (2019). Development and validation of financial well-being related scales. International Journal of Bank Marketing.

American Educational Research Association. (2014). Standards for educational and psychological testing. American Educational Research Association American Psychological Association National Council on Measurement in Education.

Asún, R. A., Rdz-Navarro, K., & Alvarado, J. M. (2016). Developing multidimensional Likert scales using item factor analysis: The case of four-point items. Sociological Methods & Research, 45(1), 109-133.

Baker, Frank B. (2001). The basics of item response theory. Recuperado de http://files.eric.ed.gov/fulltext/ED458219.pdf.

Boni, R. B. D. (2020). Websurveys en tiempos de la COVID-19. Cadernos de Saúde Pública, 36, e00155820.

Brown, T. A. (2015). Confirmatory factor analysis for applied research. Guilford publications.

Byrne, B. M. (2016). Structural equation modeling with AMOS: Basic concepts, applications, and programming (3 ed). Routledge

Cai, L. (2010). Metropolis-Hastings Robbins-Monro algorithm for confirmatory item factor analysis. Journal of Educational and Behavioral Statistics, 35(3), 307-335.

Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment. Journal of statistical Software, 48(6), 1-29.

Cizek, G. J. (2020). Validity: An integrated approach to test score meaning and use. Routledge.

Clark, L. A., & Watson, D. (2019). Constructing validity: New developments in creating objective measuring instruments. Psychological assessment, 31(12), 1412.

Comrey, A. L. (1988). Factor-analytic methods of scale development in personality and clinical psychology. Journal of consulting and clinical psychology, 56(5), 754.

Conger, A. J. (2017). Kappa and rater accuracy: Paradigms and parameters. Educational and psychological measurement, 77(6), 1019-1047.

Costa Alexandre, N. M., & Orpinelli Coluci, M. Z. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Revista Ciência & Saúde Coletiva, 16(7).

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. psychometrika, 16(3), 297-334.

Cronbach, L. J., Neto, C. A. S., & Veronese, M. A. V. (1996). Fundamentos da testagem psicológica. Artes Médicas.

Cruz, R. P. D. S., Ferreira, M. C., & Gabardo-Martins, L. M. D. (2020). Evidências de validade para a escala de alegria no trabalho. Revista Psicologia Organizações e Trabalho, 20(1), 941-946.

de Andrade Martins, G. (2006). Sobre confiabillidade e validade. Revista Brasileira de Gestão de Negócios-RBGN, 8(20), 1-12.

Dedeoğlu, B. B., Taheri, B., Okumus, F., & Gannon, M. (2020). Understanding the importance that consumers attach to social media sharing (ISMS): Scale development and validation. Tourism Management, 76, 103954.

DeVellis, R. F. (2016). Scale development: Theory and applications (Vol. 26). Sage publications.

Faran, Y., & Zanbar, L. (2019). Do required fields in online surveys in the social sciences impair reliability?. International Journal of Social Research Methodology, 22(6), 637-649.

Ferrando, P. J., & Lorenzo-Seva, U. (2017). Program FACTOR at 10: Origins, development and future directions. Psicothema, 29(2), 236-240.

Field, A. (2017). Discovering statistics using IBM SPSS statistics: North American edition. sage.

Guillemin, F. (1995). Cross-cultural adaptation and validation of heatth status measures. Scandinavian journal of rheumatology, 24(2), 61-63.

Hair Jr, J. F., Hult, G. T. M., Ringle, C., & Sarstedt, M. (2016). A primer on partial least squares structural equation modeling (PLS-SEM). Sage publications.

Hair, Joseph F. et al. (2014) Multivariate data analysis: Pearson new international edition. Essex: Pearson Education Limited.

Haynes, S. N., Richard, D., & Kubany, E. S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological assessment, 7(3), 238.

Heggestad, E. D., Scheaf, D. J., Banks, G. C., Monroe Hausfeld, M., Tonidandel, S., & Williams, E. B. (2019). Scale adaptation in organizational science research: A review and best-practice recommendations. Journal of Management, 45(6), 2596-2627.

Hewson C., Vogel C., Laurent D. (2016). Internet research methods. London: Sage Publishing.

Hewson, C. (2017). Research design and tools for online research. The SAGE handbook of online research methods, 57-75.

Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30(2), 179-185.

Houts, C. R., & Knoll, M. A. (2020). The financial knowledge scale: New analyses, findings, and development of a short form. Journal of Consumer Affairs, 54(2), 775-800.

Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural equation modeling: a multidisciplinary journal, 6(1), 1-55.

Hutcheson, G. D., & Sofroniou, N. (1999). The multivariate social scientist: Introductory statistics using generalized linear models. Sage.

Likert, R. (1932). A technique for the measurement of attitudes. Archives of psychology.

Loevinger, J. (1957). Objective tests as instruments of psychological theory. Psychological reports, 3(3), 635-694.

Lynn, M. R. (1986). Determination and quantification of content validity. Nursing research.

Macêdo, J. W. D. L., & Silva, A. B. D. (2020). Construção e Validação de uma Escala de Competências Socioemocionais no Brasil. Revista Psicologia Organizações e Trabalho, 20(2), 965-973.

Mai, Y., Zhang, Z., & Wen, Z. (2018). Comparing exploratory structural equation modeling and existing approaches for multiple regression with latent variables. Structural Equation Modeling: A Multidisciplinary Journal, 25(5), 737-749.

Mcdonald, R. P. (1999). Test theory: a unified treatment. Lawrence Earlbaum Associates. Inc., Mahwah, NJ, pp. 142-145.

Narayanan, A. (2012). A review of eight software packages for structural equation modeling. The American Statistician, 66(2), 129-138.

O’connor, B. P. (2000). SPSS and SAS programs for determining the number of components using parallel analysis and Velicer’s MAP test. Behavior research methods, instruments, & computers, 32(3), 396-402.

Partchev, I (2016). Package irtoys: Simple interface to the estimation and plotting of IRT models. CRAN R Project. Recuperado de http://cran.r-project.org/web/packages/irtoys/irtoys.pdf.

Pasquali, L. (2009). Instrumentação psicológica: fundamentos e práticas. Artmed Editora.

Pasquali, L. (2017). Psicometria: teoria dos testes na psicologia e na educação. Editora Vozes Limitada.

Patil, Vivek H. et al. (2007) Parallel analysis engine to aid determining number of factors to retain (Computer software). Recuperado de https://analytics.gonzaga.edu/parallelengine/.

Polit, D. F., & Beck, C. T. (2006). The content validity index: are you sure you know what's being reported? Critique and recommendations. Research in nursing & health, 29(5), 489-497.

Potrich, A. C. G., Vieira, K. M., & Mendes-Da-Silva, W. (2016). Development of a financial literacy model for university students. Management Research Review.

Recuperado de https://cran.r-project.org/web/packages/ltm/ltm.pdf.

Rizopoulos, D. (2006). ltm: An R package for latent variable modeling and item response theory analyses. Journal of statistical software, 17(5), 1-25.

Rubio, D. M., Berg-Weger, M., Tebb, S. S., Lee, E. S., & Rauch, S. (2003). Objectifying content validity: Conducting a content validity study in social work research. Social work research, 27(2), 94-104.

Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometrika monograph supplement.

Shaffer, J. A., DeGeest, D., & Li, A. (2016). Tackling the problem of construct proliferation: A guide to assessing the discriminant validity of conceptually related constructs. Organizational Research Methods, 19(1), 80-110.

Siegel, S., & Castellan Jr, N. J. (1975). Estatística não-paramétrica para ciências do comportamento. Artmed Editora.

Simms, L. J., Zelazny, K., Williams, T. F., & Bernstein, L. (2019). Does the number of response options matter? Psychometric perspectives using personality questionnaire data. Psychological assessment, 31(4), 557.

Soares, F. H. D. R., Carvalho, A. V. D., Keegan, E., Neufeld, C. B., & Mansur-Alves, M. (2020). Adaptação e validação da escala de perfeccionismo Almost Perfect Scale-Revised para o português brasileiro A. Avaliação Psicológica, 19(3), 310-321.

Souza, A. C. D., Alexandre, N. M. C., & Guirardello, E. D. B. (2017). Psychometric properties in instruments evaluation of reliability and validity. Epidemiologia e Serviços de Saúde, 26, 649-659.

Tabachnick, B. G., Fidell, L. S. (2019). Using multivariate statistics (Vol. 7, pp. 481-498). Boston, MA: Pearson.

Tezza, R., Bornia, A. C., Andrade, D. F. D., & Barbetta, P. A. (2018). Modelo multidimensional para mensurar qualidade em website de e-commerce utilizando a teoria da resposta ao item. Gestão & Produção, 25(4), 916-934.

Timmerman, M. E., & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological methods, 16(2), 209.

Triga, V., & Manavopoulos, V. (2019, March). Does mode of administration impact on quality of data? Comparing a traditional survey versus an online survey via a Voting Advice Application. In Survey Research Methods (Vol. 13, No. 2, pp. 181-194).

Vieira, K. M., Martins, P. S. R., Bender Filho, R., & Júnior, F. D. J. M. (2020). Escala de Determinantes da Evasão no Ensino a Distância (EDED): Proposição e Validação. EaD em Foco, 10(2).

Vieira, K. M., Potrich, A. C. G., & Bressan, A. A. (2020). A proposal of a financial knowledge scale based on item response theory. Journal of Behavioral and Experimental Finance, 28, 100405.

Waltz, Carolyn F.; Strickland, Ora Lea; Lenz, Elizabeth R. (Ed.) (2016). Measurement in nursing and health research. Springer publishing company.

Warrens, M. J. (2020). Kappa coefficients for dichotomous-nominal classifications. Advances in Data Analysis and Classification, 1-16.

Watson, D. (2012). Objective tests as instruments of psychological theory and research.

Zhang, X., Kuchinke, L., Woud, M. L., Velten, J., & Margraf, J. (2017). Survey method matters: Online/offline questionnaires and face-to-face or telephone interviews differ. Computers in Human Behavior, 71, 172-180.

Zickar, M. J. (2020). Measurement development and evaluation. Annual Review of Organizational Psychology and Organizational Behavior, 7, 213-232.