Ensuring content validity in instrument development: the case of the scenes for social information processing in adolescence

Abstract

The Scenes for Social Information Processing in Adolescence (SSIPA) proposes to evaluate several cognitive steps suggested by the social information processing model, in addition to considering emotional states that may interfere with such rational processing of information. Psychometric evaluation of this instrument points to its construct validity but very little information was given on its construction process so as to guarantee that, as claimed, it accurately reflects the adolescents’ unique social experiences. The current work presents detailed information on the three steps undertaken to develop the SSIPA: 1) three focus groups with a total of 23 adolescents and use of their verbalizations for item generation; 2) examination of the face validity of the items by 7 experts, who rated each item according to the content it was intended to evaluate, and 3) evaluation of test usability, understandability, and overall pertinence by a new sample of 23 adolescents. Focus groups and item evaluation procedures were considered optimal tools in helping to formulate items that surpass the initial acceptability threshold and accurately grasp the social information processing of adolescents, resulting in an innovative and psychometrically robust assessment instrument, potentially useful in clinical assessment and research. O Cenas para Processamento de Informação Social na Adolescência (SSIPA) propõe avaliar diversos passos cognitivos sugeridos pelo modelo de processamento de informação social, além de considerar estados emocionais que podem interferir com este processamento racional. A avaliação psicométrica deste instrumento aponta para a sua validade de constructo, mas muito pouca informação foi avançada acerca do seu processo de construção, de forma a garantir que reflete adequadamente, como se propõe, as experiências sociais únicas de adolescentes. Este trabalho apresenta informação detalhada acerca dos três processos que foram considerados para desenvolver o SSIPA: 1) três grupos focais com um total de 23 adolescentes e utilização das suas verbalizações para construção de itens; 2) análise da validade facial dos itens por 7 peritos, que avaliaram cada item de acordo com o conteúdo pretendido para cada item, e 3) avaliação da usabilidade, compreensibilidade e pertinência geral do instrumento numa nova amostra de 23 adolescentes. Os grupos focais e a avaliação dos itens constituíram ferramentas apropriadas para construir itens que cumprissem o princípio de aceitabilidade inicial e captassem com precisão o processamento de informação social de adolescentes, resultando num instrumento inovador e psicometricamente robusto, passível de utilização em contextos clínicos e de investigação.