Welcome to Our Website

Métodos de Investigação em Psicologia

  1. Explicar o que uma experiência e reconhecer exemplos de estudos que são as experiências e os estudos que não são experiências.
  2. explique qual é a validade interna e por que os experimentos são considerados altos na validade interna.explique qual é a validade externa e avalie os estudos em termos de validade externa.
  3. distinguir entre a manipulação da variável independente e o controlo de variáveis estranhas e explicar a importância de cada uma.,
  4. reconhecer exemplos de variáveis confundindo e explicar como eles afetam a validade interna de um estudo.

Como vimos anteriormente, no livro, um experimento é um tipo de estudo desenvolvido especificamente para responder à questão de saber se há uma relação causal entre duas variáveis. Em outras palavras, se mudanças em uma variável independente causam mudanças em uma variável dependente. As experiências têm duas características fundamentais. A primeira é que os pesquisadores manipulam, ou sistematicamente variam, o nível da variável independente., Os diferentes níveis da variável independente são chamadas condições. Por exemplo, no experimento de Darley e Latané, a variável independente era o número de testemunhas que os participantes acreditavam estar presentes. Os pesquisadores manipularam esta variável independente dizendo aos participantes que havia um, dois ou cinco outros alunos envolvidos na discussão, criando assim três condições., Para um novo investigador, é fácil toconfuse estes termos crendo existem três variáveis independentes nesta situação: um, dois, ou cinco alunos envolvidos na discussão, mas na verdade existe apenas uma variável independente (número de testemunhas) com três diferentes condições (um, dois ou cinco alunos). A segunda característica fundamental de um experimento é que o pesquisador controla, ou minimiza a variabilidade em, variáveis que não a variável independente e dependente. Estas outras variáveis são chamadas variáveis externas., Darley e Latané testaram todos os seus participantes na mesma sala, expuseram-nos à mesma situação de emergência, e assim por diante. Eles também atribuíram aleatoriamente seus participantes a condições para que os três grupos fossem semelhantes um ao outro para começar. Observe que, embora as palavras manipulação e controle têm significados semelhantes na linguagem cotidiana, os pesquisadores fazem uma distinção clara entre eles. A variável independente pode ser calculada através da alteração sistemática dos seus níveis e do controlo de outras variáveis, mantendo-as constantes.,

Quatro Grandes validações

quando lemos sobre experimentos de Psicologia com uma visão crítica, uma pergunta a fazer é: “este estudo é válido?”No entanto, essa questão não é tão simples quanto parece, porque na psicologia, existem muitos tipos diferentes de valididades. Pesquisadores têm focado em quatro validades para ajudar a avaliar se um experimento é sólido (Judd & Kenny, 1981; Morling, 2014):validade interna, validade externa, validade de construção e validade estatística. Vamos explorar cada validade em profundidade.,

validade interna

recordar que duas variáveis estatisticamente relacionadas não significa necessariamente que uma causa a outra. “A correlação não implica causalidade.”Por exemplo, se as pessoas que se exercitam regularmente são mais felizes do que as pessoas que não se exercitam regularmente, esta implicação não significa necessariamente que o exercício aumenta a felicidade das pessoas., Isso poderia significar, em vez disso, que uma maior felicidade faz com que as pessoas se exercitem (o problema de direcionalidade) ou que algo como uma melhor saúde física faz com que as pessoas se exercitem e sejam mais felizes (o terceiro problema variável).

O objetivo de um experimento, no entanto, é mostrar que duas variáveis estão estatisticamente relacionadas e fazê-lo de uma forma que suporta a conclusão de que a variável independente causou quaisquer diferenças observadas na variável dependente., A lógica é baseada nesta suposição: se o pesquisador cria duas ou mais condições altamente similares e então manipula a variável independente para produzir apenas uma diferença entre elas, então qualquer diferença posterior entre as condições deve ter sido causada pela variável independente. Por exemplo, porque a única diferença entre as condições de Darley e Latané foi o número de alunos que os participantes acreditavam estar envolvidos na discussão, Esta diferença de crença deve ter sido responsável pelas diferenças na ajuda entre as condições.,

Um estudo empírico é dito ser elevado na validade interna se a forma como foi conduzido corrobora a conclusão de que a variável independente causou quaisquer diferenças observadas na variável dependente. Assim, os experimentos são de alta validade interna porque a forma como são conduzidos—com a manipulação da variável independente e o controle de variáveis externas—fornece um forte suporte para as conclusões causais.

validade externa

ao mesmo tempo, a forma como os experimentos são conduzidos às vezes leva a um tipo diferente de crítica., Especificamente, a necessidade de manipular a variável independente e controle de variáveis estranhas significa que as experiências são muitas vezes conduzidos em condições que parecem artificiais (Bauman, McGraw, Bartels, & Warren, 2014).Em muitas experiências de psicologia, os participantes são todos os alunos de graduação e vir para uma sala de aula ou de laboratório, para o preenchimento de uma série de papel-e-lápis de questionários ou para executar um cuidadosamente projetado tarefa computadorizada., Considere, por exemplo, um experimento no qual a pesquisadora Barbara Fredrickson e seus colegas estudantes de graduação chegar a um laboratório na universidade e concluir um teste de matemática, enquanto vestindo um maiô (Fredrickson, Roberts, Noll, Quinn, & Twenge, 1998).Em primeiro lugar, esta manipulação pode parecer bobagem. Quando é que os alunos de graduação vão ter de completar os testes de matemática com os fatos de banho fora desta experiência?a questão que enfrentamos é a da validade externa., Um estudo empírico é elevado em validade externa se a forma como foi conduzido apoiar a generalização dos resultados a pessoas e situações para além das que foram realmente estudadas. Como regra geral, os estudos são superiores em validade externa quando os participantes e a situação estudada são semelhantes aos que os pesquisadores querem generalizar e os participantes encontram todos os dias, muitas vezes descritos como realismo mundano. Imagine, por exemplo, que um grupo de pesquisadores está interessado em como os compradores em grandes mercearias são afetados por se cereais de pequeno-almoço é embalado em caixas amarelas ou roxas., Seu estudo seria alto em validade externa e teria um realismo mundano elevado se estudassem as decisões das pessoas comuns fazendo suas compras semanais em uma mercearia real. Se os compradores compraram muito mais cereais em caixas roxas, os pesquisadores estariam bastante confiantes de que este aumento seria verdadeiro para outros compradores em outras lojas., O seu estudo deve ser relativamente baixa validade externa, no entanto, se eles estudaram uma amostra de alunos de graduação em um laboratório de uma seletiva universidade, que apenas julgou o recurso de várias cores apresentadas na tela de um computador; no entanto, este estudo teria de alto realismo psicológico, onde o mesmo processo mental é usado no laboratório e no mundo real., Se os alunos considerassem o roxo mais atraente do que o amarelo, os pesquisadores não estariam muito confiantes de que esta preferência é relevante para as decisões de compra de cereais dos compradores de mercearia por causa da baixa validade externa, mas eles poderiam estar confiantes de que o processamento visual de cores tem um elevado realismo psicológico.no entanto, devemos ter o cuidado de não tirar a conclusão geral de que os experimentos são de baixa validade externa. Uma das razões é que as experiências não precisam de parecer artificiais., Considere que a experiência de Darley e Latané forneceu uma simulação razoavelmente boa de uma situação de emergência real. Ou considerar experiências de campo que são conduzidas inteiramente fora do laboratório. Em uma dessas experiências, Robert Cialdini e seus colegas estudaram se os hóspedes do hotel optaram por reutilizar suas toalhas por um segundo dia, em vez de tê-las lavadas como uma forma de conservar água e energia (Cialdini, 2005).Estes investigadores manipularam a mensagem num cartão deixado numa grande amostra de quartos de hotel., Uma versão da mensagem enfatizava o respeito pelo meio ambiente, outra enfatizava que o hotel iria doar uma parte de suas economias para uma causa ambiental, e uma terceira enfatizava que a maioria dos hóspedes do hotel optam por reutilizar suas toalhas. O resultado foi que os hóspedes que recebeu a mensagem de que a maioria dos hóspedes do hotel optar por reutilizar suas toalhas reutilizadas suas próprias toalhas substancialmente mais frequentemente do que os hóspedes do recebimento de qualquer uma das outras duas mensagens. Dada a forma como eles realizaram o seu estudo, parece muito provável que o seu resultado seria verdadeiro para outros hóspedes em outros hotéis.,

uma segunda razão para não tirar a conclusão geral de que os experimentos são baixos em validade externa é que eles são frequentemente conduzidos para aprender sobre os processos psicológicos que são susceptíveis de operar em uma variedade de pessoas e situações. Voltemos à experiência de Fredrickson e colegas. Eles descobriram que as mulheres em seu estudo, mas não os homens, realizaram pior no teste de matemática quando eles estavam usando Fatos de banho., Eles argumentaram que esta diferença de gênero era devido à maior tendência das mulheres para objetificar a si mesmas—para pensar sobre si mesmas a partir da perspectiva de um observador externo—que desvia sua atenção de outras tarefas. Eles argumentaram, além disso, que este processo de auto-objetificação e seu efeito sobre a atenção é provável de operar em uma variedade de mulheres e situações—mesmo se nenhuma delas alguma vez se encontra fazendo um teste de matemática em seu traje de banho.,

a Validade de Constructo

além da possibilidade de generalização dos resultados de uma experiência, de um outro elemento a analisar, em um estudo é a qualidade da experiência do manipulações, ou theconstruct de validade. A questão de pesquisa com que Darley e Latané começaram é ” Será Que Ajudar o comportamento se difunde?”Eles sugeriram que os participantes de um laboratório seriam menos propensos a ajudar quando acreditavam que havia mais potenciais ajudantes além deles mesmos., Esta conversão da questão da investigação para o design experimental é chamada deoperacionalização (ver Capítulo 2 para mais informações sobre a definição operacional). Darley e Latané operacionalizaram a variável independente de difusão da responsabilidade, aumentando o número de potenciais ajudantes., Ao avaliar este projeto, diríamos que a validade da construção foi muito alta porque as manipulações da experiência falam muito claramente à questão da pesquisa; houve uma crise, uma maneira para o participante ajudar, e aumentando o número de outros alunos envolvidos na discussão, eles forneceram uma maneira de testar a difusão.e se o número de condições no estudo de Darley e Latané mudasse? Considere se havia apenas duas condições: um estudante envolvido na discussão ou duas., Mesmo que possamos ver uma diminuição na ajuda adicionando outra pessoa, pode não ser uma demonstração clara de difusão da responsabilidade, apenas a presença de outros. Poderíamos pensar que era uma forma de desinibição social de Bandura (discutido no Capítulo 4). A validade da construção seria menor. No entanto, se houvesse cinco condições, talvez pudéssemos ver a diminuição continuar com mais pessoas na discussão ou talvez ela estabilizasse depois de um certo número de pessoas., Nessa situação, podemos não estar necessariamente aprendendo mais sobre a difusão da responsabilidade ou pode tornar-se um fenômeno diferente. Adicionando mais condições, a validade da construção pode não ficar maior. Ao projetar sua própria experiência, considere quão bem a questão da pesquisa é operacionalizada seu estudo.

validade estatística

uma crítica comum de experimentos é que um estudo não teve participantes suficientes. A principal razão para esta crítica é que é difícil generalizar sobre uma população a partir de uma pequena amostra., No início, parece que esta crítica é sobre a validade externa, mas há estudos onde pequenos tamanhos de amostra não são um problema (Capítulo 10 vai discutir como pequenas amostras, mesmo de apenas uma pessoa, ainda são muito esclarecedoras para a pesquisa de Psicologia). Portanto, pequenos tamanhos de amostra são na verdade uma crítica da validade estatística. A validade estatística indica se as estatísticas realizadas no estudo apoiam as conclusões que são feitas.,

deve ser realizada uma análise estatística adequada sobre os dados para determinar se a diferença ou relação que foi prevista foi encontrada. O número de condições e o número de participantes totais determinarão a dimensão global do efeito. Com esta informação, uma análise de poder pode ser conduzida para determinar se é provável que você encontre uma diferença real. Ao projetar um estudo, é melhor pensar sobre a análise de energia para que o número adequado de participantes possam ser recrutados e testados (mais sobre tamanhos de efeito no Capítulo 12)., Para projetar um experimento estatisticamente válido, pensar sobre os testes estatísticos no início do projeto ajudará a garantir que os resultados possam ser acreditados.

priorizar Valididades

estas quatro grandes valididades-Internas, Externas, construtivas e Estatísticas–são úteis para ter em mente ao ler sobre outras experiências e desenhar as suas próprias. No entanto, os pesquisadores devem priorizar e muitas vezes não é possível ter alta validade em todas as quatro áreas. No estudo de Cialdini sobre o uso de toalhas em hotéis, a validade externa era alta, mas a validade Estatística era mais modesta., Esta discrepância não invalida o estudo, mas ele mostra onde pode haver espaço para melhorias para futuros estudos de seguimento (Goldstein, Cialdini, & Griskevicius, 2008). Morling (2014) aponta que a maioria dos estudos de psicologia tem alta validade interna e de construção, mas às vezes sacrifica a validade externa.,

a Manipulação da Variável Independente

Novamente, para manipular uma variável independente meios para mudar seu nível de forma sistemática, de modo a que os diferentes grupos de participantes são expostos a diferentes níveis dessa variável, ou o mesmo grupo de participantes está exposta a diferentes níveis e em diferentes épocas. Por exemplo, para ver se a escrita expressiva afeta a saúde das pessoas, um pesquisador pode instruir alguns participantes a escrever sobre experiências traumáticas e outros a escrever sobre experiências neutras., Como discutido anteriormente neste capítulo, os diferentes níveis da variável independente são referidos como Condições, e pesquisadores muitas vezes dão as condições nomes descritivos curtos para tornar mais fácil falar e escrever sobre eles. Neste caso, as condições podem ser chamadas de “condição traumática” e “condição neutra”.”

Notice that the manipulation of an independent variable must involve the active intervention of the researcher. Comparar grupos de pessoas que diferem na variável independente antes do início do estudo não é o mesmo que manipular essa variável., Por exemplo, um pesquisador que compara a saúde de pessoas que já mantêm um diário com a saúde de pessoas que não mantêm um diário não manipulou esta variável e, portanto, não realizou uma experiência. Esta distinção é importante porque grupos que já diferem de uma forma no início de um estudo são susceptíveis de diferir de outras formas também. Por exemplo, as pessoas que optam por manter jornais também podem ser mais consciencioso, mais introvertido, ou menos estressado do que as pessoas que não o fazem., Portanto, qualquer diferença observada entre os dois grupos em termos de sua saúde pode ter sido causada por manter ou não um diário, ou pode ter sido causada por qualquer uma das outras diferenças entre as pessoas que fazem e não mantêm jornais. Assim, a manipulação ativa da variável independente é crucial para eliminar o terceiro problema variável.

claro, existem muitas situações em que a variável independente não pode ser manipulada por razões práticas ou éticas e, portanto, uma experiência não é possível., Por exemplo, se as pessoas têm ou não uma experiência significativa de doença precoce não pode ser manipulada, tornando impossível a realização de uma experiência sobre o efeito de experiências de doença precoce no desenvolvimento de hipocondríase. Esta ressalva não significa que seja impossível estudar a relação entre as primeiras experiências de doença e hipocondria—apenas que ela deve ser feita usando abordagens não-experimentais. Vamos discutir este tipo de metodologia em detalhes mais tarde no livro.

em muitos experimentos, a variável independente é uma construção que só pode ser manipulada indiretamente., Por exemplo, um pesquisador pode tentar manipular os níveis de estresse dos participantes indiretamente, dizendo a alguns deles que eles têm cinco minutos para preparar um breve discurso que eles terão que dar a uma audiência de outros participantes. Em tais situações, os pesquisadores muitas vezes incluem verificação de amanipulação em seu procedimento. Uma verificação de manipulação é uma medida separada da construção que o pesquisador está tentando manipular., Por exemplo, os investigadores que tentam manipular os níveis de stress dos participantes podem dar-lhes um questionário de stress de papel e lápis ou tomar a sua pressão arterial-talvez logo após a manipulação ou no final do procedimento—para verificar se manipularam com sucesso esta variável.

Controle de variáveis externas

Como vimos anteriormente no capítulo, uma variável externa é qualquer coisa que varia no contexto de um estudo que não as variáveis independentes e dependentes., In an experiment on the effect of expressive writing on health, for example, extraneous variables would include participant variables (individual differences) such as their writing ability, their diet, and their shoe size. Eles também incluem variáveis de situação ou tarefa, como a hora do dia em que os participantes escrevem, quer eles escrevam à mão ou em um computador, e o tempo. Variáveis externas colocam um problema porque muitas delas são susceptíveis de ter algum efeito sobre a variável dependente., Por exemplo, a saúde dos participantes será afetada por muitas outras coisas além de se envolver ou não em escrita expressiva. Este fator de influência pode tornar difícil separar o efeito da variável independente dos efeitos das variáveis externas, razão pela qual é importante controlar as variáveis externas mantendo-as constantes.

variáveis externas como “ruído”

variáveis externas dificultam a detecção do efeito da variável independente de duas formas. Uma é adicionando variabilidade ou “ruído” aos dados., Imagine uma experiência simples sobre o efeito do humor (feliz vs. triste) sobre o número de eventos da infância feliz que as pessoas são capazes de recordar. Os participantes são colocados em um humor negativo ou positivo (mostrando-lhes um clipe de vídeo feliz ou triste) e, em seguida, pediu para recordar tantos eventos de infância feliz como eles podem. A tabela 6.1 mostra como os dados poderiam parecer se não houvesse variáveis externas e o número de eventos da infância feliz que os participantes recordaram foi afetado apenas por seus humores., Cada participante na condição de humor feliz lembrou exatamente quatro eventos de infância feliz, e cada participante na condição de humor triste lembrou exatamente três. O efeito do humor aqui é bastante óbvio.

Quadro 6.,15cb8cad”>4

3
4 3
4 3
4 3
4 3
M = 4 M = 3

In reality, however, the data would probably look more like those Table 6.,2. Mesmo na condição de humor feliz, alguns participantes recordariam menos memórias felizes porque eles têm menos para se inspirar, usar estratégias de recall menos eficazes, ou são menos motivados. E mesmo na triste condição de humor, alguns participantes recordariam memórias de infância mais felizes porque eles têm memórias mais felizes para desenhar, eles usam estratégias de recall mais eficazes, ou eles são mais motivados.

Quadro 6.,id=”6e81fc3ada”>2

1 5
6 1
8 2
M = 4 M = 3

Embora a diferença média entre os dois grupos é o mesmo como no idealizada de dados, esta diferença é muito menos óbvio no contexto da maior variabilidade nos dados., Assim, uma razão pela qual os pesquisadores tentam controlar variáveis externas é para que seus dados se pareçam mais com os dados idealizados na tabela 6.1, O que torna o efeito da variável independente mais fácil de detectar (embora os dados reais nunca parecem tão bons).

uma maneira de controlar as variáveis externas é mantê-las constantes. Esta técnica pode significar manter constante a situação ou variáveis de tarefa testando todos os participantes no mesmo local, dando-lhes instruções idênticas, tratando-os da mesma forma, e assim por diante. Também pode significar manter constantes as variáveis dos participantes., Por exemplo, muitos estudos de linguagem limitam os participantes às pessoas destras, que geralmente têm suas áreas linguísticas isoladas em seus hemisférios cerebrais esquerdos. As pessoas canhotas têm mais probabilidade de ter suas áreas linguísticas isoladas em seus hemisférios cerebrais direito ou distribuídas por ambos os hemisférios, o que pode mudar a forma como processam a linguagem e, assim, adicionar ruído aos dados.,em princípio, os investigadores podem controlar variáveis externas limitando os participantes a uma categoria muito específica de pessoas, tais como licenciaturas de psicologia de 20 anos, heterossexuais, femininas e destras. A desvantagem óbvia desta abordagem é que ela reduziria a validade externa do estudo—em particular, a medida em que os resultados podem ser generalizados além das pessoas realmente estudadas. Por exemplo, pode não ser claro se os resultados obtidos com uma amostra de mulheres heterossexuais mais jovens se aplicariam a homens homossexuais mais velhos., Em muitas situações, as vantagens de uma amostra diversificada superam a redução do ruído alcançada por uma amostra homogênea.

variáveis estranhas como variáveis confundindo

a segunda maneira que as variáveis externas podem tornar difícil detectar o efeito da variável independente é tornando-se variáveis confundindo. Uma variável confundindo é uma variável externa que difere em média entre os níveis da variável independente. Por exemplo, em quase todos os experimentos, os quocientes de inteligência dos participantes (Qi) serão uma variável externa., Mas enquanto houver participantes com Qi inferior e superior a cada nível da variável independente de modo que o QI médio seja aproximadamente igual, então esta variação é provavelmente aceitável (e pode até ser desejável). O que seria mau, porém, seria que os participantes a um nível da variável independente tivessem, em média, Qi substancialmente mais baixos e que os participantes a outro nível tivessem, em média, Qi substancialmente mais elevados. Neste caso, o QI seria uma variável confusa.

confundir significa confundir, e este efeito é exatamente o porquê de confundir variáveis são indesejáveis., Porque eles diferem entre as condições-assim como a variável independente—eles fornecem uma explicação alternativa para qualquer diferença observada na variável dependente. A figura 6.1 mostra os resultados de um estudo hipotético, no qual os participantes em uma condição de humor positivo pontuaram mais em uma tarefa de memória do que os participantes em uma condição de humor negativo., Mas se o QI é uma variável confusa – com os participantes na condição de humor positivo tendo QI mais elevados em média do que os participantes na condição de humor negativo—então não é claro se foram os humores positivos ou os Qi mais elevados que fizeram os participantes na primeira condição a pontuação mais elevada. Uma maneira de evitar variáveis confusas é mantendo variáveis externas constantes. Por exemplo, pode-se evitar que o QI se torne uma variável confusa, limitando os participantes apenas àqueles com Qi de exatamente 100. Mas esta abordagem nem sempre é desejável por razões que já discutimos., Uma segunda e muito mais geral abordagem—atribuição aleatória às condições—será discutida em pormenor em breve.

figura 6.1 resultados hipotéticos de um estudo sobre o efeito do humor na memória. Como o QI também difere entre as condições, é uma variável confusa.
  • Um experimento é um tipo de estudo empírico que apresenta a manipulação de uma variável independente, a medição de uma variável dependente, e o controle de variáveis estranhas.,os estudos de
  • são elevados na validade interna, na medida em que a forma como são conduzidos corrobora a conclusão de que a variável independente causou quaisquer diferenças observadas na variável dependente. Experimentos são geralmente de alta validade interna por causa da manipulação da variável independente e controle de variáveis externas.os estudos são de alta validade externa, na medida em que o resultado pode ser generalizado a pessoas e situações além das efetivamente estudadas., Embora os experimentos possam parecer “Artificiais” —e de baixa validade externa-é importante considerar se os processos psicológicos em estudo são susceptíveis de operar em outras pessoas e situações.
  1. prática: Lista cinco variáveis que podem ser manipuladas pelo investigador numa experiência. Liste cinco variáveis que não podem ser manipuladas pelo pesquisador em uma experiência.
  2. prática: para cada um dos seguintes tópicos, decidir se esse tópico poderia ser estudado usando um projeto de pesquisa experimental e explicar por que ou por que não.,efeito dos danos do lobo parietal na capacidade das pessoas para fazer aritmética básica.efeito de estar clinicamente deprimido no número de Amizades próximas que as pessoas têm.efeito da formação em grupo nas competências sociais dos adolescentes com síndrome de Asperger.efeito de pagar às pessoas para fazerem um teste de QI sobre o seu desempenho nesse teste.

um estudo no qual o investigador manipula a variável independente.

os diferentes níveis da variável independente.,

qualquer coisa que varia no contexto de um estudo que não as variáveis independentes e dependentes.

quando a forma como um experimento foi realizado suporta a conclusão de que a variável independente causou diferenças observadas na variável dependente. Estes estudos fornecem um forte apoio às conclusões causais.

quando a forma como um estudo é realizado suporta generalizar os resultados para as pessoas e situações além daquelas realmente estudadas.,

os participantes e a situação estudada são semelhantes àqueles que os pesquisadores querem generalizar e os participantes encontram todos os dias.

o mesmo processo mental é utilizado tanto no laboratório como no mundo real.

a qualidade das manipulações da experiência.conversão da investigação em projecto experimental.

Se as estatísticas realizadas no estudo apoiam as conclusões que são feitas.,

mudar sistematicamente o nível de uma variável independente de modo a que diferentes grupos de participantes sejam expostos a diferentes níveis dessa variável, ou o mesmo grupo de participantes seja exposto a diferentes níveis em momentos diferentes.

uma medida separada da construção que o investigador está a tentar manipular.

método de detenção de variáveis estranhas a uma constante.

uma variável estranha que difere em média entre os níveis da variável independente.

Deixe uma resposta

O seu endereço de email não será publicado. Campos obrigatórios marcados com *