A Telepatia

Continua...

Este detalhe aparentemente “inocente” produz uma enorme diferença, porque o receptor acaba percebendo que quando uma transmissão persiste por mais tempo do que a média, é porque a imagem inicial em que ele havia pensado estava incorrecta, pois se fosse correcta, o emissor já teria interrompido a transmissão, sem necessidade de “corrigir” a interpretação do receptor.

E isso induz o receptor a mudar de escolha, aumentando as chances de acerto de 1/4 para 1/3 ou mais.

Quando a imagem inicialmente pensada pelo receptor é correcta, então o emissor não insiste em tentar melhorar sua transmissão, interrompendo mais rapidamente, e assim o receptor “deduz” que sua escolha inicial não precisa ser mudada.

Talvez este processo não se dê num nível consciente, porque em tal caso os acertos seriam próximos a 100%.

Portanto o simples facto de um emissor demorar intervalos diferentes para transmitir cada informação é uma maneira de comunicar ao receptor se aquilo em que ele havia pensado inicialmente estava certo ou se ele precisa mudar, assim o resultado é afectado e isso causa a ilusão de que houve telepatia.

O procedimento metodológico correto deveria ser estabelecer um intervalo igual para transmitir cada figura e não permitir que o emissor recebesse nenhuma informação sobre o relato do que o receptor estivesse pensando.

Outro fato importante que não foi considerado é que não houve um grupo de controle.

Por exemplo:
a hipótese é de que uma pessoa transmite informações à outra telepaticamente, então seria necessário substituir um dos emissores por um placebo incapaz (a priori) de efectuar a transmissão, para comparar os resultados.

Este placebo poderia ser desde um vídeo do emissor até uma tábua.

O procedimento geral seria, do ponto de vista externo ao sujeito, o mesmo para o emissor humano ou para o vídeo ou a tábua.

Se os resultados em que a tábua actuou como “emissor” revelassem acertos tão altos quanto no caso do emissor humano, seria indício de que ou não houve telepatia ou houve também telepatia entre o receptor e a tábua.

Se alguém disser que a tábua tem alma etc., poderia ser substituída por uma pedra ou por qualquer outra entidade consensualmente aceitável como placebo para comparação.

O uso constante de 4 padrões de figuras por transmissão também compromete o estudo.

Seria preciso usar outras quantidades, como 10 padrões e 25 padrões, por exemplo, e conferir se as percentagens de acerto se mantém constantes acima dos acertos casuais.

Se com 4 padrões há 35% de acertos contra 25% casuais, então com 10 padrões deveria haver 20% de acertos contra 10% casuais e com 25 padrões deveria haver 14% de acertos contra 4% de acertos casuais.

É importante notar que, no primeiro caso, 35% é apenas 40% maior do que 25%, porém 14% é 250% maior do que 4%.

Continua...

Continua...

Além disso, suspeito que haja vários pequenos detalhes incorrectos no tratamento estatístico dos dados, mas como os autores destes experimentos não disponibilizam seus dados brutos para análise, estas possíveis inexactidões não terão como serem corrigidas.

Algumas das prováveis falhas de teor estatístico são porque existem muitas ferramentas diferentes para determinar se as diferenças observadas entre os valores médios de uma distribuição teórica e de outra empírica são significativas ou se estas diferenças podem ser encaradas como casuais (flutuações estatísticas).

Dependendo de quais forem as ferramentas estatísticas escolhidas para o cálculo, pode-se chegar em resultados totalmente destoantes.

A ferramenta mais usual nesses casos é o teste “t de Student”, que funciona bem se as distribuições da amostra empírica e da função teórica forem semelhantes a gaussianas e se a heteroscedasticidade não for significativa.

Se, ao contrário, houver heteroscedasticidade sensível, deve-se usar, por exemplo, o teste de Behrens-Fisher ou fazer uma Análise de Variância.

Se a distribuição empírica não tiver boa qualidade de ajuste a uma gaussiana, então será necessário fazer um teste de Kolmogorov-Smirnov, ou Andersson-Darling, ou equivalente, para verificar qual distribuição teórica melhor representa os dados experimentais, antes de escolher um teste apropriado para calcular o contraste entre as médias ou entre as tendências centrais.

Enfim, há uma série de procedimentos que, embora inusuais, seriam imprescindíveis para que se pudesse embasar uma afirmação tão espectacular e revolucionária quanto esta.

Quando o objectivo da pesquisa é apenas saber a quantidade média de água que escoa pela mangueira usada para regar o jardim de casa, e comparar a
quantidade medida à quantidade teórica baseada em Teoria dos Fluidos, pode ser suficiente usar ferramentas estatísticas elementares, porque o fenómeno investigado é bem conhecido e a finalidade é de pouca importância, de modo que não se vai descobrir nada extraordinário usando ferramentas estatísticas mais robustas.

Mas quando se tem a pretensão de corroborar a existência de fenómenos totalmente conflitantes com a Ciência contemporânea e sustentar que algo como “telepatia” existe, o nível de qualidade das ferramentas estatísticas a serem adoptadas e o rigor metodológico a ser seguido precisam ser muito mais elevados do que os observados nos experimentos que têm sido conduzidos até agora.

Outro comentário importante a ser feito é que o termo “prova científica” que aparece em alguns trechos dos artigos originais e são mantidos na tradução para o português, são semanticamente inadequados.

Não existe o termo “prova científica”.
O termo apropriado é “corroboração científica” ou apenas “corroboração”.

O termo “prova” ou “demonstração” só se aplica no âmbito abstracto (Lógica ou Matemática), em que se disponha de um sistema formal de axiomas, a partir dos quais se possam derivar proposições até convergir para conclusões perfeitamente decorrentes daqueles axiomas.

Continua...

Continua...

Trata-se de um processo dedutivo.

No caso da Ciência, ao contrário, opera-se por meio de indução finita e nunca se pode ter certeza sobre nada, nunca se pode provar nada.
Em Lógica e Matemática, salvas as limitações impostas pelo Teorema da Incompletude de Gödel, pode-se conhecer com certeza determinadas verdades eternas e perfeitas.

Mas não há como atingir este grau de confiança no conhecimento científico;
pode-se, no máximo, mostrar que determinados modelos teóricos são mais representativos dos factos sencientes do que outros modelos, e por mais requintado e acurado que seja um modelo, ele sempre permanece sujeito à refutação e substituição por outro mais adequado para descrever os processos fenomenológicos observados.

Este pequeno detalhe semântico tem sérias implicações, porque torna capiciosa a proposta de James Randi, que oferece um prémio de 1 milhão de dólares a quem provar a existência de paranormalidade.

Simplesmente não há como “provar” que existe paranormalidade por vários motivos, um dos quais é que não existem “provas” no mundo “real”.

Existem apenas “corroborações”.
Outro motivo é que “paranormalidade” pode ser entendida de muitas formas diferentes, uma das quais é “fora do normal”, assim um jogador de futebol como Péle é alguém fora do normal e representa um indício fortíssimo de que, nesta acepção, existe paranormalidade em grande abundância.

A proposta de Randi deveria ser um pouco melhor formulada, algo como “O prémio será concedido a alguém que apresente uma corroboração com grau de significação estatística 10-10 de que existe parnormalidade” e em outro parágrafo, deveria descrever com suficientes detalhes como ele define “paranormalidade”, de modo a não dar margem a interpretações dúbias e evitar reivindicações improcedentes.

Portanto, ponderando de modo imparcial sobre as inexactidões dos experimentos e sobre as críticas feitas pelos cépticos, embora as críticas habituais possam não ser apropriadas para mostrar as falhas nesses experimentos, o facto é que as falhas estão presentes, são abundantes e graves, e os resultados a que se chegou até o momento não têm nenhum valor científico e não oferecem nenhum respaldo para que se possa afirmar que existe telepatia.

Também é importante esclarecer que o facto de não se poder afirmar que telepatia existe, não significa que não existe.

Significa apenas que estes experimentos não revelaram nenhum indício de que haja transmissão telepática nas condições investigadas, mas é possível que exista em outras condições ainda não cogitadas.

Se houver telepatia, esta habilidade deve surgir em diferentes níveis em diferentes pessoas, assim como qualquer outra variável física ou mental:
há pessoas com diferentes alturas, diferentes pesos, diferentes QIs, diferentes velocidades para correr 100 m, diferentes capacidades para saltar longe ou alto etc.

Continua...

Continua...

Se houver possibilidade de comunicação telepática, também deve haver pessoas mais capacitadas para isso, e os estudos que visam investigar esse fenómeno deveriam começar tentando seleccionar as pessoas nas quais esta habilidade se mostra mais pronunciada, e então pesquisar exclusivamente pares de pessoas que se mostraram mais acentuadamente telepatas nos estudos preliminares (emissores óptimos e receptores óptimos), porque se o efeito é muito pequeno em populações não-selectas, é mais razoável começar o estudo pelos expoentes da população que apresentam esse traço mais desenvolvido.

Se as condições experimentais forem apropriadas e a comunicação telepática efectivamente for reproduzida em nível significativamente acima do que seria esperado pela casualidade, então os estudos nesse sentido estarão no caminho certo e se poderá começar a investigar também em que medida o fenómeno ocorre em populações não selectas.

Enfim, se existe telepatia, não é por meio das pesquisas ganzfeld realizadas até agora que se vai corroborá-la.

Teste t de Student:
permite comparar a diferença entre a média dos elementos que constituem determinada amostra e a média de outra amostra, para determinar qual a probabilidade de que ambas as amostras sejam provenientes de uma mesma população.

Também possibilita comparar a média de uma amostra empírica à de uma distribuição teórica e determinar a probabilidade de que a diferença entre estas médias seja significativa, isto é, não-casual.

O teste “t de Student” pode ser usado em amostras que se distribuem normalmente e sejam homoscedásticas.

Teste de Behrens-Fisher:
presta-se à mesma finalidade do teste “t de Student”, porém pode ser usado também em amostras heteroscedásticas.

Heteroscedasticidade:
informa o quão diferentes são as dispersões de dados entre duas amostras, ou entre uma amostra e uma distribuição teórica.

Teste de Kolmogorov-Smirnov:
determina a probabilidade de que duas amostras se distribuam da mesma maneira, ou se uma amostra obedece a determina distribuição teórica.

Teste de Andersson-Darling:
semelhante ao teste de Kolmogorov-Smirnov, porém mais apropriado para distribuições com caudas densas.

Hindemburg Melão Jr. é detentor de três recordes mundiais em actividades intelectuais, registado no Guinness Book de 1998, fundador de Sigma Society, actualmente com membros de 40 países de 6 continentes;
membro em três das sociedades intelectuais mais selectas do mundo (Pars Society, Sigma V e Sigma VI);

autor do Sigma Test, disponível em 14 idiomas, publicado em 7 revistas internacionais e reconhecido como critério para admissão em dezenas de associações culturais de vários países; autor de trabalhos inovadores em diversos campos científicos e culturais;

palestrante e consultor sobre diversos temas educacionais, económicos e administrativos, especialmente heurísticas aplicadas em processos decisórios politómicos e politomizados, Estatística Robusta aplicada no Mercado de Acções, em avaliação psicopedagógica e em Business Intelligence.

Mais sobre o autor em http://www.sigmasociety.com.

§.§.§- O-canto-da-ave

HÁ ALGUNS POUCOS ANOS nós publicamos um artigo na Paranormal Review descrevendo como pretendemos conduzir uma experiência bastante incomum de ESP baseada em torno da Máquina da Mente.

A Máquina da Mente era um gabinete de aço contendo um computador multimídia, que levou as pessoas para uma experiência de ESP usando uma série de vídeo-clipes.

Durante o experimento pediu-se às pessoas para predizer psiquicamente o resultado de quatro arremessos computadorizados de moeda.

Em 1999 e 2000 a Máquina de Mente viajou ao redor da Grã-Bretanha em onze meses de excursão pública, incluindo o Centro de Exibição de Olympia, O Museu Real da Escócia, o Centro Comercial de Lakeside e o Centro de Metro.

Nós agora analisamos os resultados e recentemente publicamos os nossos resultados no British Journal of Psychology (Wiseman e Greening, 2002).

Este artigo dá algum background sobre o pensamento atrás do estudo e uma descrição breve de nossos resultados principais.

Background

MUITOS DAS EXPERIÊNCIAS anteriores de forced-choice de ESP foram conduzidas por Reno e seus colegas na Universidade de Duque no início do último século (ver Pratt, Reno, Smith, Stuart & Greenwood, 1940/1966).

A maior parte deste trabalho envolveu participantes tentando adivinhar a ordem de pacotes misturados de cartões cada um trazendo a imagem de uma estrela, círculo, quadrado, cruz ou linhas onduladas.

Estes estudos eram frequentemente de muito de trabalho intensivo, e envolviam colecção e análise de dados feitos à mão.

Pesquisas recentes tenderam a usar procedimentos mais automatizados.

Por exemplo, Honorton (1987) desenvolveu o "ESPerciser", um sistema por computador que presenteou os participantes com quatro caixas na tela e que pediu que adivinhassem casualmente qual foi a seleccionada pelo computador.

Muitos pesquisadores argumentaram que os resultados destes estudos apoiam a existência de ESP.

Por exemplo, Pratt et al. (1940/1966) revisou os resultados de mais de 3,6 milhões suposições feitas sobre 140 estudos de forced-choice de ESP conduzidos entre 1882 e 1939.

Muitos dos estudos eram independentemente significativos, querendo dizer que seus resultados diferiam do que seria esperado pelo acaso.

Mais recentemente, Steinkamp, Milton & Morris (1998) executaram uma meta-análise de 22 estudos de forced-choice de ESP que tinha comparado a pontuação entre tentativas clarividentes e precognitivas.

Continua...

Continua...

Acharam que o resultado total diferiu do que seria esperado pelo acaso.

No entanto, muitos estudos de forced-choice de ESP foram criticados em terrenos tanto metodológicos quanto estatísticos.

Por exemplo, Hansel (1980) e Gardner (1989) reivindicaram que algumas experiências anteriores de adivinhação de cartão empregavam procedimentos que teriam permitido para o participante fraudar e usar de 'pistas sensoriais' — sugerindo que os participantes podiam ter feito suas suposições usando informações que eles tinham obtido do ambiente, ou mesmo dos experimentadores — e portanto contagens positivas necessariamente não indicam a presença de ESP.

Outros sugeriram que alguns estudos automatizados usavam métodos não-aleatórios para escolher os alvos (ver, p.ex.., Hyman, 1981;
Kennedy, 1980), o que quereria dizer que participantes podia ser capaz de adivinhar o resultado predizendo ou reconhecendo padrões nos alvos.

Os críticos também apontaram possíveis problemas com o modo em que os dados foram colecionados e foram analisados incluindo 'optional stopping' (Leuba, 1938;
Greenwood, 1938) e 'stacking effects' (ver, p.ex., Pratt, 1954).

Os níveis pobres de garantias estatístico-metodológicos apresentados em alguns estudos passados foram destacados numa meta-análise por Honorton e Ferrari.

Em 1989, analisaram a qualidade de cada estudo em sua base de dados designando um ponto para cada um de 8 critérios metodológicos importantes.

Os estudos receberam uma avaliação média de somente 3,3.

Nós planejamos um procedimento singular para executar uma experiência forced-choice em larga escala de ESP que eliminaria muitos dos problemas previamente associados com tais estudos.

A Máquina da Mente presenteou aos participantes com uma série de vídeoclipes que os conduziram pela experiência.

Durante a experiência, foi pedido aos participantes que completassem uma tarefa forced-choice de ESP que envolveu que tentassem adivinhar se cada um de quatro arremessos 'virtuais' de moeda resultariam em 'cara' ou ‘coroa’.

O resultado de cada arremesso virtual de moeda foi determinado pelo gerador de número aleatório do computador (RNG).

A metodologia da Máquina da Mente foi desenvolvida por várias razões.

Primeira, muitos experimentadores lutavam para atrair o número de confiança de participantes necessário para detectar efeitos pequenos tais como esses achados em parapsicologia.

Por colocar a máquina em lugares públicos, e retirando a necessidade de experimentador estar disponível, éramos capazes de atrair milhares de participantes.

Segundo, a execução dos experimentos de ESP de forced-choice em larga escala tendem a consumir tempo e serem tediosos para tanto os experimentadores quanto para os participantes (Radin, 1997; Broughton, 1991).

A Máquina da Mente superou estes problemas por criar uma experiência totalmente automatizada e por cada participante só contribuir com um número muito pequeno de julgamentos.

Continua...

Continua...

Terceiro, a Máquina da Mente foi projetada para reduzir os problemas potenciais associados com alguns estudos forced-choice prévios de ESP.

Por exemplo, o computador em que ocorria a experiência esteve segurado dentro de um gabinete trancado que não podia ser acessado pelos participantes.

Os possíveis problemas de aleatorização também foram reduzidos por ter a selecção do alvo executada por um gerador pseudo-aleatório de números que foi plenamente testado antes de usar.

A Máquina da Mente foi projectada para superar artefactos estatísticos por especificar o tamanho da base de dados final em avanço da experiência, e gerar uma nova sequência de alvo para cada participante.

Finalmente, assim retirando possíveis factores que causariam problemas metodológicos, nós também introduzimos algumas características que podem aumentar a pontuação positiva em tarefas de ESP.

Incorporar tal 'ESP-conducente' aos procedimentos era importante, dado que uma meta-análise prévia de estudos forced-choice de ESP conduzidos via mídia tinha mostrado que, no total, os resultados não diferiram do acaso (Milton, 1994).

A meta-análise de Honorton e Ferrari (1989) de estudos de precognição forced-choice observou que vários factores foram significativamente associados com o aumento da pontuação de ESP.

Os estudos forneceram imediato, tentativa-por-tentativa, feedback aos participantes obtendo tamanhos significativamente mais altos de efeitos do que aqueles que demoravam ou não tinham nenhum feedback.

Também, as experiências testando aos participantes individualmente tiveram tamanhos significativamente mais altos de efeito que as que os participantes foram testados em grupos.

Estes padrões também foram achados na meta-análise executada por Steinkamp et al. (1998).

Para aumentar ao máximo o potencial de obter evidência para ESP, a Máquina de Mente testou aos participantes individualmente e os forneceram feedback imediato, tentativa por tentativa.

Resultados

UM TOTAL DE 27.856 PARTICIPANTES forneceu 110.959 tentativas de ESP e assim nós alcançamos tentativas suficientes com confiança para detectar tamanhos mesmo muito pequenos de efeito.

No entanto, os resultados totais não diferiram do acaso (49.9% correctos, z=-.62, /?(bi-caudal)=.53).

Também, não havia nenhuma diferença entre tentativas precognitivas e clarividentes;
crentes e descrentes;
recém-chegados e as pessoas que previamente tinham participado;
e as pessoas que predisseram que marcariam acima ou abaixo da possibilidade.

A experiência pode ter obtido resultados dentro do esperado pelo acaso porque não presenteou aos participantes com uma situação onde ESP fosse possível de ser achado.

Apesar do facto que nós projetamos a experiência para incorporar muitos dos factores que são acreditados ajudar na produção de resultados positivos, havia várias diferenças entre a experiência da Máquina da Mente e a maioria dos estudos de laboratório.

Continua...

Continua...

Os participantes não tiveram qualquer contacto com um experimentador 'vivo', e a experiência da Máquina da Mente aconteceu em espaços relativamente ruidosos de público comparados com os arredores calmos de um laboratório.

Também, as pessoas que participaram no estudo da Máquina da Mente eram provavelmente de uma série muito diferente das pessoas que normalmente participam em estudos de laboratório.

Alternativamente, o estudo pode não ter conseguido encontrar evidência de ESP porque tal efeito não existe — ou, ao menos, não pôde ser demonstrado nos confins deste tipo de estudo científico.

A metodologia de Máquina da Mente reuniu uma quantia enorme de dados num período relativamente curto de tempo.

Infelizmente, não forneceu qualquer evidência para funções psíquicas.

No entanto, nós acreditamos que foi uma tentativa valente ao produzir uma nova forma de experiência de ESP e gostaríamos de agradecer a todas as muitas milhares de pessoas que foram suficientemente bondosas em participar.

Referências

Broughton, R. (1991). Parapsychology: The Controversial Science. NY: Ballantine Books.
Gardner, M. (1989). How Not To Test A Psychic.Buffalo, NY: Prometheus Press.

Greenwood, J. (1938). An empirical investigation of some sampling problems. Journal of Parapsychology, 2,222-230.
Hansel, C. (1980). ESP and Parapsychology: A Critical Re-evaluation. Buffalo: Prometheus Books.

Honorton, C. (1987). Precognition and real-time ESP performance in a computer task with an exceptional subject. Journal of Parapsychology, 51, 291-320.

Honorton, C. & Ferrari, D. (1989). 'Fortune telling': A meta-analysis of forced-choice precognition experiments, 1935-1987. Journal of Parapsychology, 53, 281-309.

Hyman, R. (1981). Further comments on Schmidt's PK experiments. Skeptical Inquirer, 5(3), 34-40.
Kennedy, J. (1980). Learning to use ESP: do the calls match the targets or do the targets match the calls? Journal of the American Society for Psychical Research, 74, 191-209.

Leuba, C. (1938). An experiment to test the role of chance in ESP research. Journal of Parapsychology, 2,217-221.

Milton, J. (1994). Mass-ESP: A Meta-Analysis of Mass-Media Recruitment ESP Studies. The Parapsycholgical Association 37th Annual Convention: Proceedings of Presented Papers, pp 284-334.

Pratt, J., Rhine, J., Smith, B, Stuart, C, & Greenwood, J. (1940/1966). Extra-sensory perception after sixty years. Boston: Bruce Humphries.
Radin, D. (1997). The Conscious Universe: The Scientific Truth of Psychic Phenomena. San Francisco: Harper Collins.

Steinkamp, F., Milton, J. & Morris, R. (1998). A Meta-analysis of Forced-Choice Experiments Comparing Clairvoyance and Precognition. Journal of Parapsychology, 62, 193-218.

Wiseman, R., & Greening, E. (2002). The Mind Machine: A mass participation experiment into the possible existence of extra-sensory perception. British Journal of Psychology, 93,487-499.

Artigo publicado na Paranormal Review de janeiro de 2004.

§.§.§- O-canto-da-ave

Em seu provocante artigo “Por que a maioria dos resultados de pesquisa publicados são falsos”, John P. A. Ioannidis começa com a suposição que a maioria das conclusões de pesquisa são falsas.

Ele então cria um modelo para explicar esta situação.

(1) Ele define um resultado de pesquisa como “qualquer relacionamento que alcance importância estatística formal, p.ex., intervenções eficientes, prognosticadores informativos, factores de risco, ou associações”.

Como os editores da PLoS Medicine observam, a definição de Ioannidis não consegue distinguir resultados de dados, conclusões, e hipóteses. (2)

Apesar deste e de outros sofismas sobre o artigo de Ioannidis, seu modelo fornece uma estrutura útil para examinar alegações de pesquisa em vários territórios de inquérito.

Achei instrutivo, por exemplo, aplicar seu modelo ao campo de pesquisa parapsicológico.

Ioannidis observa que os escritores anteriores argumentaram “que o alto índice de não replicação (falta de confirmação) de descobertas de pesquisa é uma consequência da estratégia conveniente, porém mal fundada de alegar resultados conclusivos de pesquisa unicamente por um único estudo avaliado por significância estatística formal, tipicamente para um valor de p menor que 0,05”.

A parapsicologia é um campo que depende exclusivamente para suas conclusões dos testes de significância. J.B. Rhine advogou usando o nível de significância de 0,01 por causa da natureza incomum da alegação de psi.

Mais recentemente, no entanto, os parapsicólogos tem comummente usado o nível de 0,05.

Esta mudança no padrão para rejeitar a hipótese nula aumenta o número de resultados falsos de pesquisa por um fator de cinco.
O modelo de Ioannidis sugere outros factores que inflariam o índice de resultados falsos na pesquisa de psi.

O nível de significância escolhido para o teste da hipótese nula, por si mesmo, não nos diz a probabilidade de que o resultado de pesquisa seja falso.

Como escrevi em outra parte, (3) o teste da hipótese nula implica problemas lógicos sérios.
O que o investigador quer saber é a probabilidade que a hipótese nula seja verdadeira dado o resultado observado.

Infelizmente, o teste não fornece esta informação.
Em vez disso, a prova estatística declara a probabilidade do resultado observado dado que a hipótese nula seja verdadeira.

Esta distinção aparentemente subtil tem consequências importantes que os pesquisadores rotineiramente ignoram.

A consequência mais importante é que necessitamos considerar a probabilidade prévia ou pré-estudo que um resultado será verdadeiro para achar a probabilidade posterior ou pós-estudo que o resultado seja verdadeiro [that we need to consider the prior or pre-study probability that a finding will be true to find the posterior or post-study probability that the finding is true].

Continua...

Continua...

Este princípio sustenta o famoso e controverso Teorema de Bayes.
Este teorema fornece um meio de revisar a probabilidade original que um resultado seja verdadeiro dado os novos dados fornecidos por uma experiência.

A controvérsia surge porque a probabilidade prévia ou original é frequentemente difícil de determinar.
O relacionamento entre a probabilidade de pré-estudo e a probabilidade de pós-estudo é central ao modelo de Ioannidis.

Isto é porque para um dado nível de significância, a probabilidade que um resultado de pesquisa seja falso aumenta para probabilidades mais baixas de pré-estudo.

Considere os resultados de pesquisa parapsicológicos.
A maioria dos cientistas considerariam a priori que a probabilidade de que psi seja verdadeiro como bastante baixa.

No modelo de Ioannidis, a probabilidade de pós-estudo que um resultado de pesquisa seja falso aumenta tanto quanto a plausibilidade de pré-estudo desse resultado diminua, já que o nível de significância sobe, e o poder do teste diminui.

As alegações parapsicológicas nascem com baixa plausibilidade.
Os parapsicólogos tipicamente queixam-se sobre o poder baixo que caracteriza seus estudos. (4)

A probabilidade baixa de pré-estudo de que psi seja real, aumentando o nível de significância de 0,01 a 0,05, e o poder baixo da pesquisa de psi, garante que a maioria dos resultados de pesquisa em parapsicologia serão falsos.

Isto é apenas uma parte da história.

Ioannidis inclui muito mais em seu modelo.
O modelo considera viés e também os efeitos de testar a mesma associação por várias equipes independentes.

Ioannidis define viés como “a combinação de vários projectos, dados, análises, e factores de apresentação que tendem a produzir resultados de pesquisa quando eles não devem ser produzidos”.

O viés aumenta a probabilidade que os resultados de pesquisa sejam falsos.
Os leitores que conhecem minhas críticas da pesquisa parapsicológica (5) estão cientes que focalizei em vários defeitos que criam viés.

Os vieses são somente os tipos que, de acordo com o modelo, grandemente aumentam a probabilidade que os resultados de pesquisa sejam falsos.

Neste comentário breve, eu considerarei somente um corolário que segue o modelo de Ioannidis.

Este corolário declara que, “Quanto menores os estudos conduzidos num campo científico, menos provável que os resultados de pesquisa sejam verdadeiros”.

Em outras palavras, um campo que conduz muitos estudos com poder baixo gerará muitos resultados falsos.

Ironicamente, este corolário directamente discorda com as posições de parapsicólogos tais como Utts e Radin.

Estes comentaristas argumentam que a razão dos resultados de pesquisa parapsicológicos poderem ser não replicáveis é que têm poder baixo.

Continua...

Continua...

Por juntar estudos, a meta-análise torna-se uma ferramenta poderosa, em sua opinião, ao mostrar que os efeitos de psi, contudo pequenos, são reais.

Ioannidis usa seu modelo para fazer o ponto contrário.
De acordo com ele, em campos onde a maioria dos estudos têm poder baixo e onde os supostos efeitos são pequenos, “o campo é provável de estar contaminado por alegações falsas quase omnipresentes. ...”

Suas simulações mostram que “um resultado meta-analítico de estudos inconclusivos onde uma combinação é usada para ‘corrigir’ o poder baixo de estudos isolados, é provavelmente falsa se R [a chance do pré-estudo ser verdadeiro] é menor ou igual a 1:3”.

Isto significa que se a probabilidade de pré-estudo de um resultado de pesquisa ser verdadeira é menor que .25, então um resultado significativo de uma meta-análise é provavelmente falso.

Embora nós não saibamos a probabilidade real de pré-estudo que um resultado significativo em favor de psi seja verdadeiro, é razoável supor que seria muito, muito menor que .25.

Durante meus cinquenta anos como um crítico de alegações paranormais, eu documentei uma variedade de defeitos que contaminam a pesquisa parapsicológica.

Na maioria das vezes, os parapsicólogos não negaram a existência de tais defeitos.
A defesa mais comum é argumentar que um defeito dado, por si mesmo, seria insuficiente para explicar todos os resultados.

Os parapsicólogos podem estar correctos; qualquer defeito dado, por si mesmo, pode muito bem ser insuficiente para explicar todos os resultados parapsicológicos significativos.

No entanto, este não é meu ponto. Deixe-nos supor que cada defeito contribui somente com uma quantidade muito pequena de viés.

A pergunta é, qual é o viés total produzido pela combinação de todos estes vieses menores operando juntos?

Tentei responder esta pergunta para alguns dos defeitos que eu identifiquei com respeito aos testes de significância na original base de dados psi de ganzfeld. (6)

Corri uma simulação usando alguns dos defeitos.
Os estudos nesta base de dados testaram seus resultados usando o nível de significância de 0,05.

A simulação mostrou que, em efeito, os experimentadores operavam com um nível de significância de 0,30 ou mais alto.

O índice de alarme falso era mais do que seis vezes o que foi noticiada!
Esta simulação usou só alguns dos defeitos e fraquezas que eu descobri nessa base de dados.

Continua...

Continua...

Ioannidis deu-nos uma ferramenta valiosa para quantificar as probabilidades que os resultados de uma série de investigações num campo dado sejam falsas.

Esperançosamente, isto levará a mais e melhores meios para estimar quantos resultados de um dado programa de pesquisa sejam espúrios.

De facto, Ioannidis indica que os resultados significativos e os tamanhos dos efeitos que vão com eles em certos campos simplesmente podem não reflectir nada mais que um viés.

Notas

(1.) Ioannidis, J.P.A. 2005. Why most published research findings are false. PLoS Medicine, 2(8): e124.
(2.) PloS Medicine Editors. 2005. Minimizing mistakes and embracing uncertainty. PLoS Medicine, 2(8), e272.

(3.) Hyman, R. 2005. Statistics and the test of Natasha. Available at www.csicop.org/special articles/natasha2.html. A shorter version was published as Statistics of the Natasha Test: Response to Concerns and Questions, SKEPTICAL INQUIRER, 29(5): 58-60, 2005 (September/October).

(4.) For example: Utts, J. 1991. Replication and meta-analysis in parapsychology. Statistical Science, 6, 363-403 and Radin, D. 1997. The Conscious Universe: The scientific Truth of Psychic Phenomena. NY: HarperEdge.

(5.) For example: Hyman, R. 1989. The Elusive Quarry: A Scientific Appraisal of Psychical Research. Buffalo, NY: Prometheus Books; and Hyman, R. 2003. How Not to Test Mediums: Critiquing the Afterlife Experiments. SKEPTICAL INQUIRER, 27(1): 20-30 (January/February).

(6.) Hyman, R. 1985. The ganzfeld psi experiment: a critical appraisal. Journal of Parapsychology, 49, 3-50.

Ray Hyman is professor emeritus of psychology at the University of Oregon.
E-mail: rayhyman@comcast.net.

COPYRIGHT 2006 Committee for the Scientific Investigation of Claims of the Paranormal

Artigo publicado na Skeptical Inquirer THE MAGAZINE FOR SCIENCE AND REASON Volume 30, No. 2 * March/April 2006

§.§.§- O-canto-da-ave