Fator de Bayes

Em estatística, o uso de fatores de Bayes é uma alternativa bayesiana ao teste de hipóteses clássico. A comparação de modelos bayesianos é um método de seleção de modelos baseado em fatores de Bayes. Os modelos em consideração são modelos estatísticos. O objetivo do fator Bayes é quantificar o suporte para um modelo em comparação com outro, independentemente de esses modelos estarem corretos. A definição técnica de "suporte" no contexto da inferência bayesiana é descrita abaixo.

Definição

O fator de Bayes é uma razão de verossimilhança da verossimilhança marginal de duas hipóteses concorrentes, geralmente uma nula e uma alternativa.

A probabilidade a posteriori $\Pr(M|D)$ de um modelo M conhecendo-se os dados D é fornecida pelo teorema de Bayes :

$\Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.$

O termo $\Pr(D|M)$ representa a probabilidade de que alguns dados sejam produzidos sob a premissa do modelo M ; avaliar corretamente é a chave para a comparação do modelo bayesiano.

Em um problema de seleção de modelos no qual temos que escolher entre dois modelos, a plausibilidade dos dois modelos M ₁ e M ₂, parametrizados por vetores de parâmetros do modelo $\theta _{1}$ e $\theta _{2}$, é avaliada pelo fator de Bayes (K) dado por

$K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.$

Quando os dois modelos são igualmente prováveis a priori (ou seja, $\Pr(M_{1})=\Pr(M_{2})$), o fator de Bayes é igual à razão das probabilidades posteriores de M ₁ e M ₂. Se, em vez da integral do fator de Bayes, for usada a verossimilhança correspondente à estimativa de máxima verossimilhança do parâmetro para cada modelo estatístico, o teste se tornará um teste clássico de razão de verossimilhança. Diferentemente de um teste de razão de verossimilhança, essa comparação de modelo bayesiano não depende de nenhum conjunto único de parâmetros, pois se integra a todos os parâmetros em cada modelo (com relação aos respectivos anteriores). No entanto, uma vantagem do uso dos fatores de Bayes é que ele inclui uma penalidade por incluir muita estrutura do modelo, protegendo contra o sobreajuste. Para modelos em que uma versão explícita da probabilidade não está disponível ou é muito cara para avaliar numericamente, o cálculo bayesiano aproximado pode ser usado para a seleção de modelos em uma estrutura bayesiana, com a ressalva de que as estimativas bayesianas aproximadas dos fatores de Bayes são frequentemente tendenciosas.

Outras abordagens são:

• tratar a comparação de modelos como um problema de decisão calculando o valor ou custo esperado de cada escolha de modelo;
• para usar o comprimento mínimo da mensagem (MML).

Interpretação

Um valor de K > 1 significa que M₁ é mais suportado pelos dados que M₂. Observe que o teste clássico de hipóteses fornece um status preferido para uma hipótese (ou modelo) (a 'hipótese nula') e considera apenas evidências contra ela. Harold Jeffreys deu uma escala para a interpretação de K:

K	dHart	bits	Strength of evidence
< 100	0	—	Negative (supports M2)
100 to 101/2	0 to 5	0 to 1.6	Barely worth mentioning
101/2 to 101	5 to 10	1.6 to 3.3	Substantial
101 to 103/2	10 to 15	3.3 to 5.0	Strong
103/2 to 102	15 to 20	5.0 to 6.6	Very strong
> 102	> 20	> 6.6	Decisive

A segunda coluna fornece os pesos correspondentes de evidência nos decihartleys (também conhecidos como decibans); bits são adicionados na terceira coluna para maior clareza. De acordo com IJ Good, uma mudança no peso da evidência de 1 deciban ou 1/3 de bit (ou seja, uma alteração no odds ratio de pares para cerca de 5:4) é tão sutil quanto os seres humanos podem razoavelmente perceber seu grau de crença. em uma hipótese no uso diário.

Uma tabela alternativa, amplamente citada, é fornecida por Kass e Raftery (1995):

log10 K	K	Strength of evidence
0 to 1/2	1 to 3.2	Not worth more than a bare mention
1/2 to 1	3.2 to 10	Substantial
1 to 2	10 to 100	Strong
> 2	> 100	Decisive

Exemplo

Suponha que tenhamos uma variável aleatória que produza um sucesso ou um fracasso. Queremos comparar um modelo M₁ no qual a probabilidade de sucesso é q = ½, e outro modelo M₂ no qual q é desconhecido e tomamos uma distribuição anterior para q que é uniforme em [0,1]. Tomamos uma amostra de 200 e encontramos 115 sucessos e 85 falhas. A verossimilhança pode ser calculada de acordo com a distribuição binomial :

${{200 \choose 115}q^{115}(1-q)^{85}}.$

Assim, temos para M₁

$P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}=0.005956...,\,$

enquanto que para o M₂ temos

$P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={200 \choose 115}\times \int _{0}^{1}q^{115}(1-q)^{85}dq={200 \choose 115}\times$ $\mathrm {B} (116,86)$ $={200 \choose 115}\times$ $\Gamma (116)\times \Gamma (86) \over \Gamma (116+86)$ $={\frac {200!}{{115!}\times {85!}}}\times {\frac {{115!}\times {85!}}{201!}}={1 \over 201}=0.004975....$

A proporção é então de 1.197 ..., que "mal vale a pena mencionar", mesmo que aponte muito levemente para M ₁ .

Um teste de hipótese freqüentista de M₁ (aqui considerado como hipótese nula ) teria produzido um resultado muito diferente. Esse teste diz que M₁ deve ser rejeitado no nível de significância de 5%, uma vez que a probabilidade de obter 115 ou mais sucessos de uma amostra de 200 quando q = ½ é de 0,0200. No caso de um teste bicaudal para obter um número tão ou mais extremo que 115 é 0,0400. Observe que 115 está a mais de dois desvios padrão de 100. Assim, enquanto um teste de hipótese freqüentista produziria resultados significativos no nível de significância de 5%, o fator Bayes dificilmente considera que este seja um resultado extremo. Observe, no entanto, que um anterior não uniforme (por exemplo, um que reflete o fato de que você espera que o número de sucessos e falhas seja da mesma ordem de grandeza) pode resultar em um fator de Bayes que está mais de acordo com o teste de hipótese frequentista.

Um teste de razão de verossimilhança clássico teria encontrado a estimativa de máxima verossimilhança para q, ou seja, ¹¹⁵ ⁄ ₂₀₀ = 0,575, de onde

$\textstyle P(X=115\mid M_{2})={{200 \choose 115}q^{115}(1-q)^{85}}=0.056991$

(em vez de calcular a média de todas as q possíveis). Isso fornece uma razão de verossimilhança de 0,1045 e aponta para M₂ .

M₂ é um modelo mais complexo do que M₁ , porque tem um parâmetro livre que lhe permite modelar os dados mais estreitamente. A capacidade dos fatores Bayes de levar isso em consideração é uma das razões pelas quais a inferência bayesiana foi apresentada como justificativa teórica, sendo uma generalização da navalha de Occam, reduzindo os erros do tipo I.

Por outro lado, o método moderno de verossimilhança relativa leva em consideração o número de parâmetros livres nos modelos, (diferentemente da taxa de verossimilhança clássica). O método de verossomilhança relativa pode ser aplicado da seguinte maneira. O modelo M₁ possui 0 parâmetros e, portanto, seu valor AIC é 2 · 0   − 2 · ln (0,005956)   = 10,2467. O modelo M ₂ possui 1 parâmetro e, portanto, seu valor AIC é 2 · 1   − 2 · ln (0,056991)   = 7,7297. Portanto, M ₁ é sobre exp ((7.7297   − 10,2467) / 2)   = 0,284 vezes mais provável que M₂ para minimizar a perda de informações. Assim H₂ é ligeiramente preferido, mas também de M₁ não pode ser excluída.

Inscrição

• O fator Bayes foi aplicado para classificar a expressão diferencial dinâmica de genes em vez do valor q.

Ver também

• Critério de informação de Akaike
• Computação bayesiana aproximada
• Critério de informação bayesiano
• Critério de informação de desvio
• O paradoxo de Lindley
• Comprimento mínimo da mensagem
• Seleção de modelo

Razões estatísticas

• Razão de probabilidade
• Risco relativo