Compreensão interessante de Naive Bayes

NavieBayes

Muitas situações da vida exigem classificação, como classificação de notícias, classificação de pacientes, etc. Para que você possa visualizar a compreensão, este artigo apresenta um algoritmo de classificação simples e comumente usado a partir de aplicações práticas: o simples Bayes (Navie Bayes classifier).

• 01 Exemplo de classificação de pacientes

  Deixe-me começar com um exemplo, e você verá que o classificador de Bayes é muito fácil de entender, não é nada difícil. Um hospital recebeu seis pacientes em consultas médicas pela manhã, como mostra a tabela abaixo.

  

  E agora vem o sétimo paciente, um trabalhador da construção que espirra. Pergunte-lhe qual é a probabilidade de ele ter um resfriado.

  
              
              
              
  P(A|B) = P(B|A) P(A) / P(B)
  

  Não é verdade.

  
              
              
              
  P(感冒|打喷嚏x建筑工人) 
  　　　　= P(打喷嚏x建筑工人|感冒) x P(感冒) 
  　　　　/ P(打喷嚏x建筑工人)
  

  Suponha que as características de "espirrar" e "trabalhador de construção" sejam independentes, e, portanto, a equação acima se transforma em

  
              
              
              
  P(感冒|打喷嚏x建筑工人) 
  　　　　= P(打喷嚏|感冒) x P(建筑工人|感冒) x P(感冒)
  　　　　/ P(打喷嚏) x P(建筑工人)
  

  Isso pode ser calculado.

  
              
              
              
  P(感冒|打喷嚏x建筑工人) 
  　　　　= 0.66 x 0.33 x 0.5 / 0.5 x 0.33 
  　　　　= 0.66
  

  Assim, o trabalhador de construção que espirrou teve uma probabilidade de 66% de ter tido uma gripe. Assim, a probabilidade de que o paciente tivesse uma alergia ou um concussão pode ser calculada. Comparando essas probabilidades, é possível saber qual a doença mais provável que ele teria.

  Este é o método básico do classificador de Bayes: com base em dados estatísticos, com base em certas características, calcula-se a probabilidade de cada categoria, de modo a realizar a classificação.

• 02 Fórmula do classificador básio simples

  Suponha que um indivíduo tenha n características, F1, F2, ... , Fn. Existem m categorias, C1, C2, ... , Cm. O classificador de Bayes é a classificação com maior probabilidade de ser calculada, ou seja, o valor máximo do seguinte algoritmo:

  
              
              
              
  P(C|F1F2...Fn) 
  　　   = P(F1F2...Fn|C)P(C) / P(F1F2...Fn)
  

  Como P ((F1F2...Fn) é o mesmo para todas as categorias, pode ser omitido, e a questão torna-se

  
              
              
              
  P(F1F2...Fn|C)P(C)
  

  Valor máximo de

  O classificador básio simples é mais avançado, assumindo que todas as características são independentes umas das outras, e portanto

  
              
              
              
  P(F1F2...Fn|C)P(C) 
  　　   = P(F1|C)P(F2|C) ... P(Fn|C)P(C)
  

  Cada elemento à direita da equação pode ser obtido a partir de dados estatísticos que permitem calcular a probabilidade de correspondência de cada categoria e, assim, descobrir a categoria com maior probabilidade.

  Embora a hipótese de que "todas as características são independentes umas das outras" seja improvável na realidade, ela pode simplificar consideravelmente o cálculo, e há estudos que mostram que a precisão dos resultados da classificação é pouco afetada.

A seguir, vamos ver mais dois exemplos de como usar o classificador básio simples.

• 03 Classificação de contas

  De acordo com uma amostra de estatísticas de um site de comunidade, 89% das 10 mil contas do site são reais (configure C0) e 11% são falsas (configure C1). Em seguida, os dados estatísticos são usados para julgar a autenticidade de uma conta.

C0 = 0.89
C1 = 0.11

Suponha que uma conta possui as três seguintes características:
F1: Número de diários/dias de registro
F2: Número de amigos/dias de inscrição
F3: Se a imagem real é usada (a imagem real é 1, a imagem não-real é 0)
F1 = 0.1 
F2 = 0.2 
F3 = 0

O método é usar um classificador básio simples para calcular o valor da seguinte fórmula:

P(F1|C)P(F2|C)P(F3|C)P(C)

Embora os valores acima possam ser obtidos a partir de dados estatísticos, há um problema: F1 e F2 são variáveis contínuas e não são adequadas para calcular a probabilidade de acordo com um determinado valor. Uma técnica é transformar valores contínuos em valores dispersos e calcular a probabilidade de intervalos.[0, 0.05]、(0.05, 0.2)、[0.2, +∞] três intervalos, e calculamos a probabilidade de cada um deles. No nosso exemplo, F1 é igual a 0.1 e cai no segundo intervalo, então, quando o cálculo é feito, usamos a probabilidade de ocorrência do segundo intervalo.

De acordo com as estatísticas:

P(F1|C0) = 0.5, P(F1|C1) = 0.1 
P(F2|C0) = 0.7, P(F2|C1) = 0.2 
P(F3|C0) = 0.2, P(F3|C1) = 0.9

Portanto,

P(F1|C0) P(F2|C0) P(F3|C0) P(C0) 
= 0.5 x 0.7 x 0.2 x 0.89 
= 0.0623
P(F1|C1) P(F2|C1) P(F3|C1) P(C1) 
= 0.1 x 0.2 x 0.9 x 0.11 
= 0.00198
Pode-se ver que, embora este usuário não tenha usado uma imagem de rosto real, ele é mais de 30 vezes mais provável que seja uma conta real do que uma falsa, portanto, julgar a conta como verdadeira.

• 04 Classificação por sexo

  A seguir estão algumas estatísticas sobre as características do corpo humano.

  

  Se você sabe que uma pessoa tem 6 pés de altura, 130 libras e 8 polegadas de palmas das mãos, pergunte se ela é homem ou mulher. Calcule o valor da seguinte fórmula com base no classificador básio simplório:

  P (altura e sexo) x P (peso e sexo) x P (pés e sexo) x P (sexo)

  A dificuldade aqui é que, uma vez que a altura, o peso e as palmas das mãos são variáveis contínuas, não é possível calcular a probabilidade usando o método das variáveis isoladas. E, como a amostra é muito pequena, não é possível dividir o cálculo em intervalos. O que fazer?

  Com esses dados, é possível calcular a classificação de gênero.

  P (altura = 6 anos de idade) x P (peso = 130 anos de idade) x P (palma = 8 anos de idade) x P (homem)

  = 6.1984 x e-9

  P (altura = 6 anos de idade) x P (peso = 130 anos de idade) x P (palmas = 8 anos de idade) x P (mulher)

  = 5.3778 x e-4

  Como pode ser visto, as mulheres são quase 10.000 vezes mais propensas do que os homens a ser diagnosticadas como mulheres.

O número público do WeChat de Deng Xiaoping