A indexação em SEO se refere ao procedimento pelo qual um mecanismo de busca lista, armazena e ordena as páginas de um website para que elas sejam rapidamente exibidas assim que um usuário inicia uma busca. É um passo essencial no referenciamento natural sem o qual um website não pode ser exibido nos resultados de um mecanismo de busca
Os motores de busca como o Google ou o Bing são capazes de fornecer milhares de respostas a uma pergunta em apenas uma fração de segundo. Mas por trás dessa velocidade de processamento, há muitos passos, incluindoindexação
Então, o que é indexação?
- O que é indexação?
- Qual é a sua importância para SEO ?
- E como o senhor facilita a indexação de um site?
Descubra a resposta a todas essas perguntas e muito mais neste mini-guia dedicado à indexação
Vamos começar!
Capítulo 1: Indexação – Como funciona e por que é importante para a SEO
Antes de sobrecarregá-lo com termos técnicos, vale a pena discutir como funciona esse conceito para evitar ambiguidades no resto do guia
1.1) Como funciona a indexação?
Quando um website é recém-criado ou uma página é adicionada a um site, eles não são automaticamente acessíveis aos motores de busca. Os motores têm que passar por uma série de etapas antes de encontrá-los
E para chegar a estas páginas, os motores de busca enviarão o que se chama em SEOchamado rastejadores. Como seu nome sugere, um rastejador explora locais traçando um caminho baseado em links internos e ligações externas
Através desses links, o rastejador “viajará” entre as páginas de um site ou de um site para outro
Durante essa jornada de exploração, o robô vai coletar informações, ordená-las e armazená-las em um banco de dados: esta é a fase de indexação. Essa base de dados é chamada de Índice ”
Após o lançamento de uma consulta, os motores de busca se basearão nas informações armazenadas no índice para propor respostas baseadas nas palavras-chave digitadas pelo usuário em sua consulta.
Sem essa etapa de indexação, nenhuma página de um site pode ser exibida nos resultados do mecanismo de busca após uma busca. É um passo essencial no referenciamento natural, mas não suficiente, para classificar bem uma página em motores de busca
Isso significa que, para ter uma boa classificação no Google ou em qualquer outro mecanismo de busca, você precisa encontrar outros critérios de classificação após a fase de indexação da página
Assim, quando um usuário da Internet lança uma consulta no Google ou no Bing, por exemplo, ele não lança sua pesquisa diretamente na rede, mas sim no índice dos motores
Se a pesquisa estiver relacionada com seu tema, sua página não terá chance de ser apresentada ao usuário da Internet se não tiver sido previamente explorada e indexada
Além disso, é preciso dizer que os motores de busca nem sempre indexam todas as páginas disponíveis na rede. S vezes, devido à má qualidade do conteúdo ou às más práticas de SEO, algumas páginas de um site podem não ser indexadas
Voltaremos aos fatores que podem impedir que uma página seja indexada com mais detalhes em um capítulo posterior
Mas assim que o usuário da Internet lança seu pedido, o que realmente acontece entre o tempo que separa seu pedido e a resposta do motor de busca?
Bem, o motor de busca vai
- Analisar a pergunta do usuário para compreender sua intenção de busca;
- Pesquise seu índice e filtre as informações de acordo com a intenção do usuário;
- Selecionar todas as páginas consideradas relevantes para a consulta, com base em várias critérios de classificação ;
- Em seguida, exibir essas páginas ao usuário, por ordem de relevância
Enquanto alguns sites atualizam regularmente suas páginas, outros se tornam obsoletos
Portanto, a cada dia são criadas novas páginas, fornecendo informações novas e mais relevantes do que o conteúdo antigo
Diante desta contínua mudança de informação, para permanecer eficiente robôs de indexação são obrigados a revisitar regularmente os sites que já foram indexados
A freqüência das visitas de um rastejador de um site depende de vários fatores que definem o Orçamento de rastejamento do local
1.2) Como funciona a indexação com o Google?
Como explicado anteriormente, o Google também trabalha da mesma maneira para indexar suas páginas web. O que precisamos especificar é que para explorar a web e indexar as páginas disponíveis, o Google usa seu robô de indexação chamado Googlebot
Se durante o rastreamento o Googlebot se deparar com uma página otimizada para indexação, o robô pode tentar entender o tópico que está abordando
Esta pode ser uma página recém-criada ou uma página antiga, desde que atenda aos critérios de otimização da indexação
Para iniciar o processo de indexação, o Googlebot analisará o conteúdo da página, catalogará os elementos visuais inseridos e quaisquer outros dados disponíveis para ajudá-la a compreender o propósito da página
Todas as informações coletadas serão então classificadas por tema e armazenadas no índice do Google
O índice do Google é uma vasta base de dados que contém várias centenas de bilhões de páginas. O próprio mecanismo de busca estima o tamanho de seu índice em mais de 100 milhões de gigabytes
Agora vamos ver a importância da indexação para a SEO de seu website.
1.3. Qual a importância da indexação à SEO?
Quando explicamos como os motores de busca indexam as páginas da web, mencionamos a primeira importância da indexação para a SEO de seu website
O senhor já sabe que, sem a fase de armazenamento no índice da web, as páginas de seu site não podem ser visíveis pelos usuários da Internet em uma página de resultados do mecanismo de busca
E isso não é tudo, quando o Googlebot visita seu site, pode detectar malware, problemas técnicos ou conteúdo de má qualidade
Em outras palavras, o senhor pode tomar o índice Google como uma fonte confiável. Se algumas de suas páginas estiverem ali listadas, é prova de que essas páginas são “saudáveis” e relevantes o suficiente para serem apresentadas aos usuários da Internet
No entanto, lembre-se que o Google também tem um índice secundário onde armazena páginas de menor qualidade. Estes incluem páginas duplicadas ou páginas consideradas “menos relevantes” pelo mecanismo de busca
O Google normalmente não mostra páginas no índice secundário em seus resultados, porque não dá a mesma importância a todas as páginas. O ideal seria que suas páginas da Internet estivessem classificadas no índice principal
Mas por que algumas páginas não são indexadas pelos motores de busca? Falaremos sobre isso no próximo capítulo
Capítulo 2: Fatores que impedem que uma página seja indexada
Antes de entrarmos nos fatores que poderiam bloquear a indexação de suas páginas, eis o que o senhor vai enfrentar se isso realmente acontecer
2.1. As conseqüências dos problemas de indexação
A natureza e os problemas que afetam a indexação de uma página variam em termos de seu impacto sobre o site
Se é uma página que é menos importante para o proprietário que é afetado, certamente não é o fim do mundo
Mas se, por outro lado, é uma página importante com um conteúdo altamente otimizado que é afetada, é uma pena e todos os esforços da SEO vão por água abaixo.
Se for uma loja de comércio eletrônico, as conseqüências serão ainda mais graves. Fica acordado que, para esses sites de comércio eletrônico, o tráfego orgânico é mais lucrativo a longo prazo do que anúncios ou campanhas de PPC
Imagine que uma boa parte do fichas de produtos das fichas de produtos da companhia não são indexado pelo Google. Os consumidores não os verão e a loja verá o seu taxa de conversão a taxa de conversão vai cair consideravelmente
Vejamos agora os fatores propriamente ditos:
2.2. 10 razões comuns pelas quais o Google não indexa todos os links
É verdade que definimos o índice como a base de dados do motor, mas os rastejadores ainda são muito seletivos e não armazenam tudo em seu caminho
Há razões comuns pelas quais os motores de busca não indexam todos os links
2.2.1. Páginas que devolvem códigos de resposta diferentes de 200
O senhor talvez não saiba disso, mas se as páginas de seu site não devolverem os 200 códigos de resposta, não há possibilidade de que sejam indexadas, ou de que continuem a ser indexadas se tiverem sido indexadas
O código 200 (OK) indica uma resposta positiva do servidor após um pedido de acesso a uma página
Por razões de redirecionamentos uRLs, o acesso a uma página pode retornar 404 ou 500 erros e até que o erro seja esclarecido, os motores de busca não indexarão a página
O senhor pode verificar o status de suas páginas importantes em HTTPStatus.io. Apenas o URL da página e a ferramenta mostra o status da página
Se o senhor encontrar páginas com o código 404, convido-o a consultar meu artigo 404 erro: Por que e como corrigi-lo eficientemente?
2.2.2. A indexação também pode ser bloqueada pelo arquivo Robots.txt
O senhor pode investir a mesma atenção em escrever todo o seu conteúdo, mas provavelmente há algumas páginas que são mais interessantes para seus negócios do que outras
Mesmo que o desafio dos mecanismos de busca seja fornecer páginas relevantes aos usuários da Internet, qual seria seu interesse se eles dão prioridade a páginas que não são necessariamente uma prioridade para o senhor?
É por isso que os motores de busca dão aos proprietários do site o poder de indicar qual conteúdo eles querem ativamente ser indexados
O arquivo Robots.txt o arquivo está localizado na raiz do seu site e é usado para fazer recomendações de indexação aos motores de busca. Portanto, se uma de suas páginas não está no índice do Google, a primeira coisa a fazer seria consultar o arquivo Robot.txt
Se for uma página que já está indexada pelo mecanismo de busca, o senhor receberá uma mensagem notificando que a página não está mais disponível e que o problema vem do arquivo Robots.txt:
Fonte Kern Media
Ver meu artigo sobre o arquivo Robots.txt para descobrir como otimizar seu arquivo Robots.txt e remover tais erros.
2.2.3. A etiqueta Meta Robots com o valor “Noindex
Outra das razões mais comuns pelas quais um website pode acabar não sendo indexado pelo Google é a presença da tag Meta Robots na parte do código fonte da página
Se essa etiqueta estiver definida como “noindex”, esta é uma mensagem para o Google para não indexar a página em questão. E de fato, o Google não indexará a página até que o valor seja alterado
Para verificar o valor do etiqueta Meta Robots em uma página, clique com o botão direito do mouse sobre a página e clique em “Inspect Element” para acessar diretamente o código fonte
Para ir rápido, o senhor pode combinar as chaves” Ctrl + Upara acessar o código fonte
Uma vez no código, substitua o valor do parâmetro “conteúdo” por aquele que melhor lhe convier. Saiba mais sobre a sintaxe da etiqueta e os diferentes valores possíveis a atribuir neste artigo, que define o etiqueta Meta Robots.
2.2.4. A etiqueta X-Robots com o valor “Noindex
Esta etiqueta funciona um pouco como os Meta-Robôs. Isso também permite que o senhor controle a maneira como o Google indexa uma página. Mas é preciso dizer que a etiqueta X-Robots se encontra mais na resposta do cabeçalho de páginas da web ou de certos documentos
Estas são geralmente páginas não-HTML sem a seção tal como PDF, DOC, etc
A menos que o senhor tenha intencionalmente acrescentado “noindex” à etiqueta X-Robots, é muito raro que isso aconteça por acaso. Em todo caso, verifique também essa eventualidade para ter certeza de que não é a etiqueta X-Robots que está impedindo que sua página seja indexada
Para fazer isso, o senhor pode usar a extensão cromada Ferramentas do site SEO :
Fonte Kern Media
2.2.5. Duplicação do conteúdo do site
O conteúdo duplicado no mesmo local são muito prejudiciais para a referência em geral. Conteúdo que é parcial ou completamente duplicado em outra página do mesmo site pode impedir que os outros sejam indexados pelos motores de busca
Portanto, se o senhor notar duplicidade de conteúdo em seu site, poderá ser a raiz de seu problema de indexação. Se o número de cópias for alto, até mesmo a página original será rebaixada nos SERPs do Google
Para saber se o usuário tem conteúdo duplicado em seu site, pode usar o Siteliner para rapidamente rastejar o site e recuperar as URLs de páginas duplicadas
É bastante simples de usar, basta digitar o nome do domínio do site e a ferramenta fornecerá um gráfico com a taxa percentual de conteúdo duplicado.
O Google é bastante firme no conteúdo duplicado e tolera algumas pequenas passagens que podem ser repetidas
Portanto, até certo ponto, é bem possível que páginas com conteúdo semelhante em seu site possam ser indexadas e classificadas no Google
Mas se é um grande volume de conteúdo que é copiado e colado inteiramente em outras páginas, é provável que o Google penalize essas páginas e até mesmo as retire de seu índice
2.2.6. Duplicação do conteúdo fora do site
Mesmo que o senhor tenha cuidado com conteúdos duplicados em seu site, conteúdos duplicados de fora de seu site, isto é, de outros sites, ainda podem chegar até o senhor
Uma grande quantidade de conteúdo duplicado de seu site em vários outros sites também ficaria mal para o mecanismo de busca
Independentemente da sua indústria ou do tipo de site que o senhor tenha, as penalidades do Google para conteúdo duplicado são as mesmas. Se o senhor suspeitar que alguns websites plagiaram um trecho de seu conteúdo, coloque o trecho entre aspas e depois faça uma pesquisa no Google
O senhor receberá uma lista de websites que usaram o extrato em seu conteúdo, semelhante à forma como as citações são encontradas no Google
Para ter certeza do resultado, o senhor pode usar uma ferramenta dedicada capaz de detectar conteúdo duplicado, ela é chamada Copyscape. A ferramenta fornece um relatório detalhado dos websites que plagiaram o senhor
O senhor também pode usar o verificador de plágio Quetext o senhor está em posse de um verificador de plágio para ver se os sites copiaram seu conteúdo com exatidão
Uma vez que esses sites estejam listados, descubra neste artigo estratégias para reivindicar seu conteúdo duplicado e pedir ao Google que lhe devolva o direito
2.2.7. Páginas que não agregam nenhum valor aos usuários da Internet
O primeiro desafio dos mecanismos de busca é fornecer resultados que sejam relevantes e que respondam efetivamente à pergunta do usuário
Infelizmente, nem todo o conteúdo da Rede oferece um real valor agregado aos usuários.
Se o senhor acha que está na mesma situação, fixe o quanto antes a qualidade de seu conteúdo para oferecer uma melhor experiência a seus usuários. O Google o recompensará indexando regularmente suas páginas
Temos, por exemplo, osites afiliados que geralmente geram anúncios sem muita preocupação com a satisfação dos usuários. Os algoritmos do Google estão se tornando cada vez mais inteligentes e capazes de detectar essas páginas de baixo valor e não indexá-las.
2.2.8. Seu site acaba de ser criado
Se o senhor acaba de criar seu site, é importante saber que sua indexação não será sistemática. Leva tempo para que o Google ou qualquer outro mecanismo de busca o descubra.
Como explicado acima, para chegar ao seu site, o Google encontrará um caminho construído com links. É por isso que é importante ter boas estratégias de construção de vínculosespecialmente se se trata de um site recém-criado
2.2.9. A velocidade com que sua página carrega
Além da qualidade do conteúdo textual, um site deve também melhorar seu desempenho técnico
Apesar de seu conteúdo, um site que leva uma eternidade para ser carregado, ou que aparece de uma maneira inoportuna, ou que oferece uma má experiência para o usuário, será sempre desprezado pelos motores de busca
O tempo que leva para carregar suas páginas tem um impacto direto no seu índice de tráfego. Quanto mais lento for o tempo de carregamento, tanto menos tempo os usuários passarão em seu site
E como o Google sempre defende a experiência do usuário, ele desencoraja os sites que não têm uma velocidade de carregamento rápida
Se o problema da lentidão persistir, o Google pode até decidir remover a página em questão do seu índice
Há várias ferramentas disponíveis para testar a velocidade de carregamento de suas páginas, incluindo Página Speed Insights do Google ou o GTMetrix
2.2.10. Páginas órfãs
Para atualizar seu índice, o Google rastreia regularmente websites, incluindo sitemaps XML SITEMAPS. Se a sua é visitada com freqüência pelo Googlebot e o senhor encontra os fatores de classificação, o mecanismo de busca pode melhorar sua classificação em suas SERPs
Mas se durante o rastreamento do Google não encontrar links que redirecionem para um determinado conteúdo em seu site, esse conteúdo simplesmente não será indexado
Não importa se o link é interno ou de um site externo, o Google precisa dele para alcançar o conteúdo, rastreá-lo e, se possível, indexá-lo
Essas páginas que não têm links internos são o que é conhecido na SEO como páginas órfãs “. Se seu site tem demasiadas páginas órfãs, isso pode desencorajar o Google de indexar seu site regularmente
Para detectar páginas órfãs em seu site, o senhor pode usar o Sapo gritante
Para o truque, o senhor pode exportar todos os URLs arrastados pelo Screaming Frog para uma planilha de cálculo
Em seguida, compare essa primeira lista de URLs com a lista disponível no mapa do site de seu XML. Qualquer link que acabe no mapa do site e não no relatório de rastejamento do “Screaming Frog” será, portanto, considerado como páginas órfãs
É bom poder reconhecer e corrigir problemas de indexação que minam seu site.
Mas é ainda melhor manter um olhar constante sobre o site para detectar rapidamente esses problemas antes que eles afetem sua SEO
2.3. monitorar o status de indexação de seu site com o Console de Busca do Google
Como já vimos, ter erros de indexação pode arruinar a SEO de um site e diminuir sua receita
Mas antes que isso aconteça, o Google lhe fornece uma ferramenta para monitorar constantemente o status de indexação de seu site: é o Console de Busca do Google
Para usar esta ferramenta, primeiro acesse seu página inicial
Depois, na barra lateral esquerda, clique nas seguintes opções localizadas logo abaixo da guia “Índice”:
- Cobertura
- Sitemaps
Recomenda-se verificar a situação da indexação pelo menos uma vez por mês ou dois meses para detectar erros
Depois de corrigir os problemas de indexação de seu site, surge frequentemente uma pergunta entre os proprietários do site: “Quando minha página será indexada?
2.4. Saber quando uma página será indexada
Muitos proprietários de websites se preocupam e se perguntam quando sua página será indexada. Bem, infelizmente não há uma resposta precisa que possa ser dada a essa pergunta
O fato é que o senhor não controla tudo quando se trata de indexar uma página. Apesar de seus melhores esforços, de acordo com as diretrizes do Google, há outros fatores externos que não dependem necessariamente de sua vontade de ver uma página indexada rapidamente.
Simplesmente porque o senhor não é o único que quer ser indexado pelo Google. Há milhões e milhões de outras páginas disponíveis na web esperando para serem exploradas
Sua vez pode ser amanhã, ou na próxima semana, ou dentro de alguns meses, é difícil dar um cronograma exato. Isso dependerá da freqüência com que o Google se dispôs a rastejar seu site.
No entanto, o Google oferece uma maneira de solicitar o rastreamento de seus novos URLs
2.5. Como posso solicitar um rastreamento no Google?
Para qualquer página nova ou atualizada recentemente em seu site, o senhor pode enviar um pedido de rastreamento ao Google, usando os seguintes métodos
2.5.1. Usar a ferramenta de inspeção URL para solicitar a indexação de algumas páginas
Antes de apresentar o procedimento a seguir, é importante salientar que, sem acesso a uma conta do Google Search Console, o senhor não pode solicitar uma indexação com a ferramenta de inspeção do Google
Para fazer isso
- Monitorar o URL relevante com oferramenta de inspeção URL ferramenta de inspeção
- Selecione “Inspeção URL”. A ferramenta iniciará um teste em linha do URL para ver se já está indexado ou não:
O senhor será notificado se houver algum problema ou se a página já estiver presente no índice do Google:
Mas, se a página ainda não estiver indexada, o senhor pode pedir uma indexação:
Nota : O pedido de rastreamento não garante que o URL será automaticamente armazenado no índice do Google. Em alguns casos, a indexação pode até não ter lugar. Por exemplo, no caso de conteúdo de má qualidade
2.5.2. Solicitar a indexação de um grande número de URLs com o mapa do site
O mapa do site é um arquivo no qual o Google tem uma idéia dos URLs que seu site tem. Se não souber como criar um mapa do site, o senhor pode consultar este artigo proposto pelo Google
Se um mapa do site não foi modificado desde a última exploração do Google, é inútil enviá-lo novamente para o mecanismo de busca. Mas se o senhor acrescentou páginas ao mapa de seu site, não se esqueça de etiquetá-lo com o atributo
Aqui estão os diferentes passos a seguir para alertar o Google sobre as mudanças feitas no mapa do site
- Submeter um mapa do site usando o relatório do mapa do site
- Com seu navegador ou editor de comando, você pode enviar um pedido de GET para o seguinte endereço com o link completo do sitemap: http://www.google.com/ping?sitemap=
Exemplo:
- Em seguida, vá ao seu arquivo Robots.txt e acrescente o seguinte código
Mapa do site: http://example.com/my_sitemap.xml
Com os seguintes passos, o Google poderá rastejar as páginas acrescentadas ao mapa do site em sua próxima visita
Capítulo 3: Outras questões sobre a indexação
3.o que significa ser indexado pelo Google?
Diz-se que uma página é indexada pelo Google quando :
- Foi visitado pelo rastreador do Google (“chamado Googlebot”);
- Foi totalmente rastreado
- Finalmente, armazenado no índice do Google.
Enquanto a grande maioria das páginas da web passa pela fase de rastejamento antes de ser indexada, o Google também pode indexar páginas sem acessar seu conteúdo. Por exemplo, quando uma página é bloqueada por um arquivo robots.txt.
3.2. O que é web crawling and indexing?
Rastejamento: Este é um estágio de rastreamento da Internet por rastreadores da web em busca de conteúdo, explorando o código/conteúdo de cada URL que eles encontram
Indexação: Esta é a etapa de armazenamento e organização do conteúdo encontrado durante o processo de rastejamento. Uma vez que uma página é armazenada no índice, que é a grande base de dados, ela está esperando para ser exibida em resposta a consultas relevantes.
3.3) Por que a indexação do site é útil?
Os motores de busca indexam os websites a fim de responder o mais rapidamente possível às consultas com informações relevantes. Por esse motivo, eles armazenam informações sobre as páginas indexadas, por exemplo: palavra-chave, título ou descrição em um banco de dados. Dessa maneira, os motores de busca poderão identificar fácil e rapidamente páginas relevantes para uma consulta de busca.
3.4. O que são erros de indexação?
Se o senhor receber a mensagem “URL não está no google: erros de indexação”, isso significa que o Google ou retirou o URL de seu índice porque não podia acessá-lo, ou não estava em seu índice porque não estava disponível quando o tentou pela primeira vez.
3.5. Por que meu site não está no Google?
Se seu site não aparece no Google, provavelmente é por uma das seguintes razões:
- O Google ainda não indexou seu site
- O Google não considera seu site suficientemente “confiável” ou “relevante” para ser exibido para as palavras-chave que o senhor deseja classificar
- O senhor bloqueou o rastreador do Googlebot em seu arquivo de robôs.
Para resolver essa questão, faça uma inspeção ao vivo, resolva quaisquer problemas que o senhor possa ter, e submeta a página para indexação.
3.6. Como posso impedir o Google de indexar meu site?
Para evitar que uma de suas páginas apareça na pesquisa do Google, basta incluir uma meta tag noindex no código HTML da página ou retornando um cabeçalho noindex na resposta HTTP.
3.7. Como verificar se sua página está indexada pelo Google?
Para ver se motores de busca como Google e Bing indexaram seu site, digite : ” site:URL de seu domínio ”
Os resultados mostram todas as páginas de seu site que foram indexadas e as atuais Meta tags registradas no índice do motor de busca.
É importante saber que às vezes pode levar algum tempo para que os motores de busca rastejem seu site.
3.8. Quanto da Internet é indexada pelo Google em 2020?
O Google tem armazenado em seu índice cerca de 35.000 bilhões de páginas da Internet no mundo inteiro. Embora esta seja uma estatística surpreendente, acredite ou não, 35 trilhões são apenas a ponta do iceberg. O índice do Google representa apenas cerca de 4% das informações existentes na rede.
Conclusão
Em suma, a indexação é um passo essencial na referência de uma página da Internet e faz parte de um processo realizado pelos robôs de indexação
Depois de ter criado um novo site ou publicado uma nova página, totalmente otimizada para a SEO, a melhor maneira de ajudar sua página a ser indexada seria esperar
Embora por algumas razões, por vezes se possa ser obrigado a usar métodos para indicar algumas recomendações aos motores de busca
Espero que essa definição de “indexação” tenha sido útil e acrescente ao seu conhecimento da SEO
Se o senhor deputado tiver outras perguntas, sinta-se à vontade para me fazer nos comentários
Obrigado e até breve!
