O crawl do orçamento é definido como o limite de páginas que o Google estabeleceu para rastrear um website para sua referência. Durante o rastejamento, o motor de busca tenta controlar suas tentativas para não sobrecarregar o servidor do site, mas ao mesmo tempo tem o cuidado de não ignorar páginas importantes. Para encontrar o equilíbrio certo, o Google atribuirá, portanto, um orçamento diferente para cada site com base em certos critérios, como por exemplo Capacidade de resposta do servidor, tamanho do site, qualidade do conteúdo e freqüência de atualizações
A Web está se expandindo, o SEO também está se expandindo. Só em 2019, mais de 4,4 milhões de posts no blog foram publicadas todos os dias na rede.
Enquanto os usuários da Internet gostam desse conteúdo, os mecanismos de busca enfrentam um grande desafio: como organizar recursos para escanear apenas páginas relevantes e ignorar spam ou links de má qualidade
Daí a noção de orçamento rastejante
- O que é isso em termos concretos?
- Qual é a sua importância para um website?
- Que fatores o influenciam?
- Como pode ser otimizado para um website?
- E como pode ser monitorado?
Todas essas são perguntas às quais daremos respostas claras e concisas no decorrer desse mini-guia
Vamos começar!
Capítulo 1: Rastejamento do orçamento – definições e importância da SEO
Para desenvolver este capítulo, vamos examinar a definição de orçamento de dois ângulos
- Uma definição vista do lado dos peritos em SEO
- E o que o Google quer dizer com este termo
1.1 Qual é o orçamento para o rastejamento?
O orçamento de rastejamento (ou orçamento de exploração ou indexação) não é um termo oficial fornecido pelo Google
Em vez disso, ela vem do setor de SEO, onde é usada pelos especialistas em SEO como um termo genérico para os recursos alocados pelo Google para rastrear um site e indexar suas páginas
Em termos simples, o orçamento de um site refere-se ao número de páginas que o Google espera pesquisar no site em um determinado período de tempo
É um número pré-determinado de URLs que o mecanismo de busca ordena seu robô de indexaçãogoogleBot a considerar ao visitar o site
Assim que o limite do orçamento é atingido, o GoogleBot deixa de rastrear o site, o resto das páginas não indexadas são automaticamente ignoradas e o robô deixa o site
Esse número de páginas a serem indexadas pode variar de site para site, porque nem todos os sites têm o mesmo desempenho ou autoridade. Um orçamento fixo para todos os sites pode ser muito alto para um site e muito baixo para outro
O motor de busca decidiu, portanto, usar uma série de critérios antes de estabelecer o tempo que seu robô de indexação em cada site e o número de páginas a serem rastejadas
Quanto a estes critérios, não existe uma lista exaustiva, como acontece com muitas outras coisas relacionadas com oalgoritmo algoritmo
No entanto, aqui estão alguns desses critérios que são conhecidos de todos
- Desempenho do site um website bem otimizado com uma velocidade de carregamento rápida provavelmente terá um orçamento mais alto do que um orçamento que é lento de carregar
- Tamanho do local quanto mais conteúdo um site contém, maior é o orçamento
- Frequência das atualizações um site que publica conteúdo de qualidade suficiente e atualiza regularmente suas páginas obterá um orçamento considerável.
- Links no site quanto mais links um site tiver, maior será o seu orçamento e melhores serão as suas páginas indexado.
O ideal seria que o orçamento de rastejamento cobrisse todas as páginas de um site, mas infelizmente nem sempre é esse o caso. É por isso que é importante otimizar os critérios acima, a fim de maximizar as chances de obter um grande orçamento de rastejamento
Deve-se dizer que até agora a definição deste termo tem sido abordada do ponto de vista do proprietário de um site ou de um especialista em SEO da web que lida com a SEO de um site
Mas quando a pergunta “o que é orçamento rastejar” foi colocada a Gary Illyes, analista da Google, sua resposta foi muito mais matizada
1.2 O que o Google quer dizer com “rastejar” no orçamento?
Em 2017, Gary Illyes abordou essa questão explicando como o Google entende o orçamento rastejado Em sua respostaem sua resposta, podemos distinguir 3 partes principais e importantes
- O conceito de freqüência de rastejamento
- A demanda de rastejamento
- E outros fatores
1.2.1. A taxa de rastejamento
Ao rastejar, o Google tem medo de sobrecarregar cada site rastejado e explodir seu servidor. Isso não é surpreendente, pois sabemos que o mecanismo de busca sempre foi protetor e apoiador de uma boa experiência do usuário em websites
As palavras de Gary Illyes confirma isso mais uma vez
“O Googlebot foi projetado para ser um bom cidadão da web. O rastejamento é sua principal prioridade, assegurando ao mesmo tempo que não degrade a experiência dos usuários que visitam o site. Chamamos isso de “limite da taxa de rastejamento”, que limita a taxa máxima de recuperação para um determinado local
Portanto, se o GoogleBot vê sinais em um site de que seu freqüente rastejamento pode afetar o desempenho do site, então o robô de indexação retarda seu tempo de rastejamento e sua freqüência de visitas
Consequentemente, em alguns casos, algumas páginas de um website podem acabar não sendo indexadas pelo GoogleBot
Por outro lado, se o robô de indexação receber sinais encorajadores, como respostas rápidas do servidor, isso facilita seu trabalho e o GoogleBot pode decidir aumentar a duração e a freqüência de suas visitas
1.2.2. O pedido de rastejamento
Com relação à demanda rastejante, Gary Illyes explica
“Mesmo que o limite da taxa de rastejamento não seja atingido, se não houver demanda para indexação, a atividade do Googlebot será baixa”
Fonte: Tech Journey
Claramente, o GoogleBot confia no pedido de rastejamento de um site para decidir se vale a pena revisitar o site
Esta questão é influenciada por dois fatores
- Popularidade do URL quanto mais popular for uma página, mais provável é que ela seja arrastada por rastejadores.
- URLs obsoletos o Google também tenta não ter URLs obsoletas em seu índice. Assim, quanto mais antigos forem os URLs de um site, menos provável é que suas páginas sejam indexadas pelo GoogleBot
A intenção do Google é indexar conteúdo recente ou regularmente atualizado de sites populares e excluir conteúdo obsoleto. Essa é sua maneira de manter o índice atualizado com o conteúdo recente para seus usuários
Os outros fatores incluir tudo o que possa melhorar a qualidade do conteúdo de um site e sua estrutura. Este é um aspecto importante que Gary Illyes quis focalizar
Na verdade, ele recomenda que os webmasters evitem certas práticas, tais como
- Criação de conteúdo de má qualidade;
- Implementando certos estilos facetados de navegação;
- O conteúdo duplicado ;
- E assim por diante
Voltaremos a esses fatores com mais detalhes em um capítulo posterior. Gary Illyes afirma que, ao usar tais práticas em seu site, ele está, de certa forma, desperdiçando seu orçamento rastejante
Em suas palavras
“Desperdício de recursos do servidor em páginas como essas drena a atividade rastejante de páginas que são realmente valiosas, o que pode atrasar significativamente a descoberta de conteúdo de qualidade em um site”
Para entender melhor o que significa Gary, vamos supor, por exemplo, que o senhor tem uma loja popular de comércio eletrônico especializada na venda de consoles e acessórios de videogame
O senhor decide criar um espaço no site onde seus usuários possam compartilhar suas experiências com seus produtos, uma espécie de grande e ativo fórum. O que o senhor acha que vai acontecer?
Bem, graças a esse fórum, milhões de URLs de baixo valor serão acrescentados ao seu perfil de link. Conseqüência: essas urls vão consumir desnecessariamente uma grande parte do orçamento de rastejamento que o Google destinou ao senhor. Como resultado, as páginas que são realmente valiosas para o senhor podem não ser indexadas.
O senhor tem agora uma idéia bastante clara do que é o orçamento rastejante, mas qual é a sua importância para um website?
Capítulo 2: A importância do orçamento de rastejamento para a SEO
Um orçamento otimizado de rastejamento é muito importante para os websites, pois permite que páginas importantes sejam rapidamente indexadas
Como Gary Illyes assinalou, um orçamento desperdiçado impedirá o Google de analisar eficazmente seu site. O rastejador pode passar mais tempo em páginas sem importância, em detrimento daquelas para as quais quer realmente classificar
Isso reduzirá seu potencial de classificação, uma vez que qualquer não indexado não estará presente nos resultados da pesquisa do Google. Essa página perderá então qualquer chance de ser vista pelos usuários de um SERP
Imagens para produzir conteúdos interessantes com imagens fantásticas e altamente ilustrativas. Depois vai um passo adiante, otimizando as etiquetas de Título, Alt, Hn e muitos outros fatores, assim como faria uma SEO experiente
Mas se ele acabar ignorando a otimização do orçamento, temo que os bots de indexação do Google não atinjam esse conteúdo de qualidade e que os usuários também não. O que seria uma pena, dados todos os esforços de SEO que têm sido feitos
No entanto, deve-se notar que a otimização do orçamento de rastejamento é particularmente importante para grandes websites
John Mueller, outro analista do Google em um tweet nos seguintes termos
“A maioria dos sites nunca tem que se preocupar com isso. É um tópico interessante, e se você está rastejando a web ou rodando um site com vários bilhões de URLs, é importante, mas menos importante para o dono médio do site”
Como o senhor pode ver, o orçamento de rastejamento é para grandes websites com bilhões de URLs, tais como plataformas de compras populares on-line
Esses locais podem realmente sofrer uma queda no tráfego se seu orçamento de rastejamento não for bem otimizado. Quanto a outros sites, o Google é menos alarmista e garante que não deve se preocupar muito com problemas de taxas de rastejamento
Se o senhor é um pequeno site local ou acabou de criar seu próprio site, esta é uma notícia que o faz sentir-se aliviado
Entretanto, o senhor não está perdendo nada se quiser otimizar seu orçamento, especialmente se planeja expandir seu site no futuro
Pelo contrário, muitos dos mesmos métodos usados para otimizar as taxas de rastejamento também são usados para otimizar a classificação de um site nas páginas do Google
Em essência, quando uma empresa tenta melhorar o orçamento do seu site, ela também melhora sua posição no Google
Aqui está uma lista de alguns dos benefícios da SEO que um website obtém ao otimizar seu orçamento de rastejamento, mesmo que não tenha problemas nessa área
- Tendo o GoogleBot rastreando apenas as páginas importantes do site
- Ter um mapa do site bem estruturado
- Reduzir erros e longas cadeias de redirecionamento
- Melhorar o desempenho do local
- Atualização do conteúdo do site
- E assim por diante
Com todas essas vantagens, não há dúvida de que o orçamento de rastejamento é de grande importância para um website
Mas, para ter sucesso em sua otimização, gostaria de lhe apresentar alguns fatores negativos aos quais o senhor deveria prestar atenção antes de começar
Capítulo 3: Fatores que Influenciam o Orçamento Crawl
Aqui estão alguns fatores que podem influenciar negativamente o orçamento de um site
3.1. Navegação facetada
Essa é uma forma de navegação muitas vezes encontrada em lojas on-line. A navegação facetada permite que o usuário escolha um produto e depois tenha outros filtros na página para o mesmo produto
Este poderia ser um produto disponível em diferentes cores ou tamanhos. A questão é que essa forma de organizar os resultados exige que se acrescentem URLs à página
E cada nova URL adicionada exibe apenas um trecho da página original, não um novo conteúdo. Isso é um desperdício do orçamento de rastejamento do site
3.2. URLs com identificadores de sessão
A técnica de criar identificadores de sessão em URLs não deve mais ser usada, já que cada vez que uma nova conexão é feita, o sistema gera automaticamente um novo endereço URL. Isso cria uma enorme quantidade de URLs em uma página
Fonte Marketing de posição na Polônia
3.3. Conteúdo duplicado
Se houver muito conteúdo idêntico em um site, o Googlebot pode escanear todas as páginas relevantes sem encontrar nenhum conteúdo novo
Os recursos usados pelo mecanismo de busca para escanear todas essas páginas idênticas poderiam ser usados para rastrear URLs com conteúdo diferente e relevante.
3.4. Páginas de erro de software
Ao contrário de 404 erros, esses erros apontam para uma página de trabalho, mas não para a página desejada. Como o servidor não pode acessar o conteúdo real da página, ele retorna um código de status 200
3.5. Páginas seqüestradas
O Google sempre se assegura de fornecer os melhores resultados a seus usuários, o que obviamente exclui as páginas invadidas. Portanto, se o mecanismo de busca detecta essas páginas em um site, a indexação é interrompida para evitar que essas páginas acabem nos resultados da busca.
3.6. Espaços infinitos
Os espaços que podem ser encontrados em um local são infinitos. Tomemos o caso de um calendário onde o botão “próximo mês” está programado para saltar de fato para o mês seguinte
Durante o rastejamento, o Googlebot poderia cair numa espécie de loop infinito e drenar o orçamento de rastejamento do site, procurando constantemente pelo “próximo mês”
Cada vez que um usuário clica na seta à direita, um novo URL é criado no site, com um número astronômico de links em uma página
3.7. Spam ou conteúdo de má qualidade
O Google tenta ter apenas conteúdo de qualidade em seu índice que proporcione um real valor agregado aos usuários da Internet
Assim, se o motor de busca detecta conteúdo de má qualidade em um site, atribui-lhe um valor muito baixo
3.8. Cadeias de redirecionamento
Quando, por uma razão ou outra, cadeias de redirecionar cadeiasgooglebot tem que passar por todas as URLs intermediárias antes de chegar ao conteúdo real.
O robô ainda não pode dizer a diferença, de modo que trata cada redirecionamento como uma página separada, o que drena desnecessariamente o orçamento de rastejamento alocado ao local.
3.9. O destruidor de cache
Às vezes arquivos como o do CSS podem ser renomeados dessa maneira: style.css?8577484 O problema com esse esquema de nomes é que o sinal ‘?’ é gerado automaticamente cada vez que o processo é solicitado.
A idéia é impedir que os navegadores dos usuários armazenem o arquivo em cache. Essa técnica também gera uma enorme quantidade de URLs que o Google irá processar individualmente. Isso afeta o equilíbrio do rastejamento.
3.10. Redirecionamentos faltantes
Para não perder parte de sua audiência, um site pode decidir redirecionar sua versão não www para uma versão www exatamente como twaino.com em www.twaino.com ou vice versa
Pode também desejar migrar de protocolo HTTP ao HTTPS. No entanto, se esses dois redirecionamentos gerais não forem configurados corretamente, observe que o Google pode rastrear 2 ou 4 URLs para o mesmo site:
http://www.monsite.com
https://www.monsite.com
http://monsite.com
https://monsite.com
3.11) Paginação errada
Quando o paginação são apenas botões que permitem a navegação em ambos os sentidos, sem qualquer paginação, o Google precisa de digitalizar várias páginas nessa direcção antes de se aperceber que é um paginação
O estilo de paginação recomendado, que não desperdiça o orçamento de rastejamento, é aquele que menciona explicitamente o número de cada página.
Com esse estilo de paginação, o Googlebot pode navegar facilmente da primeira à última página para ter uma idéia de quais páginas são importantes para indexar.
Se ele detectar um ou mais dos fatores mencionados até agora, é importante otimizar o orçamento de rastejamento para ajudar o Googlebot a indexar as páginas que são mais importantes para ele.
Mas como o senhor otimiza?
Capítulo 4: Como otimizar o orçamento do Crawl?
Agora que os princípios básicos foram estabelecidos, podemos começar a otimizar o próprio orçamento de rastejamento
4.1. Permitir o rastejamento de suas páginas importantes no arquivo Robots.txt
Esta primeira etapa de otimização do orçamento é provavelmente a mais importante de todas
Há duas maneiras de usar seu robôs.txtdiretamente à mão ou com a ajuda de uma ferramenta de auditoria SEO
Se o senhor não é um entusiasta da programação, a opção de ferramenta é provavelmente a mais simples e eficaz
Pegue uma ferramenta de sua escolha e depois acrescente o arquivo robots.txt. Dentro de alguns segundos, o senhor pode decidir permitir ou não o rastejamento de qualquer página de seu site
Descubra como fazer isso neste tudo sobre robôs.txt
4.evite, tanto quanto possível, redirecionar correntes
O senhor não pode evitar o uso de redirecionamentos em cadeia para sempre, pois pode ser uma abordagem útil em algumas circunstâncias. No entanto, o ideal seria que o senhor tivesse apenas um redirecionamento em um website
Mas, é preciso admiti-lo, isso é quase impossível para os grandes locais. Em algum momento, eles são forçados a usar 301 e 302 redirecionamentos
No entanto, estabelecer redirecionamentos em cada ponto do site prejudica seriamente o orçamento de rastejamento e até impede o Googlebot de rastejar as páginas para as quais ele quer ser listado.
Cingir-se a alguns redirecionamentos, um ou dois e de preferência cadeias curtas
4.3. Usar o código HTML o máximo possível
O rastreador do Google se tornou muito melhor em entender o conteúdo em Javascriptmas também Flash e XML
Mas outros motores de busca não podem dizer o mesmo. Portanto, para permitir que todos os motores de busca explorem plenamente suas páginas, seria mais sensato usar HTML, que é uma linguagem básica, acessível a todos os motores de busca
Desta forma, aumentará as chances de suas páginas serem arrastadas por todos os motores de busca
4.4. corrigir erros de HTTP correndo o risco de desperdiçar seu orçamento de rastejamento
Se o senhor não sabia, o 404 erros e 410 os erros literalmente consomem seu orçamento rastejante. Pior ainda, eles degradam a experiência do usuário
Imagine a decepção de um usuário que se apressa a verificar um produto que o senhor está vendendo ou um conteúdo que o senhor escreveu e acaba em uma página em branco, sem alternativa
É por isso que é importante corrigir erros HTTP para a saúde de seu site, mas também para a satisfação de seus visitantes
Quanto aos erros de redirecionamento, seria mais prático usar uma ferramenta dedicada para detectar esses erros e resolvê-los, se o senhor não gosta muito de programação
O senhor pode usar ferramentas tais como Classificação do SE, Ahrefs, Sapo gritantepara realizar uma auditoria SEO auditoria de seu site
4.5. Configure seus URLs corretamente
Se o senhor criou diferentes URLs para acessar a mesma página, o Google não vai entender isso dessa maneira. Para o mecanismo de busca, cada página é identificável por um e apenas um URL
Portanto, o Googlebot indexará cada URL separadamente, independentemente de haver várias que redirecionem para o mesmo conteúdo. Isto é um desperdício do orçamento do Crawl
Se tal situação ocorrer em seu site, o senhor deve informar ao Google
Isso tem um benefício duplo: por um lado, o senhor economiza seu orçamento rastejante e, por outro, não precisa mais temer uma penalidade do Google por conteúdo duplicado
Saiba como administrar seu conteúdo duplicado consultando este artigo que mostra em detalhe o procedimento a seguir
4.6. Mantenha seu mapa do site atualizado
É importante manter seu mapa do site XML atualizado. Isso permite aos rastejadores compreenderem a estrutura de seu site, facilitando o rastejamento
Recomenda-se que se use apenas URLs canônicas para seu mapa do site
4.7. As etiquetas Hreflang são essenciais
Ao rastejar uma página local, os rastejadores dependem de etiquetas hreflang. É por isso que é importanteinformar ao Google das diferentes versões que o senhor tem
Encontre todas as informações sobre a etiqueta Hreflang em este mini-guia.
Foram 7 dicas para otimizar o orçamento do seu site, mas isso não termina aí. É útil também monitorar a maneira como o Googlebot rastreia seu site e acessa seu conteúdo
Capítulo 5: Como monitorar seu orçamento de rastejamento
Para monitorar o orçamento de seu site, o senhor tem duas ferramentas à sua disposição Console de Busca do Google e o arquivo de log do servidor
5.1. Console de Busca do Google
GSC é uma ferramenta oferecida pelo Google que fornece várias funções que permitem ao senhor analisar sua posição no índice do motor de busca e nos SERPs. O instrumento também oferece uma visão geral do orçamento de seu orçamento de rastejamento
Para iniciar a auditoria, o senhor pode ter acesso ao relatório “.. Estatísticas de rastejamento “. Este é um relatório que acompanha a atividade do googlebot em seu site durante os últimos 30 dias
Neste relatório, podemos ver que o Googlebot tem uma média de 48 páginas por dia em seu site. A fórmula para calcular o orçamento médio de rastejamento para este site seria
BC = Número médio de páginas rastejadas por dia x 30 dias
BC = 48 x 30
BC = 1440
Assim, para este site, o orçamento médio de rastejamento é de 1440 páginas por mês
Entretanto, é importante notar que esses números do Console de Busca do Google são um tanto exagerados
Mas, no final, isso é uma estimativa e não um valor absoluto do orçamento de rastejamento. Esses números só dão uma idéia da quantidade de rastejamentos que seu site está recebendo
Por uma questão de exaustividade, o senhor pode tomar nota dessa estimativa antes de começar a otimizar seu orçamento de rastejamento. Uma vez concluído o processo, o senhor poderá rever o valor desse orçamento de rastejamento
Comparando os dois valores, o senhor pode avaliar melhor o sucesso de suas estratégias de otimização
O Google Search também oferece outro relatório, um “relatório de cobertura” para ver quantas páginas já foram indexado no local, bem como as que foram de-indexed.
O senhor pode comparar o número de páginas indexadas com o número total de páginas de seu site para ver quantas páginas o Googlebot está realmente ignorando.
5.2. O arquivo de log do servidor
O arquivo de registro do servidor é sem dúvida uma das fontes mais confiáveis para verificar o orçamento de um website
Simplesmente porque este arquivo traça fielmente a história das atividades do robô de indexação rastejando um local. Nesse arquivo de diário de bordo, o senhor também tem acesso às páginas que são regularmente rastreadas e seu tamanho exato
Aqui está uma visão geral do conteúdo de um arquivo de log
11.222.333.44 – – [11 / março / 2020: 11: 01: 28 -0600] “GET https://www.seoclarity.net/blog/keyword-research HTTP / 1.1” 200 182 “-” “Mozilla / 5.0 Chrome / 60.0.3112.113 “
Para interpretar este código, diríamos que em 11 de março de 2020, um usuário tentou acessar a página https://www.seoclarity.net/blog/keyword-research do navegador Google Chrome
O código “200” é definido para indicar que o servidor acessou o arquivo e que o arquivo tem um tamanho de 182 bytes
Capítulo 6: Outras perguntas sobre a elaboração do orçamento
6.1. O que é o orçamento de rastejamento?
O orçamento de rastejamento é o número de URLs de um site que um mecanismo de busca pode rastrear em um determinado período de tempo, com base na velocidade de rastreamento e na demanda de rastreamento.
6.2. O que são velocidade de rastejamento e limite da taxa de rastejamento?
O velocidade de rastejamento é definido como o número de URLs por segundo que um mecanismo de busca pode rastrear um site. O limite de velocidade pode ser definido como o número máximo de URLs que podem ser rastreadas sem perturbar a experiência dos visitantes de um site.
6.3. O que é demanda de rastejamento?
Além dos limites de velocidade de rastejamento e rastejamento especificados pelo webmaster, a velocidade de rastejamento varia de página para página, dependendo da demanda por uma página específica.
É provável que as páginas populares sejam arrastadas com mais freqüência do que as páginas raramente visitadas, páginas desatualizadas ou páginas de pouco valor
6.4 – Por que o orçamento de rastejamento é limitado?
O orçamento de rastejamento é limitado para assegurar que o servidor de um site não seja sobrecarregado por um número excessivo de conexões simultâneas ou por uma alta demanda de recursos do servidor, o que poderia ter um impacto negativo sobre a experiência dos visitantes do site.
6.5. Com que frequência o Google rastreia um site?
A popularidade, a capacidade de rastreamento e a estrutura de um site determinam quanto tempo leva o Google para rastrear um site. Em geral, o Googlebot pode demorar mais de duas semanas para rastrear um site. No entanto, essa é uma projeção e alguns usuários afirmaram ter sido indexados em menos de um dia.
6.6. Como posso estabelecer um orçamento rastejante?
- Permita o rastejamento de suas importantes páginas para os robôs;
- Cuidado com o redirecionamento de cordas;
- Usar HTML sempre que possível;
- Não deixe que os erros HTTP consumam seu orçamento rastejante;
- Cuidar dos parâmetros do URL;
- Atualize seu mapa do site;
- As etiquetas Hreflang são essenciais;
- Etc.
6.7 Qual é a diferença entre rastejamento e indexação?
Rastejamento e indexação são duas coisas distintas e isso é muitas vezes mal compreendido na indústria de SEO. Rastejar significa que o Googlebot examina todo o conteúdo ou código da página e o analisa
A indexação, por outro lado, significa que o Google criou uma cópia do conteúdo em seu índice e a página pode aparecer nas SERPs do Google.
6.8. Será que o Noindex economiza o orçamento de rastejamento?
A meta tag Noindex não salva o orçamento de rastejamento do Google. Essa é uma questão bastante óbvia de SEO para a maioria de vocês, mas John Mueller, do Google, confirmou que o uso da meta tag noindex em seu site não o ajudará a economizar seu orçamento para rastejar. Essa meta tag só impede a indexação de páginas, e não o rastejamento.
Conclusão
Em resumo, o orçamento de rastejamento é o recurso que o Google reserva para cada site para rastejar e indexar suas páginas
Embora o orçamento do site não seja em si um fator de referência, sua otimização pode contribuir para o referenciamento das páginas do site, particularmente as mais importantes
Para esse fim, apresentamos uma série de práticas a serem levadas em conta neste guia
Espero que este artigo tenha ajudado o senhor a compreender melhor o conceito de um orçamento rastejado e, sobretudo, como otimizá-lo
Se o senhor tiver qualquer outra pergunta, queira me informar nos comentários.
Obrigado e até breve!
