Um sitemap é um arquivo que lista de forma organizada todas as páginas relevantes de um site, geralmente em formato XML ou HTML. Ele funciona como um mapa que indica aos buscadores quais URLs existem, quais são prioritárias e com que frequência são atualizadas. Embora os mecanismos de busca consigam rastrear a web por meio de links, o sitemap garante que páginas importantes não sejam esquecidas, especialmente em sites grandes, com estrutura complexa ou que tenham áreas pouco ligadas internamente.
A importância do sitemap está em facilitar e otimizar o trabalho dos buscadores. Ele ajuda o Google, Bing e outros a entenderem melhor a arquitetura do site, priorizar conteúdos novos ou atualizados e evitar desperdício de tempo em páginas irrelevantes. Isso não significa que sem sitemap o site não será indexado, mas com ele o processo se torna mais eficiente e confiável, aumentando as chances de que todas as páginas relevantes apareçam nos resultados de busca.
O plugin XML Sitemap Generator for Google gera automaticamente um arquivo de sitemap. Normalmente, ele fica disponível em uma URL pública do seu site, algo como https://seudominio.com/sitemap.xml. O plugin atualiza o sitemap sempre que você publica ou altera conteúdo, com uma frequência pré-estabelecida – diária, semanal, mensal, anual. Adequando bem a frequência, você deixa o sitemap mais realista e enxuto, evitando que os buscadores desperdicem tempo em páginas que quase não mudam, e reforçando a importância dos posts novos.
Veja um exemplo de sitemap e seus elementos:
- sitemap-misc.html – Geralmente reúne páginas “diversas” que não se encaixam em posts ou páginas estáticas. Dependendo da configuração, pode incluir arquivos de autor, tags, arquivos mensais etc.
- category-sitemap.html – Lista todas as páginas de categorias do WordPress. Cada categoria tem sua própria URL (/categoria/…).
- post-sitemap.html – Contém os posts publicados (artigos do blog).
- post-sitemap2.html – É uma continuação do post-sitemap.html. O plugin divide os posts em vários arquivos quando o número de URLs ultrapassa um limite (1.000 nesse caso).
- page-sitemap.html – Lista as páginas estáticas do WordPress (Sobre, Contato, etc.).
O Google Search Console é uma ferramenta gratuita do Google que mostra como seu site é rastreado e indexado. Ele permite o envio de sitemaps, apontar problemas de URLs duplicadas e monitorar desempenho. Se você otimizar o sitemap e corrigir parâmetros inúteis no Search Console, isso também ajuda também outros buscadores, já que todos se beneficiam de uma estrutura limpa e organizada.
Para usar o Search Console, o primeiro passo é adicionar o site como Propriedade de Domínio (cobre todas as URLs e subdomínios) na plataforma. Depois, vá em Índice → Sitemaps, insira a URL do sitemap (ex.: https://seudominio.com/sitemap_index.xml) e clique em enviar. O Google começará a rastrear com base nesse arquivo. Veja mais sobre como Criar e enviar um sitemap na documentação.
Relatório de Cobertura no Search Console
O painel de indexação das páginas mostra:
- Páginas válidas – já indexadas e aparecendo no Google.
- Páginas válidas com avisos – indexadas, mas com algum detalhe técnico (ex.: canonical diferente).
- Páginas excluídas – não indexadas por decisão do Google (bloqueadas por robots.txt, duplicadas, redirecionadas etc.).
- Erros – páginas que o Google não conseguiu indexar (404, servidor indisponível, bloqueio indevido).
As páginas canônicas são as versões “oficiais” de uma página quando existem duplicatas ou variações. Exemplo: um post acessível em /?p=123 e também em /nome-do-post/; a versão canônica deve ser /nome-do-post/. Nos relatórios, também podem aparecer URLs com parâmetros (?utm=, ?replytocom=) ou truncados (https://www.dominio.com.br/topicos-de-), que podem vir de links internos ou externos mal escritos ou tentativas de bots. Quando alguém acessa essa URL, o WordPress tenta encontrar a página mais próxima e acaba redirecionando para a canônica. Isso é chamado de canonical redirect ou slug auto-complete. O core do WordPress faz isso automaticamente para evitar erros 404 quando há uma correspondência parcial. O Googlebot, ao encontrar links quebrados ou incompletos, segue esse redirecionamento e registra a URL original como “Página com redirecionamento”.
Dentre os principais problemas nas páginas não indexadas, estão:
- Página com redirecionamento – URLs antigas ainda aparecem no sitemap ou são rastreadas. Solução: remover do sitemap e garantir redirecionamento 301 para a versão correta.
- Página alternativa com tag canônica adequada – O Google reconhece duplicatas e aponta a versão canônica. Solução: manter apenas a URL canônica no sitemap.
- Excluída pela tag “noindex” – O sitemap está listando páginas que você mesmo marcou como “não indexar”. Solução: excluir essas URLs do sitemap.
- Não encontrado (404) – URLs quebradas ainda aparecem. Solução: corrigir links internos e remover do sitemap.
- Cópia sem página canônica selecionada pelo usuário – O Google não sabe qual versão priorizar. Solução: definir tag na versão correta.
- Cópia, o Google e o usuário selecionaram uma página canônica diferente –
- Cópia, o Google e o usuário selecionaram uma página canônica diferente – O Google concordou com a sua tag canonical e indexou a versão correta; não precisa corrigir, apenas mantenha o sitemap com a URL canônica.
- Bloqueada devido a outro problema 4xx – A página retornou erro (ex.: 404 ou similar) e não pôde ser indexada; corrija o link ou remova do sitemap.
- Bloqueada devido a acesso proibido (403) – O servidor negou acesso à página; revise permissões ou remova do sitemap se não for conteúdo público.
- Bloqueada pelo robots.txt – O arquivo robots.txt impede o rastreamento; ajuste o robots.txt se quiser que seja indexada, ou mantenha bloqueada se for intencional.
- Rastreada, mas não indexada no momento – O Google acessou a página mas decidiu não indexar (duplicada, irrelevante ou fraca); não há correção direta, só melhore o conteúdo ou aceite que não será indexada. Esse conteúdo “irrelevante ou fraco” pode ser de páginas técnicas, de teste, de login, carrinho vazio, resultados de busca interna, ou URLs com parâmetros inúteis.
- Detectada, mas não indexada no momento – O Google sabe da existência da URL mas ainda não a rastreou ou não viu valor; não há ação imediata, apenas garanta que esteja no sitemap e tenha conteúdo útil.
No Search Console, não há como “apagar” a URL do histórico, mas você pode usar a ferramenta de Remoção de URL se quiser que o Google deixe de exibir/redirecionar essa versão. O Search Console apenas registra que existe esse redirecionamento, mas não há problema: a versão correta está indexada e marcada como canônica. O mais importante é garantir que não apareça no sitemap e que a versão correta tenha tag canonical.
Arquivo robots.txt
O robots.txt é um arquivo de texto usado para orientar os robôs de mecanismos de busca sobre quais partes de um site podem ou não ser rastreadas – que podem seuir essas sugestões ou não. Sua principal finalidade é controlar o acesso dos crawlers, ajudando a proteger áreas sensíveis ou irrelevantes para indexação e otimizando o desempenho do servidor.
Esse arquivo deve estar localizado na raiz do domínio (por exemplo, www.exemplo.com/robots.txt), pois os buscadores sempre procuram por ele nesse endereço específico. A estrutura básica é composta por diretivas como User-agent (que especifica o robô ao qual a regra se aplica) e Disallow ou Allow (que definem quais caminhos podem ou não ser acessados). Opcionalmente, pode incluir o campo Sitemap para indicar a URL do mapa do site, facilitando a indexação organizada. Veja essa sugestão de robots.txt, incluindo os comentários feitos ao longo do texto:
# Permitir Google, Bing e DuckDuckGo sem restrições
User-agent: Googlebot
Disallow:
User-agent: Bingbot
Disallow:
User-agent: DuckDuckBot
Disallow:
# Bloquear crawlers pesados de SEO
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
# Bloquear bots pesados como AhrefsBot em uploads de imagens
User-agent: AhrefsBot
Disallow: /wp-content/uploads/
Crawl-delay: 10
# Bloquear todos os outros bots de acessarem diretórios sensíveis
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Crawl-delay: 5
# Bloquear URLs internas irrelevantes (comentários, impressão, feeds, busca interna)
User-agent: *
Disallow: /*?replytocom=
Disallow: /*print=pdf
Disallow: /feed/
Disallow: /*/feed/
Disallow: /?s=
Após atualizar o seu arquivo, você pode pedir no Search Console uma validação, na qual o Google revisita algumas URLs afetadas e verifica se o problema foi resolvido. No entanto, como o noindex continua lá (e é intencional), o Search Console entende que o “problema” persiste. Na prática, não é um problema: é exatamente o comportamento desejado (essas páginas não devem ser indexadas). Então você pode ignorar esses relatórios, pois não há impacto negativo. O Search Console apenas está registrando que essas páginas foram descobertas e não indexadas.
