É comum encontrarmos um site cujas secções gostaríamos de explorar por completo, mas cuja navegação mostra apenas uma parte do conteúdo. O mapa do site, ou sitemap, é o ficheiro que lista os URL disponibilizados por um site. Saber onde o encontrar e como o ler permite aceder a páginas que nem o menu nem a pesquisa interna destacam.
Aceder ao ficheiro sitemap XML de um site
O método mais direto consiste em escrever o endereço do site seguido de /sitemap.xml na barra do navegador. Na maioria dos sites criados com um CMS como WordPress, Shopify ou Joomla, este URL abre um ficheiro XML que lista as páginas publicadas.
Se esse endereço devolver um erro 404, pode experimentar algumas variantes: /sitemap_index.xml, /sitemap1.xml ou ainda /sitemap/. O nome do ficheiro não é normalizado: cada CMS ou plugin utiliza a sua própria convenção.
Outra opção fiável é abrir o ficheiro robots.txt do site (acessível através de /robots.txt). Este ficheiro contém muitas vezes uma linha “Sitemap:” que indica a localização exata do mapa do site. Aliás, este é o método recomendado pelo Google desde que o antigo sistema de notificação por ping foi descontinuado em 2023. Ao consultar, por exemplo, o mapa do site Double Portion, é possível ver como é um sitemap bem estruturado num site real.
Índice do sitemap e ficheiros secundários: ler um mapa do site extenso
Em sites de grandes dimensões, o primeiro ficheiro encontrado não contém a lista completa de URL. Trata-se de um índice do sitemap, um ficheiro que aponta para vários sitemaps secundários. Cada ficheiro secundário agrupa um conjunto de URL, muitas vezes organizado por tipo de conteúdo (artigos, produtos, categorias).
O Google impõe um limite por ficheiro: no máximo 50 000 URL e 50 MB sem compressão. Acima desse limite, o site tem de dividir o mapa em vários ficheiros ligados através desse índice. Por isso, para explorar realmente todas as páginas, é necessário abrir cada ficheiro secundário, em vez de ficar pelo primeiro nível.
Na prática, basta clicar em cada ligação do índice do sitemap no navegador. O ficheiro XML é apresentado com as etiquetas loc (o URL da página) e, por vezes, lastmod (a data da última modificação). Num site de comércio eletrónico com milhares de fichas de produto, esta leitura ficheiro a ficheiro é a única forma de obter uma visão completa.
A etiqueta lastmod é fiável para identificar atualizações?
O Google esclarece que esta data só é considerada quando reflete alterações reais ao conteúdo. Muitos CMS atualizam esta data sempre que o ficheiro é gerado novamente, mesmo que a página não tenha sido efetivamente alterada. Uma data lastmod recente não garante que o conteúdo tenha sido modificado. Por isso, não é possível confiar nela para identificar páginas atualizadas sem uma verificação manual.
Três situações em que o sitemap não mostra tudo
O mapa do site continua a ser um inventário declarativo. Só lista aquilo que o gerador inclui. Várias situações criam uma discrepância entre o conteúdo real do site e o que o sitemap apresenta.
- As páginas órfãs (sem ligações internas) estão muitas vezes ausentes do sitemap, sobretudo quando este é gerado automaticamente a partir da estrutura de navegação do site
- As páginas excluídas por uma regra no robots.txt ou por uma etiqueta noindex podem desaparecer do ficheiro, mesmo que continuem tecnicamente acessíveis através do respetivo URL direto
- Os conteúdos gerados dinamicamente (resultados de filtros, páginas de pesquisa interna) quase nunca aparecem num sitemap, pois criariam milhares de URL redundantes
Para colmatar estas lacunas, pode complementar a leitura do sitemap com um rastreio do site através de uma ferramenta como o Screaming Frog ou o Xenu. Estes programas seguem todas as ligações internas e revelam as páginas ignoradas pelo sitemap.
Utilizar o Google Search Console e o robots.txt para cruzar dados
Quando gerimos o nosso próprio site, o Google Search Console fornece a lista de páginas indexadas e assinala as que apresentam problemas. A secção “Sitemaps” permite enviar o ficheiro e verificar quantos URL foram descobertos e quantos foram efetivamente indexados.
A diferença entre os dois números é reveladora. Um sitemap pode indicar várias centenas de páginas, enquanto o Google indexa apenas uma parte delas. As causas variam: conteúdo demasiado superficial, páginas duplicadas, erros de redirecionamento ou simplesmente um orçamento de rastreio insuficiente para um site de grandes dimensões.
Cruzar o sitemap com o robots.txt para detetar incoerências
O ficheiro robots.txt pode bloquear o acesso a diretórios inteiros e, ao mesmo tempo, manter os respetivos URL no sitemap. Este conflito impede os motores de pesquisa de processarem essas páginas. Verificar a coerência entre os dois ficheiros permite eliminar estas contradições.
Concretamente, basta abrir o robots.txt, identificar as linhas “Disallow” e compará-las com os URL presentes no sitemap. Se um URL aparecer em ambos, há uma anomalia a corrigir: ou se remove a página do sitemap, ou se elimina a regra de bloqueio.
Ler um sitemap sem conhecimentos técnicos
O formato XML apresentado em bruto no navegador pode parecer pouco acessível. Alguns navegadores, como o Chrome, mostram as etiquetas sem formatação, o que dificulta a leitura de um ficheiro com milhares de linhas.
Algumas soluções simples facilitam a leitura:
- Copiar o URL do sitemap para uma ferramenta online de visualização de XML, que organiza os dados numa tabela com colunas ordenáveis
- Utilizar uma extensão de navegador dedicada a ficheiros XML, que aplica automaticamente cores e indentação ao conteúdo
- Abrir o ficheiro numa folha de cálculo, importando o XML, o que permite filtrar e ordenar os URL por data ou por secção do site
O mapa do site continua a ser o ponto de partida mais rápido para mapear um site, desde que não seja confundido com um inventário completo. Cruzar este ficheiro com o robots.txt, um rastreio técnico ou o Search Console permite obter uma imagem muito mais fiel do conteúdo real de um site.
