Robots.txt: O que é e como configurar no seu site

Os Bots ou robôs buscadores são aplicativos ou mecanismos criados pelas grandes big techs que passa todo o seu tempo navegando na internet, de site em site buscando conteúdos novos para serem indexados nos seus motores de buscas.

Esses robozinhos são orientados a pegar quase tudo que ele encontrar e hospedar em um servidor assim deixando disponível para quaisquer pessoas na internet, porém há uma forma de limitar esses Bots criando um arquivo de texto em seu diretório.

Porém, você pode optar por apenas limita-lo ao invés de proibi-lo, afinal a ideia é fazer com que seu site seja encontrado na internet e que pessoas consumam seus conteúdos e limitando totalmente tudo isso seria impossível.

O que é o Robots.txt

Assim como o nome já revela, o robots.txt é um arquivo formato de texto que pode ser criado por qualquer software como o Bloco de Notas, Word entre outros. Funciona como um filtro para guiar os robôs de mecanismos de buscas e faz com que os webmasters controlem permissões de acesso e indexação para determinadas páginas do seu site.

O robots.txt controla informações que um mecanismo como o Google deve ou não colocar em suas buscas e um exemplo muito clássico é a pagina de administração do site, certamente essa página, por motivo de segurança, não deve estar nos mecanismos de buscas ajudando a controlar a segurança do mesmo.

Por isso é super importante ter esse arquivo em seu diretório para filtrar o que deve ou não deve ser rastreado. Para se ter uma noção o Google usa seu próprio robô para rastrear o seu próprio mecanismo de busca, isso é no mínimo muito curioso, veja https://www.google.com/robots.txt.

O Robots.txt é um arquivo no formato texto, portanto pode ser facilmente editado por um aplicativo de bloco de notas (notepad do Windows, por exemplo)
O Robots.txt é um arquivo no formato texto, portanto pode ser facilmente editado por um aplicativo de bloco de notas (notepad do Windows, por exemplo)

Como saber se meu site tem robots.txt

Para saber se seu site tem um filtro de indexação de mecanismo de busca é muito simples basta acessar o seu site na página index, geralmente usamos a home, e acrescentar /robots.txt. Se aparecer uma pagina com essa abaixo o seu site está com filtro de Bots, mas se der uma página de erro procure imediatamente o seu webmaster ou um profissional para criar esse filtro pois ele é muito importante.

Como criar um Robots.txt em meu site

Para um arquivo robots.txt em seu site é muito simples, basta abrir o bloco de nota do seu Windows ou qualquer editor de texto do seu computador e usar a sintaxe abaixo, depois salvar o arquivo como o seguinte nome Robots.txt e subir para o diretório principal do seu site.

Em seguida para verificar se tudo ocorreu super bem basta acessar o seu domínio/robots.txt e se aparecer o arquivo que você acabou de criar está tudo ok, se não aparecer algo não saiu como esperado.

  • User-agent: *
  • Allow: /wp-admin/admin-ajax.php
  • Disallow: /wp-admin/
  • Disallow: /wp-content/uploads/wpo-plugins-tables-list.json
  • Sitemap: https://seusite.com/sitemap.xml
  • Sitemap: https://seusite.com/sitemap.rss

 

Como fazer um aplicativo PWA e as suas vantagens

O fim do Google Analytics Universal, saiba o que vai mudar

Atendimento Robotizado é regularizado no Brasil e amplia o atendimento de SAC

 

No exemplo acima usamos um robots.txt para sites criado com o WordPress, que é o maior criador de sites do mundo. Note que no exemplo deixamos o User-agent: * apenas com um * permitindo que qualquer Bot rastreie nosso site.

comando Allow orienta aos robots qual diretório ou página deve ter o conteúdo indexado. Diretórios e páginas são por definição sempre permitidos.

O comando Disallow instrui os sites de busca sobre quais diretórios ou páginas não devem ser incluídas no índice.

Note também que colocamos em nosso robots.txt o site mapa do nosso site assim ajuda a guiar o robô ao local correto de onde ele achará todas as páginas, posts, imagens, produtos e textos de nosso site.

 

Atenção com o seu robots.txt

Ainda no exemplo acima, note que deixamos um * permitindo que qualquer Bot rastreie nosso site, porém sabemos que Hackers também criam Bots rastreadores para tentar invadir o seu site, então a forma mais correta é citar quais rastreadores você permite em seu site como no exemplo abaixo.

  • Google: User-agent: Googlebot
  • Google Imagens: User-agent: Googlebot-images
  • Google Adwords: User-agent: Adsbot-Google
  • Google Adsense: User-agent: Mediapartners-Google
  • Yahoo: User-agent: Slurp
  • Bing: User-agent: Bingbot
  • Todos os mecanismos: User-agent: * (ou simplesmente não incluir o comando user-agent)

Se tem alguma dificuldade na criação do seu robots.txt ou seu site não esta aparecendo nos mecanismos de busca, fale com nossos especialista ou agende uma reunião via Meet para nos ajudarmos a concertar esses erros.

Como identificar alertas falsos de vírus e malwares

Você está acessando páginas da web quando, de repente, um aviso de que a sua máquina está infectada por vírus ou malware aparece. Sua primeira reação é ver se o antivírus está ativo e, confirmando que está tudo certo, qual é o próximo passo? Verificar se tudo não se passa de uma fraude. Atualmente, é bem comum que alarmes falsos de computador infectado tentem fazer você instalar programas em sua máquina, portanto é preciso ficar atento.

São algumas as formas que pessoas mal-intencionadas encontram para fazer você cair nessa. E o pior é que tudo soa muito verossímil, muitas vezes levando os mais incautos a clicarem em botões para baixar e instalar programas desnecessários e que algumas vezes até vão impregnar a máquina de softwares danosos.

Confira algumas das práticas mais comuns para tentar enganar quem usa a internet.

Quer ficar por dentro das melhores notícias de tecnologia do dia? Acesse e se inscreva no nosso novo canal no youtube, o Canaltech News. Todos os dias um resumo das principais notícias do mundo tech para você!

Pop-ups no navegador

Um dos métodos mais comuns é o de pop-ups no navegador. Você está navegando, clica em algo e, de repente, um aviso aparece na tela dizendo que a sua máquina está repleta de vírus ou qualquer coisa do gênero. O importante nesses casos é lembrar do aplicativo que você tem instalado em sua máquina para detectar este tipo de coisa.

Alertas de vírus falsos

Pop-ups às vezes enganam. (Foto: Reprodução/Spyware Help Center)

O antivírus não vai emitir uma pop-up de navegador, ou seja, quando aparecer algo assim, desconfie. Normalmente, tudo isso não passa de propaganda disfarçada querendo capturar o seu clique, então fique de olho. É bom lembrar também que normalmente elas escondem bem o local onde fica o botão “x”, aquele que fecha a tal janela. Uma boa olhada antes de sair clicando também ajuda.

Banner de propaganda

Se você já entrou em algum site perigoso, provavelmente já viu aquela tela de aviso padrão dos navegadores. Elas informam que a página a seguir é perigosa e, então, talvez fosse melhor você dar um passo para trás, mas dizem também que é possível seguir adiante caso você saiba o que está fazendo. Mas alguns banners de propaganda podem replicar tais características (ou usar de outras estratégias semelhantes) para tentar ganhar o seu clique, então, fique atento.

Alertas de vírus falsos

Cuidado com banners de propaganda. (Foto: Reprodução/Stay Protected)

Aqui, uma dica importante é se lembrar que essas páginas jamais vão sugerir a instalação de algum mecanismo antimalware ou então oferecer um scanner para vasculhar seu computador em busca das porcarias. Por fim, os alarmes falsos vão sempre apelar para o absurdo, querendo chamar a sua atenção com imagens que piscam e frases de efeito. Avalie tudo isso e, é claro, não clique.

Falsas notificações do sistema

Talvez um dos métodos mais perigosos, as notificações falsas podem pegar muita gente desprevenida. Isso porque elas aparecem justamente onde as notificações reais de problemas são exibidas, contribuindo para pegar os desavisados. De qualquer maneira, vale a pena ficar atento a alguns pontos.

Alertas de vírus falsos

Notificações falsas são um problema. (Foto: Reprodução/2Viruses)

Se você usa Windows 8 ou 10, lembre-se que o sistema adotou um sistema de notificações que surgem em um bloco na lateral da tela, abandonado as notificações em forma de balão. Além disso, fique atento também ao texto escrito na mensagem (se ele está mal escrito, se faz sentido, se está no idioma utilizado pelo seu programa antivírus etc.), pois isso também pode ajudar a detectar um aviso fake.

Conhecer bem a ferramenta antivírus e antimalware que você usa é um bom antídoto neste caso. Isso porque saber como ela emite as suas notificações (normalmente isso ocorre em janelas personalizadas com a marca do programa) também colabora para evitar maiores problemas.

Identifiquei um alerta falso: e agora?

Se você identificou um alerta falso, há algumas coisas que podem ser feitas. A primeira de todas é saber de onde ele vem — se de uma página da web ou de algum programa instalado em seu computador. Encerre as páginas da web que podem ter causado o problema e verifique se ele se repete.

Em caso de persistência, vasculhe as extensões instaladas em sua máquina. Apesar da curadoria das lojas de add-ons, ainda é possível que alguma coisa passe pelo pente fino, então é provável que alguma extensão recém-adicionada ao seu browser seja a causa do problema. Procure desativá-la e veja o resultado.

Se tudo ainda permanecer, é bem provável que o problema esteja em algum programa instalado em seu computador. Tente se lembrar se você não instalou recentemente algum aplicativo via instalador de páginas de download ou então se o instalador do próprio programa não pode ter incluído algo em sua máquina. Uma boa olhada na seção de “Adicionar e remover programas do Windows” pode ajudar.

Depois de tudo isso (e independentemente dos resultados encontrados), o ideal é fazer um escaneamento completo de seu computador com um programa antivírus. Recorrer a alguns extras, como antispyware e antiadware, também é uma solução interessante para garantir que tudo voltará a ficar dentro dos conformes.

 

Fonte: CanalTech