En temps que newbie deux petites questions/soucis :
J'ai un site avec des metas pour le référencement et un fichier robots.txt
1) Si je déclare
Code:
Disallow: /v2/
Mais quand dans "v2" j'ai des tas de dossiers et sous dossier, est-on bien d'accord que les spiders n'iront pas dedans ? Tout ce qui est dans v2 est bien exclus ?
2) Si le spider voit qu'un dossier par exemple "/test", n'est pas bloqué, il ira donc dedans se promener et tout référencer, mais si une page de "/test" contient
Code:
<meta name="Robots" content="none">
, est-ce que cela créé une interférence ou bien robots.txt et meta sont compatibles et donc robots.txt ira ignorer cette page ? (qui pourtant est un dossier accepté par robots.txt)
J'espère avoir été claire et précise.
Merci par avance, cdt.
« Dernière Édition: le 29-04-2011 a 11:31:26 par Webby67 »
1) oui 2) cette méta existe mais elle est mal renseigné, le content="none" n'est pas bon... va voir ici pour bien l'utilisé : http://www.webrankinfo.com/outils/robots/faq_16_122.htm sinon pour répondre à ta question, autant bloqué la page de /test directement dans le fichier robots.txt où tu met : "Disallow: /test/page.php"