# robots.txt de sectorial.co # Reestructurado el 11 ago 2026 — detalle en PENDIENTES_SEO.md §1.sexies. # # ⚠️ REGLA DE ORO AL EDITAR ESTE FICHERO # Un grupo termina cuando aparece OTRO "User-agent:". Los comentarios y las # lineas en blanco NO cierran el grupo. Por tanto, toda regla escrita despues # de un "User-agent:" especifico pertenece SOLO a ese bot. # Antes de esta reestructuracion, 24 Disallow (archivos de fecha, binarios, # parametros de tracking) estaban escritos al final del fichero, detras de # "User-agent: facebot", y por eso se aplicaban SOLO al rastreador de Facebook. # Googlebot los ignoraba por completo. # # Si hay que anadir un Disallow general, va DENTRO del bloque "User-agent: *" # de aqui abajo, nunca al final del fichero. # ───────────────────────────────────────────────────────────────────────────── # TODOS LOS RASTREADORES # ───────────────────────────────────────────────────────────────────────────── User-agent: * Disallow: /wp-admin/ Disallow: /cgi-bin/ Allow: /wp-admin/admin-ajax.php # ⚠️ NO volver a anadir "Disallow: /wp-includes/" (quitado el 11 ago 2026). # Las paginas cargan de ahi jquery.min.js, hooks.min.js e i18n.min.js, y Google # los necesita para renderizar. Bloquear CSS o JS esta desaconsejado # explicitamente por Google desde 2014, y este sitio depende de jQuery hasta el # punto de que diferirlo rompio el menu entero (16 jul 2026). # Tienda WooCommerce — los slugs reales en espanol (/carrito/, /finalizar-compra/, # /mi-cuenta/) estan DESBLOQUEADOS desde el 23 jul 2026: emiten # y Google necesita rastrearlos para leerlo. # Con el Disallow quedaban indexadas sin forma de limpiarlas. # Aqui solo se bloquean los alias en ingles, que no tienen contenido propio. Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ # Busqueda interna Disallow: /?s= # Parametros que generan URLs duplicadas (cache / seguridad / carrito) Disallow: /*?wordfence_lh= Disallow: /*remove_item= Disallow: /*?add-to-cart= # ⚠️ nocache / pagename / option=com_ / Itemid / start: DESBLOQUEADOS el 23 jul # 2026 y NO se vuelven a bloquear. Todos resuelven solos (301 a la URL limpia # via sectorial-param-canonical.php, o 410 de /historico/ via .htaccess), pero # el Disallow impedia que Google leyera esa respuesta: 187 URLs quedaron # "indexadas aunque bloqueadas por robots.txt". Mismo error que con /novedades/*/. # Re-bloquear solo cuando GSC confirme 0 indexadas. # Subdirectorios internos Disallow: /flip/ Disallow: /new/ Disallow: /portalqa/ Disallow: /srv/ Disallow: /test/ Disallow: /pubroot/ # ⚠️ NO bloquear /historico/ ni /wpsite/ ni /informes/ ni /andicarterasalud/: # sirven 410 por .htaccess y Google necesita poder rastrearlo para desindexar # (~3.590 paginas en el caso de /historico/). # Archivos de fecha de WordPress (emiten noindex via Yoast; se evita el rastreo) Disallow: /2012/ Disallow: /2013/ Disallow: /2014/ Disallow: /2015/ Disallow: /2016/ Disallow: /2017/ Disallow: /2018/ Disallow: /2019/ Disallow: /2020/ Disallow: /2021/ Disallow: /2022/ Disallow: /2023/ Disallow: /2024/ Disallow: /2025/ Disallow: /2026/ Disallow: /2027/ # Binarios no indexables Disallow: /wp-content/uploads/*.xlsx Disallow: /wp-content/uploads/*.csv Disallow: /wp-content/uploads/*.docx Disallow: /wp-content/uploads/*.zip # Parametros de tracking (generan una URL unica por sesion) Disallow: /*?*xcod= Disallow: /*&xcod= Disallow: /*?*sck= Disallow: /*&sck= # Archivo de etiquetas de producto (sin valor de busqueda) Disallow: /etiqueta-producto/ # ───────────────────────────────────────────────────────────────────────────── # RASTREADORES DE IA — permitidos a proposito # Se invirtio en llms.txt y llms-full.txt justo para que lean el sitio. # Van en UN SOLO grupo: varios "User-agent:" seguidos comparten las reglas que # vienen debajo. Se repiten los Disallow esenciales porque un grupo especifico # SUSTITUYE al de "*" — sin ellos, estos bots rastrearian /wp-admin/ y el carrito. # ───────────────────────────────────────────────────────────────────────────── User-agent: Google-Extended User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ClaudeBot User-agent: PerplexityBot User-agent: CCBot User-agent: meta-externalagent User-agent: meta-externalfetcher Allow: / # Espejo EXACTO de las reglas de "User-agent: *" (13 sep 2026). Un grupo # especifico SUSTITUYE al general, asi que cualquier Disallow que se anada # arriba hay que copiarlo tambien aqui. Antes solo se repetian 7 de los 40 Disallow # y estos bots podian rastrear /test/, /flip/, los archivos por fecha y los # .xlsx/.csv/.zip de uploads. Disallow: /wp-admin/ Disallow: /cgi-bin/ Allow: /wp-admin/admin-ajax.php Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Disallow: /?s= Disallow: /*?wordfence_lh= Disallow: /*remove_item= Disallow: /*?add-to-cart= Disallow: /flip/ Disallow: /new/ Disallow: /portalqa/ Disallow: /srv/ Disallow: /test/ Disallow: /pubroot/ Disallow: /2012/ Disallow: /2013/ Disallow: /2014/ Disallow: /2015/ Disallow: /2016/ Disallow: /2017/ Disallow: /2018/ Disallow: /2019/ Disallow: /2020/ Disallow: /2021/ Disallow: /2022/ Disallow: /2023/ Disallow: /2024/ Disallow: /2025/ Disallow: /2026/ Disallow: /2027/ Disallow: /wp-content/uploads/*.xlsx Disallow: /wp-content/uploads/*.csv Disallow: /wp-content/uploads/*.docx Disallow: /wp-content/uploads/*.zip Disallow: /*?*xcod= Disallow: /*&xcod= Disallow: /*?*sck= Disallow: /*&sck= Disallow: /etiqueta-producto/ # ℹ️ Bingbot, msnbot, facebookexternalhit y facebot tenian aqui un grupo propio # con solo "Allow: /". Eso NO les daba permiso extra: les quitaba TODAS las # restricciones de "*", asi que rastreaban /wp-admin/, el carrito y la busqueda # interna. Se han eliminado esos grupos: al caer bajo "*" siguen teniendo acceso # completo al contenido y ademas respetan los Disallow. No volver a anadirlos. # ----------------------------------------------------------------------------- # FICHEROS PARA AGENTES DE IA (anadido el 27 ago 2026) # No son directivas de robots.txt: van como comentario porque no existe una # palabra clave estandar para esto. Se listan aqui porque robots.txt es el # primer fichero que mira un agente al llegar al dominio. # Indice del sitio para agentes ...... https://sectorial.co/llms.txt # Texto completo, sin rastrear ....... https://sectorial.co/llms-full.txt # Cuando y como usar Sectorial ....... https://sectorial.co/agents.md # Recursos para desarrolladores ...... https://sectorial.co/desarrolladores/ # Ademas, cualquier URL de contenido devuelve Markdown limpio si se pide con # la cabecera "Accept: text/markdown" (o anadiendo ?format=markdown). # ----------------------------------------------------------------------------- Sitemap: https://sectorial.co/sitemap_index.xml Sitemap: https://sectorial.co/sitemap-landings.xml