https://www.vg.no/robots.txt

ID de exploración:
2887ce82-d217-4ed8-b579-d4aa6d5ff1feFinalizado
URL enviada:
https://www.vg.no/robots.txt
Informe finalizado:

Enlaces: 0 encontrados

Los enlaces salientes identificados en la página

Variables JavaScript: 3 encontradas

Las variables JavaScript globales cargadas en el objeto de ventana de una página son variables declaradas fuera de las funciones y a las que se puede acceder desde cualquier lugar del código en el ámbito actual

NombreTipo
onbeforetoggleobject
documentPictureInPictureobject
onscrollendobject

Mensajes de registro de la consola: 0 encontrados

Mensajes registrados en la consola web

HTML

El cuerpo HTML sin procesar de la página

<html><head><meta name="color-scheme" content="light dark"></head><body><pre style="word-wrap: break-word; white-space: pre-wrap;">User-agent: *
Disallow: /tegneserier/salesposter
Disallow: /poll
Disallow: /informasjon/redaksjonelle-avgjorelser/182
Disallow: /informasjon/redaksjonelle-avgjorelser/212
Disallow: /sok*?*
Disallow: /preview
Disallow: /?vcheck=1
Disallow: /?_escaped_fragment_=/kategori/144/bolig-tv
Disallow: /?_escaped_fragment_=/kategori

user-agent: Googlebot-News
disallow: /annonsorinnhold/
disallow: /kommersielt-innhold/
disallow: /innstikk/
disallow: /?embed=true
disallow: /arkiv/
disallow: /front/
disallow: /ads/prewarm/

# Start AI crawler block
#
# VG does not permit unlicensed use of our content for training large language models.
# All use, reproductions and extractions of our content for such purposes require specific
# approval by VG. We explicitly disallow text and data mining and all other technical means
# designed to or with the effect that they enable unlicensed use of our content for training
# AI models.
User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Amazonbot
Disallow: /
# End AI crawler block

Sitemap: https://www.vg.no/sitemaps/files/articles-48hrs.xml
Sitemap: https://www.vg.no/sitemap/files/articles-48hrs.xml
Sitemap: https://www.vg.no/sitemap.xml
</pre></body></html>