タグ付けされた質問 「robots.txt」

robots.txtに、サイトマップファイルの次の相対URLを記述できますか？ sitemap: /sitemap.ashx または、次のようにサイトマップファイルの完全な（絶対）URLを使用する必要がありますか？ sitemap: http://subdomain.domain.com/sitemap.ashx なぜ私は不思議に思う： ユーザーがaccountname.domain.comでブログを作成できる新しいブログサービスwww.domain.comを所有しています。 私はワイルドカードを使用しているため、すべてのサブドメイン（アカウント）は "blog.domain.com"を指します。 blog.domain.comにrobots.txtを入れて、検索エンジンがサイトマップを見つけられるようにしました。ただし、ワイルドカードにより、すべてのユーザーアカウントが同じrobots.txtファイルを共有しているため、2番目の方法を使用できません。そして今のところ、txtファイルにurl rewriteを使用することはできません。（IISの新しいバージョンでこれを処理できると思いますか？）

191 seo  sitemap  robots.txt 

robots.txtGoogleウェブマスターツールのマイには次の値が表示されます。 User-agent: * Allow: / どういう意味ですか？私はそれについて十分な知識を持っていないので、あなたの助けを探しています。すべてのロボットが私のウェブサイトをクロールできるようにしたいのですが、これは正しい構成ですか？

116 robots.txt 

Flaskのアプリケーションルートディレクトリに静的ファイルを保存するための巧妙なソリューションはありますか？robots.txtとsitemap.xmlは/にあると予想されるため、私の考えはそれらのルートを作成することでした： @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response もっと便利なものがあるはずです:)

94 python  flask  static  mod-wsgi  robots.txt