PHPで検索エンジンボットを検出する方法？

118

PHPを使用して検索エンジンボットを検出するにはどうすればよいですか？

php  web-crawler  bots 
— すごい
ソース

回答:

74

これがスパイダー名の検索エンジンディレクトリです

次に$_SERVER['HTTP_USER_AGENT'];、エージェントがスパイダーかどうかを確認するために使用します。

if(strstr(strtolower($_SERVER['HTTP_USER_AGENT']), "googlebot"))
{
    // what to do
}
— アラファーワーゲ
ソース
if（（eregi（ "yahoo"、$ this-> USER_AGENT））&&（eregi（ "slurp"、$ this-> USER_AGENT）））{$ this-> Browser = "Yahoo! Slurp"; $ this-> Type = "robot"; }これは問題なく動作しますか？
— 素晴らしい
3
strposは0（位置）を返すことができるため、失敗するとstrstrはFALSEを返すため、末尾に！== falseチェックを追加すると、strposを使用できます。
— オラフルWaage
2
ええと、失敗してもstrpos戻りますFALSE。ただし、より高速で効率的です（前処理なし、O（m）ストレージなし）。
— デイモン
6
偽のユーザーエージェントはどうですか？！
2
そして、誰かが偽の名前でユーザーエージェントを変更し、「Googlebot」のような名前を付けることができるとしたらどうでしょうか。IP範囲をチェックする方が信頼できると思います！
— Mojtaba Rezaeian 2015
235

私は正常に動作しているように見える次のコードを使用します：

function _bot_detected() {

  return (
    isset($_SERVER['HTTP_USER_AGENT'])
    && preg_match('/bot|crawl|slurp|spider|mediapartners/i', $_SERVER['HTTP_USER_AGENT'])
  );
}

アップデート16-06-2017 https://support.google.com/webmasters/answer/1061943?hl=en

追加されたメディアパートナー

— Minnur
ソース
2
これは、ボットがそれ自体を明らかにすることを前提としていますか？
— ジェロミーデベラ2014
2
投票、ユーザーエージェントは
— Chrome
23
はい、ユーザーエージェントは変更できますが、誰かが「ボット」、「クロール」、「スラップ」、または「スパイダー」を含むように変更した場合、何が来るかを知っています。また、ユーティリティにも依存します。これを使用してすべてのCSSを削除することはしませんが、Cookieを保存しない、位置情報のログを無視する、またはランディングページをスキップするのに使用します。
— JonShipman 2015年
2
これが幅広い範囲で一致する方法であることに誰もが同意しませんか？
— Daan
機能を1日以上使用しましたが、機能しているようです。しかし、私にはわかりません。動作するかどうかをテストするためにテストボットを送信するにはどうすればよいですか？
— FarrisFahad
19

$_SERVER['HTTP_USER_AGENT']ここにリストされているいくつかの文字列を確認します。

http://www.useragentstring.com/pages/useragentstring.php

または、より具体的にはクローラーの場合：

http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler

最も一般的な検索エンジンクローラーの訪問数を「記録」したい場合は、

$interestingCrawlers = array( 'google', 'yahoo' );
$pattern = '/(' . implode('|', $interestingCrawlers) .')/';
$matches = array();
$numMatches = preg_match($pattern, strtolower($_SERVER['HTTP_USER_AGENT']), $matches, 'i');
if($numMatches > 0) // Found a match
{
  // $matches[1] contains an array of all text matches to either 'google' or 'yahoo'
}
— ユッカ・ダーボム
ソース
16

この機能を備えた検索エンジンであるかどうかをチェックアウトできます。

<?php
function crawlerDetect($USER_AGENT)
{
$crawlers = array(
'Google' => 'Google',
'MSN' => 'msnbot',
      'Rambler' => 'Rambler',
      'Yahoo' => 'Yahoo',
      'AbachoBOT' => 'AbachoBOT',
      'accoona' => 'Accoona',
      'AcoiRobot' => 'AcoiRobot',
      'ASPSeek' => 'ASPSeek',
      'CrocCrawler' => 'CrocCrawler',
      'Dumbot' => 'Dumbot',
      'FAST-WebCrawler' => 'FAST-WebCrawler',
      'GeonaBot' => 'GeonaBot',
      'Gigabot' => 'Gigabot',
      'Lycos spider' => 'Lycos',
      'MSRBOT' => 'MSRBOT',
      'Altavista robot' => 'Scooter',
      'AltaVista robot' => 'Altavista',
      'ID-Search Bot' => 'IDBot',
      'eStyle Bot' => 'eStyle',
      'Scrubby robot' => 'Scrubby',
      'Facebook' => 'facebookexternalhit',
  );
  // to get crawlers string used in function uncomment it
  // it is better to save it in string than use implode every time
  // global $crawlers
   $crawlers_agents = implode('|',$crawlers);
  if (strpos($crawlers_agents, $USER_AGENT) === false)
      return false;
    else {
    return TRUE;
    }
}
?>

その後、次のように使用できます。

<?php $USER_AGENT = $_SERVER['HTTP_USER_AGENT'];
  if(crawlerDetect($USER_AGENT)) return "no need to lang redirection";?>
— マシェリフ
ソース
2
私はそれがクモだこのリストは時代遅れだと思う、私はヤフーで例えば「吸い込み」を参照していないhelp.yahoo.com/kb/SLN22600.html
— 大安
11

私はこれを使ってボットを検出しています：

if (preg_match('/bot|crawl|curl|dataprovider|search|get|spider|find|java|majesticsEO|google|yahoo|teoma|contaxe|yandex|libwww-perl|facebookexternalhit/i', $_SERVER['HTTP_USER_AGENT'])) {
    // is bot
}

さらに、不要なボットをブロックするためにホワイトリストを使用します。

if (preg_match('/apple|baidu|bingbot|facebookexternalhit|googlebot|-google|ia_archiver|msnbot|naverbot|pingdom|seznambot|slurp|teoma|twitter|yandex|yeti/i', $_SERVER['HTTP_USER_AGENT'])) {
    // allowed bot
}

不要なボット（=誤検知ユーザー）は、キャプチャを解いて24時間自分自身のブロックを解除できます。そして、誰もこのキャプチャを解決しないので、私はそれが偽陽性を生成しないことを知っています。したがって、ボットの検出は完全に機能しているようです。

注：ホワイトリストはFacebookのrobots.txtに基づいています。

— mgutt
ソース
)最初のコードの終わりを忘れました。
— Ludo-オフレコにする
10

どのクライアントでもユーザーエージェントを希望どおりに設定できるため、「Googlebot」、「bingbot」などを探すのは半分の作業です。

2番目の部分は、クライアントのIPの検証です。昔はIPリストを維持する必要がありました。オンラインで見つけたリストはすべて古くなっています。Googleのhttps://support.google.com/webmasters/answer/80553とBing http://www.bing.com/webmaster/help/how-to-verifyで説明されているように、上位の検索エンジンはDNSによる検証を正式にサポートしています。 -bingbot-3905dc26

最初に、クライアントIPの逆DNSルックアップを実行します。Googleの場合、これはgooglebot.comの下にホスト名を持ち、Bingの場合、それはsearch.msn.comの下にあります。次に、誰かがそのような逆引きDNSを自分のIPに設定できるため、そのホスト名の正引きDNSルックアップで確認する必要があります。結果のIPがサイトの訪問者のIPと同じである場合、その検索エンジンからのクローラーであると確信できます。

これらのチェックを実行するライブラリをJavaで作成しました。PHPに自由に移植してください。GitHubにあります：https : //github.com/optimaize/webcrawler-verifier

— ファビアン・ケスラー
ソース
1
ユーザーエージェント文字列を使用した他のすべての回答は、途中にあります。ワオ。
— mlissner 2017年
1
ユーザーエージェントのチェックがチェックの半分でしかないというコメントがたくさんあります。これは本当ですが、完全なDNSと逆DNSルックアップを実行すると、パフォーマンスに大きな影響があります。それはすべて、ユースケースをサポートするために取得する必要がある確実性のレベルに依存します。これは、パフォーマンスを犠牲にして100％確実にするためです。状況に応じて適切なバランスを決定する必要があります（したがって、最良のソリューションです）。
— Brady Emerson、
「パフォーマンスに大きな影響」はありません。まず、DNSの逆ルックアップは、検索エンジンとして識別される訪問者に対してのみ実行されます。すべての人間はまったく影響を受けません。その後、このルックアップはIPごとに1回だけ実行されます。結果はキャッシュされます。検索エンジンは非常に長い間同じIP範囲を使用し続け、通常は1つまたは少数のIPのみで1つのサイトにヒットします。また、検証を遅らせることができます。最初のリクエストを通過させ、次にbackground-validateを実行します。否定的な場合は、後続のリクエストを禁止します。（ハーベスタには現在大きなIPプールがあるので、これはお勧めしません...）
— Fabian Kessler
PHPで作成された類似のライブラリはありますか？
— userlond
8

私はこの関数を使用しています...正規表現の一部はprestashopからのものですが、ボットをさらに追加しました。 

    public function isBot()
{
    $bot_regex = '/BotLink|bingbot|AhrefsBot|ahoy|AlkalineBOT|anthill|appie|arale|araneo|AraybOt|ariadne|arks|ATN_Worldwide|Atomz|bbot|Bjaaland|Ukonline|borg\-bot\/0\.9|boxseabot|bspider|calif|christcrawler|CMC\/0\.01|combine|confuzzledbot|CoolBot|cosmos|Internet Cruiser Robot|cusco|cyberspyder|cydralspider|desertrealm, desert realm|digger|DIIbot|grabber|downloadexpress|DragonBot|dwcp|ecollector|ebiness|elfinbot|esculapio|esther|fastcrawler|FDSE|FELIX IDE|ESI|fido|H�m�h�kki|KIT\-Fireball|fouineur|Freecrawl|gammaSpider|gazz|gcreep|golem|googlebot|griffon|Gromit|gulliver|gulper|hambot|havIndex|hotwired|htdig|iajabot|INGRID\/0\.1|Informant|InfoSpiders|inspectorwww|irobot|Iron33|JBot|jcrawler|Teoma|Jeeves|jobo|image\.kapsi\.net|KDD\-Explorer|ko_yappo_robot|label\-grabber|larbin|legs|Linkidator|linkwalker|Lockon|logo_gif_crawler|marvin|mattie|mediafox|MerzScope|NEC\-MeshExplorer|MindCrawler|udmsearch|moget|Motor|msnbot|muncher|muninn|MuscatFerret|MwdSearch|sharp\-info\-agent|WebMechanic|NetScoop|newscan\-online|ObjectsSearch|Occam|Orbsearch\/1\.0|packrat|pageboy|ParaSite|patric|pegasus|perlcrawler|phpdig|piltdownman|Pimptrain|pjspider|PlumtreeWebAccessor|PortalBSpider|psbot|Getterrobo\-Plus|Raven|RHCS|RixBot|roadrunner|Robbie|robi|RoboCrawl|robofox|Scooter|Search\-AU|searchprocess|Senrigan|Shagseeker|sift|SimBot|Site Valet|skymob|SLCrawler\/2\.0|slurp|ESI|snooper|solbot|speedy|spider_monkey|SpiderBot\/1\.0|spiderline|nil|suke|http:\/\/www\.sygol\.com|tach_bw|TechBOT|templeton|titin|topiclink|UdmSearch|urlck|Valkyrie libwww\-perl|verticrawl|Victoria|void\-bot|Voyager|VWbot_K|crawlpaper|wapspider|WebBandit\/1\.0|webcatcher|T\-H\-U\-N\-D\-E\-R\-S\-T\-O\-N\-E|WebMoose|webquest|webreaper|webs|webspider|WebWalker|wget|winona|whowhere|wlm|WOLP|WWWC|none|XGET|Nederland\.zoek|AISearchBot|woriobot|NetSeer|Nutch|YandexBot|YandexMobileBot|SemrushBot|FatBot|MJ12bot|DotBot|AddThis|baiduspider|SeznamBot|mod_pagespeed|CCBot|openstat.ru\/Bot|m2e/i';
    $userAgent = empty($_SERVER['HTTP_USER_AGENT']) ? FALSE : $_SERVER['HTTP_USER_AGENT'];
    $isBot = !$userAgent || preg_match($bot_regex, $userAgent);

    return $isBot;
}

とにかく、一部のボットはユーザーエージェントのようなブラウザーを使用して自分のIDを偽造することに注意してください
（私のサイトでこの動作をする多くのロシアのIPを取得しました）

ほとんどのボットの特徴の1つは、Cookieを保持していないため、セッションがアタッチされていないことです。
（私は方法がわかりませんが、これは確かにそれらを追跡する最良の方法です）

— ワンダーランド
ソース
6

ユーザーエージェントを分析し$_SERVER['HTTP_USER_AGENT']たり（）、クライアントのIPアドレス（$_SERVER['REMOTE_ADDR']）を検索エンジンボットのIPアドレスのリストと比較したりできます。

— ガンボ
ソース
2
名前で偽のユーザーエージェントを作成することが可能であるため、ユーザーエージェント名が本当に検索エンジンボットであることを確認したい場合、IPリストはより安全です。
— Mojtaba Rezaeian 2015
5

Device Detectorオープンソースライブラリを使用して、isBot（）関数を提供します：https : //github.com/piwik/device-detector

— mattab
ソース
注：このライブラリは、ユーザーエージェントを分析して、訪問者がボットかどうかを判断するだけです。
— フィリップ
検証ボットをチェックするだけでも重すぎます。
— Joel James
4 
 <?php // IPCLOACK HOOK
if (CLOAKING_LEVEL != 4) {
    $lastupdated = date("Ymd", filemtime(FILE_BOTS));
    if ($lastupdated != date("Ymd")) {
        $lists = array(
        'http://labs.getyacg.com/spiders/google.txt',
        'http://labs.getyacg.com/spiders/inktomi.txt',
        'http://labs.getyacg.com/spiders/lycos.txt',
        'http://labs.getyacg.com/spiders/msn.txt',
        'http://labs.getyacg.com/spiders/altavista.txt',
        'http://labs.getyacg.com/spiders/askjeeves.txt',
        'http://labs.getyacg.com/spiders/wisenut.txt',
        );
        foreach($lists as $list) {
            $opt .= fetch($list);
        }
        $opt = preg_replace("/(^[\r\n]*|[\r\n]+)[\s\t]*[\r\n]+/", "\n", $opt);
        $fp =  fopen(FILE_BOTS,"w");
        fwrite($fp,$opt);
        fclose($fp);
    }
    $ip = isset($_SERVER['REMOTE_ADDR']) ? $_SERVER['REMOTE_ADDR'] : '';
    $ref = isset($_SERVER['HTTP_REFERER']) ? $_SERVER['HTTP_REFERER'] : '';
    $agent = isset($_SERVER['HTTP_USER_AGENT']) ? $_SERVER['HTTP_USER_AGENT'] : '';
    $host = strtolower(gethostbyaddr($ip));
    $file = implode(" ", file(FILE_BOTS));
    $exp = explode(".", $ip);
    $class = $exp[0].'.'.$exp[1].'.'.$exp[2].'.';
    $threshold = CLOAKING_LEVEL;
    $cloak = 0;
    if (stristr($host, "googlebot") && stristr($host, "inktomi") && stristr($host, "msn")) {
        $cloak++;
    }
    if (stristr($file, $class)) {
        $cloak++;
    }
    if (stristr($file, $agent)) {
        $cloak++;
    }
    if (strlen($ref) > 0) {
        $cloak = 0;
    }

    if ($cloak >= $threshold) {
        $cloakdirective = 1;
    } else {
        $cloakdirective = 0;
    }
}
?>

それはクモをマントにする理想的な方法でしょう。これは、[YACG]と呼ばれるオープンソースのスクリプトからだ- http://getyacg.com

少しの作業が必要ですが、間違いなく進む方法です。

— L.コシオ
ソース
2

私はこれのために1つの良い高速関数を作りました

function is_bot(){

        if(isset($_SERVER['HTTP_USER_AGENT']))
        {
            return preg_match('/rambler|abacho|acoi|accona|aspseek|altavista|estyle|scrubby|lycos|geona|ia_archiver|alexa|sogou|skype|facebook|twitter|pinterest|linkedin|naver|bing|google|yahoo|duckduckgo|yandex|baidu|teoma|xing|java\/1.7.0_45|bot|crawl|slurp|spider|mediapartners|\sask\s|\saol\s/i', $_SERVER['HTTP_USER_AGENT']);
        }

        return false;
    }

これは、可能なすべてのボット、検索エンジンなどの99％をカバーしています。

— イビハン・ステファン・スティピッチ
ソース
1

私はこのコードを使用しています。あなたはユーザーエージェントがあなたのサイトを訪問したことを非常に簡単に知るでしょう。このコードはファイルを開いており、user_agentをファイルに書き留めています。このファイルを毎日チェックyourdomain.com/useragent.txtして、新しいuser_agentsに移動して知って、それらをif句の条件に入れることができます。

$user_agent = strtolower($_SERVER['HTTP_USER_AGENT']);
if(!preg_match("/Googlebot|MJ12bot|yandexbot/i", $user_agent)){
    // if not meet the conditions then
    // do what you need

    // here open a file and write the user_agent down the file. You can check each day this file useragent.txt and know about new user_agents and put them in your condition of if clause
    if($user_agent!=""){
        $myfile = fopen("useragent.txt", "a") or die("Unable to open file useragent.txt!");
        fwrite($myfile, $user_agent);
        $user_agent = "\n";
        fwrite($myfile, $user_agent);
        fclose($myfile);
    }
}

これはuseragent.txtの内容です

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; MJ12bot/v1.4.6; http://mj12bot.com/)Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)mozilla/5.0 (compatible; yandexbot/3.0; +http://yandex.com/bots)
mozilla/5.0 (compatible; yandexbot/3.0; +http://yandex.com/bots)
mozilla/5.0 (compatible; yandexbot/3.0; +http://yandex.com/bots)
mozilla/5.0 (compatible; yandexbot/3.0; +http://yandex.com/bots)
mozilla/5.0 (compatible; yandexbot/3.0; +http://yandex.com/bots)
mozilla/5.0 (iphone; cpu iphone os 9_3 like mac os x) applewebkit/601.1.46 (khtml, like gecko) version/9.0 mobile/13e198 safari/601.1
mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.143 safari/537.36
mozilla/5.0 (compatible; linkdexbot/2.2; +http://www.linkdex.com/bots/)
mozilla/5.0 (windows nt 6.1; wow64; rv:49.0) gecko/20100101 firefox/49.0
mozilla/5.0 (windows nt 6.1; wow64; rv:33.0) gecko/20100101 firefox/33.0
mozilla/5.0 (windows nt 6.1; wow64; rv:49.0) gecko/20100101 firefox/49.0
mozilla/5.0 (windows nt 6.1; wow64; rv:33.0) gecko/20100101 firefox/33.0
mozilla/5.0 (windows nt 6.1; wow64; rv:49.0) gecko/20100101 firefox/49.0
mozilla/5.0 (windows nt 6.1; wow64; rv:33.0) gecko/20100101 firefox/33.0
mozilla/5.0 (windows nt 6.1; wow64; rv:49.0) gecko/20100101 firefox/49.0
mozilla/5.0 (windows nt 6.1; wow64; rv:33.0) gecko/20100101 firefox/33.0
mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.143 safari/537.36
mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.143 safari/537.36
mozilla/5.0 (compatible; baiduspider/2.0; +http://www.baidu.com/search/spider.html)
zoombot (linkbot 1.0 http://suite.seozoom.it/bot.html)
mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/44.0.2403.155 safari/537.36 opr/31.0.1889.174
mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/44.0.2403.155 safari/537.36 opr/31.0.1889.174
sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/44.0.2403.155 safari/537.36 opr/31.0.1889.174
— グエン灯台
ソース
このための（if_clause）文字列は何でしょうか？mozilla / 5.0（iphone; cpu iphone os 9_3 like mac os x）applewebkit / 601.1.46（khtml、like gecko）バージョン/9.0 mobile / 13e198 safari / 601.1
— 平均Joe
1

100％ワーキングボット検出器。それは私のウェブサイトでうまく働いています。

function isBotDetected() {

    if ( preg_match('/abacho|accona|AddThis|AdsBot|ahoy|AhrefsBot|AISearchBot|alexa|altavista|anthill|appie|applebot|arale|araneo|AraybOt|ariadne|arks|aspseek|ATN_Worldwide|Atomz|baiduspider|baidu|bbot|bingbot|bing|Bjaaland|BlackWidow|BotLink|bot|boxseabot|bspider|calif|CCBot|ChinaClaw|christcrawler|CMC\/0\.01|combine|confuzzledbot|contaxe|CoolBot|cosmos|crawler|crawlpaper|crawl|curl|cusco|cyberspyder|cydralspider|dataprovider|digger|DIIbot|DotBot|downloadexpress|DragonBot|DuckDuckBot|dwcp|EasouSpider|ebiness|ecollector|elfinbot|esculapio|ESI|esther|eStyle|Ezooms|facebookexternalhit|facebook|facebot|fastcrawler|FatBot|FDSE|FELIX IDE|fetch|fido|find|Firefly|fouineur|Freecrawl|froogle|gammaSpider|gazz|gcreep|geona|Getterrobo-Plus|get|girafabot|golem|googlebot|\-google|grabber|GrabNet|griffon|Gromit|gulliver|gulper|hambot|havIndex|hotwired|htdig|HTTrack|ia_archiver|iajabot|IDBot|Informant|InfoSeek|InfoSpiders|INGRID\/0\.1|inktomi|inspectorwww|Internet Cruiser Robot|irobot|Iron33|JBot|jcrawler|Jeeves|jobo|KDD\-Explorer|KIT\-Fireball|ko_yappo_robot|label\-grabber|larbin|legs|libwww-perl|linkedin|Linkidator|linkwalker|Lockon|logo_gif_crawler|Lycos|m2e|majesticsEO|marvin|mattie|mediafox|mediapartners|MerzScope|MindCrawler|MJ12bot|mod_pagespeed|moget|Motor|msnbot|muncher|muninn|MuscatFerret|MwdSearch|NationalDirectory|naverbot|NEC\-MeshExplorer|NetcraftSurveyAgent|NetScoop|NetSeer|newscan\-online|nil|none|Nutch|ObjectsSearch|Occam|openstat.ru\/Bot|packrat|pageboy|ParaSite|patric|pegasus|perlcrawler|phpdig|piltdownman|Pimptrain|pingdom|pinterest|pjspider|PlumtreeWebAccessor|PortalBSpider|psbot|rambler|Raven|RHCS|RixBot|roadrunner|Robbie|robi|RoboCrawl|robofox|Scooter|Scrubby|Search\-AU|searchprocess|search|SemrushBot|Senrigan|seznambot|Shagseeker|sharp\-info\-agent|sift|SimBot|Site Valet|SiteSucker|skymob|SLCrawler\/2\.0|slurp|snooper|solbot|speedy|spider_monkey|SpiderBot\/1\.0|spiderline|spider|suke|tach_bw|TechBOT|TechnoratiSnoop|templeton|teoma|titin|topiclink|twitterbot|twitter|UdmSearch|Ukonline|UnwindFetchor|URL_Spider_SQL|urlck|urlresolver|Valkyrie libwww\-perl|verticrawl|Victoria|void\-bot|Voyager|VWbot_K|wapspider|WebBandit\/1\.0|webcatcher|WebCopier|WebFindBot|WebLeacher|WebMechanic|WebMoose|webquest|webreaper|webspider|webs|WebWalker|WebZip|wget|whowhere|winona|wlm|WOLP|woriobot|WWWC|XGET|xing|yahoo|YandexBot|YandexMobileBot|yandex|yeti|Zeus/i', $_SERVER['HTTP_USER_AGENT'])
    ) {
        return true; // 'Above given bots detected'
    }

    return false;

} // End :: isBotDetected()
— イルシャドカーン
ソース
1

本当にGOOGLEエンジンボットを検出する必要がある場合は、「user_agent」または「IP」アドレスに依存しないでください。「user_agent」は、Googleの発言に応じて変更および変更できるためです。Googlebotの確認

発信者としてGooglebotを確認するには：

1. hostコマンドを使用して、ログからアクセスするIPアドレスに対してDNS逆引き参照を実行します。

2.ドメイン名がgooglebot.comまたはgoogle.comにあることを確認します

3. 取得したドメイン名でhostコマンドを使用して、手順1で取得したドメイン名でDNSの前方参照を実行します。ログの元のアクセスIPアドレスと同じであることを確認します。

これが私のテスト済みコードです：

<?php
$remote_add=$_SERVER['REMOTE_ADDR'];
$hostname = gethostbyaddr($remote_add);
$googlebot = 'googlebot.com';
$google = 'google.com';
if (stripos(strrev($hostname), strrev($googlebot)) === 0 or stripos(strrev($hostname),strrev($google)) === 0 ) 
{
//add your code
}

?>

このコードでは、「ホスト名」の末尾に「googlebot.com」または「google.com」を含む「ホスト名」をチェックします。これは、サブドメインではなく正確なドメインをチェックするために非常に重要です。楽しんでくださいね;）

— طراحیسایتتهران
ソース
0

Googleでは、この方法を使用しています。

function is_google() {
    $ip   = $_SERVER['REMOTE_ADDR'];
    $host = gethostbyaddr( $ip );
    if ( strpos( $host, '.google.com' ) !== false || strpos( $host, '.googlebot.com' ) !== false ) {

        $forward_lookup = gethostbyname( $host );

        if ( $forward_lookup == $ip ) {
            return true;
        }

        return false;
    } else {
        return false;
    }

}

var_dump( is_google() );

クレジット：https : //support.google.com/webmasters/answer/80553

— マイク・アロン
ソース
-1 
function bot_detected() {

  if(preg_match('/bot|crawl|slurp|spider|mediapartners/i', $_SERVER['HTTP_USER_AGENT']){
    return true;
  }
  else{
    return false;
  }
}
— エリオル
ソース
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.