Stroustrupは最近、C ++に関する人気の神話を暴く一連の投稿を投稿しました。5番目の神話は、「C ++は大規模で複雑なプログラム専用です」です。それを暴くために、彼はWebページをダウンロードし、そこからリンクを抽出する簡単なC ++プログラムを書きました。ここにあります：

#include <string>
#include <set>
#include <iostream>
#include <sstream>
#include <regex>
#include <boost/asio.hpp>

using namespace std;

set<string> get_strings(istream& is, regex pat)
{
    set<string> res;
    smatch m;
    for (string s; getline(is, s);)  // read a line
        if (regex_search(s, m, pat))
            res.insert(m[0]);              // save match in set
    return res;
}

void connect_to_file(iostream& s, const string& server, const string& file)
// open a connection to server and open an attach file to s
// skip headers
{
    if (!s)
        throw runtime_error{ "can't connect\n" };

    // Request to read the file from the server:
    s << "GET " << "http://" + server + "/" + file << " HTTP/1.0\r\n";
    s << "Host: " << server << "\r\n";
    s << "Accept: */*\r\n";
    s << "Connection: close\r\n\r\n";

    // Check that the response is OK:
    string http_version;
    unsigned int status_code;
    s >> http_version >> status_code;

    string status_message;
    getline(s, status_message);
    if (!s || http_version.substr(0, 5) != "HTTP/")
        throw runtime_error{ "Invalid response\n" };

    if (status_code != 200)
        throw runtime_error{ "Response returned with status code" };

    // Discard the response headers, which are terminated by a blank line:
    string header;
    while (getline(s, header) && header != "\r")
        ;
}

int main()
{
    try {
        string server = "www.stroustrup.com";
        boost::asio::ip::tcp::iostream s{ server, "http" };  // make a connection
        connect_to_file(s, server, "C++.html");    // check and open file

        regex pat{ R"((http://)?www([./#\+-]\w*)+)" }; // URL
        for (auto x : get_strings(s, pat))    // look for URLs
            cout << x << '\n';
    }
    catch (std::exception& e) {
        std::cout << "Exception: " << e.what() << "\n";
        return 1;
    }
}

Stroustrupに、小さくて読みやすいプログラムが実際に何であるかを示しましょう。

1. ダウンロード http://www.stroustrup.com/C++.html

2. すべてのリンクをリスト：

   http://www-h.eng.cam.ac.uk/help/tpl/languages/C++.html
   http://www.accu.org
   http://www.artima.co/cppsource
   http://www.boost.org
   ...
   

任意の言語を使用できますが、サードパーティのライブラリは許可されていません。

勝者

C ++の回答は投票で勝ちましたが、セミサードパーティのライブラリ（ルールで禁止されています）に依存しており、別の近い競合Bashと一緒に、ハッキングされたHTTPクライアントに依存しています（HTTPSでは動作しません） gzip、リダイレクトなど）。したがって、Wolframは明確な勝者です。サイズと読みやすさの点で近づいているもう1つのソリューションは、PowerShell（コメントを改善したもの）ですが、あまり注目されていません。主流の言語（Python、C＃）も非常に近くなりました。

ウルフラム

これは完全な不正行為のように感じます

Import["http://www.stroustrup.com/C++.html", "Hyperlinks"]

正直な構文解析を上に追加するだけです

Cases[
 Import["http://www.stroustrup.com/C++.html", "XMLObject"],
 XMLElement["a", {___, "href" -> link_, ___}, ___] :> 
  link /; StringMatchQ[link, RegularExpression["((http://)?www([./#\\+-]\\w*)+)"]]
, Infinity]

C ++

#include <boost/asio.hpp>
#include <regex>
#include <iostream>
int main() {
    std::string server = "www.stroustrup.com";
    std::string request = "GET http://" + server + "/C++.html HTTP/1.0\r\nHost: " + server + "\r\n\r\n";
    boost::asio::ip::tcp::iostream s{server, "http"};
    s << request;
    std::regex pat{R"((http://)?www([./#\+-]\w*)+)"};
    std::smatch m;
    for (std::string l; getline(s, l);)
        if (std::regex_search(l, m, pat))
            std::cout << m[0] << "\n";
}

主な欠点は、boost :: asioの扱いにくい性質です。より良いライブラリを使用すれば、さらに短くなる可能性があります。

Linux / OS X上のPure Bash（外部ユーティリティなし）

HTTPクライアントソフトウェアは肥大化していることで有名です。こうした種類の依存関係は望ましくありません。代わりに、適切なヘッダーをTCPストリームにプッシュし、結果を読み取ることができます。結果を解析するためにgrepやsedなどの古風なユーティリティを呼び出す必要はありません。

domain="www.stroustrup.com"
path="C++.html"
exec 3<> /dev/tcp/$domain/80
printf "GET /$path HTTP/1.1\r\nhost: %s\r\nConnection: close\r\n\r\n" "$domain" >&3
while read -u3; do
    if [[ "$REPLY" =~ http://[^\"]* ]]; then
        printf '%s\n' "$BASH_REMATCH"
    fi
done

Meh-もっと読みやすいと思います...

Python 2

import urllib2 as u, re
s = "http://www.stroustrup.com/C++.html"
w = u.urlopen(s)
h = w.read()
l = re.findall('"((http)s?://.*?)"', h)
print l

ラメですが、動作します

C＃

using System;
using System.Net;
using System.Text.RegularExpressions;

class Program {
    static void Main() {
        string html = new WebClient().DownloadString("http://www.stroustrup.com/C++.html");
        foreach (Match match in Regex.Matches(html, @"https?://[^""]+"))
            Console.WriteLine(match);
    }
}

「サードパーティなし」は誤りです

「サードパーティなし」という仮定は誤りだと思います。また、C ++で再利用可能なコードを作成するのは非常に難しいため、C ++開発者を悩ます特定の誤fallです。たとえ小さなスクリプトであっても、何かを開発しているときは、利用可能な再利用可能なコードの断片を常に利用します。

重要なのは、Perl、Python、Rubyなどの言語では、他の人のコードを再利用するのは簡単であるだけでなく、ほとんどの人がほとんどの場合実際にコードを書く方法です。

維持するのがほぼ不可能なABI要件を備えたC ++は、それをはるかに困難な仕事にします。最終的に、Boostのようなプロジェクトになります。

CPANの例

楽しみのために、正規表現を使用してhtmlを解析する代わりに、htmlを適切に解析するCPANベースの例を示します。

#!/usr/bin/perl
use HTML::LinkExtor;
sub callback {
   my ($tag, %links) = @_;
   print map { "$_\n" } values %links
}
$p = HTML::LinkExtor->new(\&callback, "http://www.stroustrup.com/C++.html");

UNIXシェル

lynx -dump http://www.stroustrup.com/C++.html | grep -o '\w*://.*'

ftp://リンクも見つけられます:)

://構文に依存しない別の方法：

lynx -dump -listonly http://www.stroustrup.com/C++.html | sed -n 's/^[ 0-9.]\+//p'

CSS 3

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
}
a {
  content: "";
}
a[href*="://"]::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}

このコードは、書式なしリストのページに絶対リンクのみを表示するユーザースタイルとして使用できます。ブラウザが最小フォントサイズを強制している場合、正しく動作しない可能性があります。

http://www.stroustrup.com/C++.html（で注意!importantしてくださいbackground）で正しく動作します。より多くのスタイルを持つ他のページで作業するには、拡張する必要があります（より多くのプロパティをリセットする、プロパティを重要としてマークするなど）。

ハッシュで始まるページ内リンクを除く相対リンクを含む代替バージョン（残念ながらハードコードされた絶対リンクに依存しています）：

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
  float: none !important;
  width: auto !important;
  border: none !important;
}
a {
  content: "";
}
a::after {
  display: none;
}
a:not([href^="#"])::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}
a:not([href*="://"])::after {
  content: "http://www.stroustrup.com/" attr(href);
}

クロージュア

(->> (slurp "http://www.stroustrup.com")
     (re-seq #"(?:http://)?www(?:[./#\+-]\w*)+"))

Emacs Lisp

(with-current-buffer (url-retrieve-synchronously "http://www.stroustrup.com/C++.html")
  (while (re-search-forward "https?://[^\\\"]*")
    (print (match-string 0))))

スカラ

"""\"(https?://.*?)\"""".r.findAllIn(scala.io.Source.fromURL("http://www.stroustrup.com/C++.html").mkString).foreach(println)

PHP 5

<?php
preg_match_all('/"(https?:\/\/.*?)"/',file_get_contents('http://www.stroustrup.com/C++.html'),$m);
print_r($m[1]);

パワーシェル

すべての完全修飾URL（JavaScript、CSSなどを含む）のテキスト検索：

[string[]][regex]::Matches((iwr "http://www.stroustrup.com/C++.html"), '\w+://[^"]+')

または、アンカータグのみでリンクを取得するには（相対URLを含む）：

(iwr "http://www.stroustrup.com/C++.html").Links | %{ $_.href }

コメントからの短いバージョン：

(iwr "http://www.stroustrup.com/C++.html").Links.href

(iwr "http://www.stroustrup.com/C++.html").Links.href-match":"

D

import std.net.curl, std.stdio;
import std.algorithm, std.regex;

void main() {
foreach(_;byLine("http://www.stroustrup.com/C++.html")
    .map!((a)=>a.matchAll(regex(`<a.*?href="(.*)"`)))
    .filter!("a")){ writeln(_.front[1]); }
}

Node.js

var http = require('http');

http.get('http://www.stroustrup.com/C++.html', function (res) {
    var data = '';
    res.on('data', function (d) {
        data += d;
    }).on('end', function () {
        console.log(data.match(/"https?:\/\/.*?"/g));
    }).setEncoding('utf8');
});

ルビー

require 'net/http'
result = Net::HTTP.get(URI.parse('http://www.stroustrup.com/C++.html'))
result.scan(/"((http)s?://.*?)"/)

ハスケル

"\w"Text.Regex.Posixでのいくつかのトラブル

import Network.HTTP
import Text.Regex.Posix
pattern = "((http://)?www([./#\\+-][a-zA-Z]*)+)"
site = "http://www.stroustrup.com/C++.html"

main = do
    file <- getResponseBody =<< simpleHTTP (getRequest site)
    let result = getAllTextMatches $ file =~ pattern
    putStr $ unlines result -- looks nicer

PHP

私の知る限り、ほとんどの最新のPHPインストールにはDOM処理が付属しているため、実際にはHTML内のアンカーをトラバースします。

foreach (@DOMDocument::loadHTMLFile('http://stroustrup.com/C++.html')->getElementsByTagName('a') as $a) {
    if (in_array(parse_url($url = $a->getAttribute('href'), PHP_URL_SCHEME), ['http', 'https'], true)) {
        echo $url, PHP_EOL;
    }
}

内部ループは次のように短縮できます。

preg_match('~^https?://~', $url = $a->getAttribute('href')) && printf("%s\n", $url);

Unixシェル

wget -q -O - http://www.stroustrup.com/C++.html | sed -n '/http:/s/.*href="\([^"]*\)".*/\1/p' | sort

1行に複数のリンクがある場合、これが機能しないことを認めざるを得ませんが。

Java

import java.util.regex.*;
class M{
    public static void main(String[]v)throws Throwable{
        Matcher m = Pattern.compile( "\"((http)s?://.*?)\"" )
            .matcher(
                 new Scanner(
                         new URL( "http://www.stroustrup.com/C++.html" )
                             .openStream(),
                         "UTF-8")
                     .useDelimiter("\\A")
                     .next());
        while(m.find())
            System.out.println(m.group());
    }
}

グルーヴィー

"http://www.stroustrup.com/C++.html".toURL().text.findAll(/https?:\/\/[^"]+/).each{println it}

SQL（SQL Anywhere 16）

Webページを取得するストアドプロシージャを定義する

CREATE OR REPLACE PROCEDURE CPPWebPage()
URL 'http://www.stroustrup.com/C++.html'
TYPE 'HTTP';

単一のクエリを使用して結果セットを生成する

SELECT REGEXP_SUBSTR(Value,'"https?://[^""]+"',1,row_num) AS Link  
FROM (SELECT Value FROM CPPWebPage() WITH (Attribute LONG VARCHAR, Value LONG VARCHAR) 
      WHERE Attribute = 'Body') WebPage, 
      sa_rowgenerator( 1, 256 ) 
WHERE Link IS NOT NULL;

制限：これにより、最大256個のリンクが生成されます。さらにリンクが存在する場合は、256を適切な値に上げます。

CoffeeScript / NodeJS

require('http').get 'http://www.stroustrup.com/C++.html', (r) ->
    dt = '';
    r.on 'data', (d) -> dt += d
    r.on 'end' , (d) -> console.log dt.match /"((http)s?:\/\/.*?)"/g

Perl

use LWP;
use feature 'say';

my $agent = new LWP::UserAgent();
my $response = $agent->get('http://www.stroustrup.com/C++.html');

say for $response->content =~ m<"(https?://.+?)">g;

R

html<-paste(readLines("http://www.stroustrup.com/C++.html"),collapse="\n")
regmatches(html,gregexpr("http[^([:blank:]|\\\"|<|&|#\n\r)]+",html))

... Rは主にCで書かれていますが...おそらく2行のRコードの後ろに数行のCコードがあります。

Objective-C

NSString *s;
for (id m in [[NSRegularExpression regularExpressionWithPattern:@"\"((http)s?://.*?)\"" options:0 error:nil] matchesInString:(s=[NSString stringWithContentsOfURL:[NSURL URLWithString:@"http://www.stroustrup.com/C++.html"]])]){
    NSLog(@"%@",[s substringWithRange:[m range]]);
}

Tcl

package require http
set html [http::data [http::geturl http://www.stroustrup.com/C++.html]]
puts [join [regexp -inline -all {(?:http://)?www(?:[./#\+-]\w*)+} $html] \n]

行く

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "os"
    "regexp"
)

func main() {
    resp, err := http.Get("http://www.stroustrup.com/C++.html")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        os.Exit(1)
    }
    defer resp.Body.Close()
    data, _ := ioutil.ReadAll(resp.Body)
    results := regexp.MustCompile(`https?://[^""]+`).FindAll(data, -1)
    for _, row := range results {
        fmt.Println(string(row))
    }
}

PSこのコードはソース全体をメモリに読み込むためregexp.FindReaderIndex、ストリーム内の検索に使用することを検討してください。これにより、アプリが安全になります。

CJam

CJamには正規表現がないため、この方法では別のアプローチを使用する必要がありました。

"http://www.stroustrup.com/C++.html"g''/'"*'"/(;2%{_"http://"#!\"https://"#!e|},N*

最初にすべて'を変換し"、次にすべてに分割し"、すべての代替文字列を取得し、最後にhttp://またはで始まる文字列のリストをフィルタしますhttps://。その後、フィルター処理された各文字列を新しい行に出力します。

次のようなJavaインタープリターを使用して試してください

java -jar cjam-0.6.2.jar file.cjam

file.cjamには上記のコードの内容が含まれています。

F＃

このコードははるかに短くなる可能性がありますが、多くの不必要な型注釈があるため、このコードを再度読み取りまたは使用する必要があると予想した場合は、このようなものを作成します。アクティブなパターンMatchValueを使用して、標準のCLRタイプのMatchに対するパターンマッチングを有効にする方法を示します。

open System.Net

let (|MatchValue|) (reMatch: Match) : string = reMatch.Value

let getHtml (uri : string) : string = 
    use webClient = WebClient() in
        let html : string = webClient.DownloadString(uri)
        html

let getLinks (uri : string) : string list =
    let html : string = getHtml uri
    let matches : MatchCollection = Regex.Matches(html, @"https?://[^""]+") 
    let links = [ for MatchValue reMatch in matches do yield reMatch ]
    links

let links = getLinks "http://www.stroustrup.com/C++.html" 
for link in links do
    Console.WriteLine(link)

編集 getLinksに独自の関数を作成しました