C ++でのURLのエンコード/デコード[クローズ]


85

誰かがこれを行う良いC ++コードを知っていますか?


3
答えを受け入れるのはどうですか?
gsamaras 2016

回答:


81

先日、この問題の半分のエンコーディングに直面しました。利用可能なオプションに不満があり、このCサンプルコードを確認した後、独自のC ++ urlエンコード関数をロールすることにしました。

#include <cctype>
#include <iomanip>
#include <sstream>
#include <string>

using namespace std;

string url_encode(const string &value) {
    ostringstream escaped;
    escaped.fill('0');
    escaped << hex;

    for (string::const_iterator i = value.begin(), n = value.end(); i != n; ++i) {
        string::value_type c = (*i);

        // Keep alphanumeric and other accepted characters intact
        if (isalnum(c) || c == '-' || c == '_' || c == '.' || c == '~') {
            escaped << c;
            continue;
        }

        // Any other characters are percent-encoded
        escaped << uppercase;
        escaped << '%' << setw(2) << int((unsigned char) c);
        escaped << nouppercase;
    }

    return escaped.str();
}

デコード機能の実装は、読者の練習問題として残されています。:P


1
''を "%20"に置き換える方が一般的(より一般的には正しい)だと思います。それに応じてコードを更新しました。同意できない場合は、遠慮なくロールバックしてください。
Josh Kelley 2014

1
いや、同意します。また、その無意味なsetw(0)呼び出しを削除する機会を得ました(当時、最小幅は元に戻すまで設定されたままであると思っていましたが、実際には次の入力後にリセットされます)。
xperroni 2014

1
「escaped << '%' << std :: uppercase << std :: setw(2)<< int((unsigned char)c);」の行にstd :: uppercaseを追加する必要がありました。他の人がなぜこれが%3Aではなく%3aを返すのか疑問に思っている場合
gumlym 2015

2
UTF-8文字列がサポートされていないため、間違っているように見えます(w3schools.com/tags/ref_urlencode.asp)。Windows-1252でのみ機能するようです
Skywalker13 2016

1
問題はただでしたisalnum(c)、それはに変更されなければなりませんisalnum((unsigned char) c)
Skywalker13

74

私自身の質問に答える...

libcurlには、エンコード用のcurl_easy_escapeがあります。

デコードの場合、curl_easy_unescape


4
この回答を受け入れて、上部に表示されるようにする必要があります(そして、人々はそれを簡単に見つけることができます)。
Mouagip 2015年

これを機能させるにはcurlを使用する必要があり、メモリを解放する必要があります
xinthose 2017年

関連する質問:curlのunscapeが「+」のスペースへの変更を処理しないのはなぜですか?URLデコード時の標準的な手順ではありませんか?
ステファン

12
string urlDecode(string &SRC) {
    string ret;
    char ch;
    int i, ii;
    for (i=0; i<SRC.length(); i++) {
        if (int(SRC[i])==37) {
            sscanf(SRC.substr(i+1,2).c_str(), "%x", &ii);
            ch=static_cast<char>(ii);
            ret+=ch;
            i=i+2;
        } else {
            ret+=SRC[i];
        }
    }
    return (ret);
}

最高ではありませんが、正常に動作しています;-)


5
もちろん、の'%'代わりに使用する必要があります37
John Zwinck 2014年

4
これは「+」をスペースに変換しません
xryl669 2015

11

cpp-netlibには機能があります

namespace boost {
  namespace network {
    namespace uri {    
      inline std::string decoded(const std::string &input);
      inline std::string encoded(const std::string &input);
    }
  }
}

それらはURL文字列を非常に簡単にエンコードおよびデコードすることを可能にします。


2
ありがとうございます。cpp-netlibのドキュメントはまばらです。良い虎の巻へのリンクはありますか?
user249806 2017年

8

通常、charのint値に「%」を追加することはエンコード時に機能しません。値は16進数に相当するものと見なされます。たとえば、「/」は「%47」ではなく「%2F」です。

これは、URLエンコードとデコードの両方に最適で簡潔なソリューションだと思います(ヘッダーの依存関係はあまりありません)。

string urlEncode(string str){
    string new_str = "";
    char c;
    int ic;
    const char* chars = str.c_str();
    char bufHex[10];
    int len = strlen(chars);

    for(int i=0;i<len;i++){
        c = chars[i];
        ic = c;
        // uncomment this if you want to encode spaces with +
        /*if (c==' ') new_str += '+';   
        else */if (isalnum(c) || c == '-' || c == '_' || c == '.' || c == '~') new_str += c;
        else {
            sprintf(bufHex,"%X",c);
            if(ic < 16) 
                new_str += "%0"; 
            else
                new_str += "%";
            new_str += bufHex;
        }
    }
    return new_str;
 }

string urlDecode(string str){
    string ret;
    char ch;
    int i, ii, len = str.length();

    for (i=0; i < len; i++){
        if(str[i] != '%'){
            if(str[i] == '+')
                ret += ' ';
            else
                ret += str[i];
        }else{
            sscanf(str.substr(i + 1, 2).c_str(), "%x", &ii);
            ch = static_cast<char>(ii);
            ret += ch;
            i = i + 2;
        }
    }
    return ret;
}

if(ic < 16) new_str += "%0"; これは何のためのケータリングですか?@tormutoの@reliasn
KriyenKP

1
@Kriyenは、1文字になる場合に備えて、エンコードされたHEXに先行ゼロを埋め込むために使用されます。HEXの0から15は0からFなので、
tormuto 2017年

1
私はこのアプローチが一番好きです。標準ライブラリを使用する場合は+1。修正すべき2つの問題がありますが。私はチェコ人で、文字「ý」を使用しました。結果は「%0FFFFFFC3%0FFFFFFBD」でした。utf8はすべての末尾のバイトを10で開始することを保証し、マルチバイトに失敗したように見えるため、最初に16スイッチを使用する必要はありません。2番目の問題はFFです。これは、すべてのコンピューターがintあたりのビット数が同じであるとは限らないためです。修正は、16スイッチ(不要)をスキップし、バッファーから最後の2文字を取得することでした。(私は文字列バッファに慣れているのでstringstreamを使用しました)。まだポイントを与えた。フレームも同様
Volt 2017

@Volt更新したコードを新しい回答で投稿できますか?あなたは問題について言及していますが、それは明らかな修正のための十分な情報ではありません。
gregn3 2018年

この回答にはstrlenを使用しているため、いくつかの問題があります。まず、これは意味がありません。文字列オブジェクトのサイズはすでにわかっているので、時間の無駄です。ただし、さらに悪いことに、文字列に0バイトが含まれている可能性があり、strlenが原因で失われる可能性があります。また、if(i <16)は、「%%% 02X」を使用してprintf自体でカバーできるため、非効率的です。そして最後に、cは符号なしバイトである必要があります。そうしないと、@ Voltが先頭の「0xFFF ...」で記述していた効果が得られます。
Devolus

8

[ネクロマンサーモードオン]
高速でモダンなプラットフォームに依存しないエレガントなソリューションを探していたときに、この質問に出くわしました。上記のいずれとも異なり、cpp-netlibが勝者になりますが、「デコードされた」関数に恐ろしいメモリの脆弱性があります。だから私はブーストの精神気/カルマソリューションを思いついた。

namespace bsq = boost::spirit::qi;
namespace bk = boost::spirit::karma;
bsq::int_parser<unsigned char, 16, 2, 2> hex_byte;
template <typename InputIterator>
struct unescaped_string
    : bsq::grammar<InputIterator, std::string(char const *)> {
  unescaped_string() : unescaped_string::base_type(unesc_str) {
    unesc_char.add("+", ' ');

    unesc_str = *(unesc_char | "%" >> hex_byte | bsq::char_);
  }

  bsq::rule<InputIterator, std::string(char const *)> unesc_str;
  bsq::symbols<char const, char const> unesc_char;
};

template <typename OutputIterator>
struct escaped_string : bk::grammar<OutputIterator, std::string(char const *)> {
  escaped_string() : escaped_string::base_type(esc_str) {

    esc_str = *(bk::char_("a-zA-Z0-9_.~-") | "%" << bk::right_align(2,0)[bk::hex]);
  }
  bk::rule<OutputIterator, std::string(char const *)> esc_str;
};

上記の使用法は次のとおりです。

std::string unescape(const std::string &input) {
  std::string retVal;
  retVal.reserve(input.size());
  typedef std::string::const_iterator iterator_type;

  char const *start = "";
  iterator_type beg = input.begin();
  iterator_type end = input.end();
  unescaped_string<iterator_type> p;

  if (!bsq::parse(beg, end, p(start), retVal))
    retVal = input;
  return retVal;
}

std::string escape(const std::string &input) {
  typedef std::back_insert_iterator<std::string> sink_type;
  std::string retVal;
  retVal.reserve(input.size() * 3);
  sink_type sink(retVal);
  char const *start = "";

  escaped_string<sink_type> g;
  if (!bk::generate(sink, g(start), input))
    retVal = input;
  return retVal;
}

[ネクロマンサーモードオフ]

EDIT01:ゼロパディングを修正しました-Hartmut Kaiserに感謝します
EDIT02:CoLiRuでライブ


の「恐ろしいメモリの脆弱性」とはcpp-netlib何ですか?簡単な説明やリンクを教えてください。
クレイグM.ブランデンブルク

それ(問題)はすでに報告されていたので、私は報告せず、実際には覚えていません...無効なエスケープシーケンスを解析しようとしたときのアクセス違反のようなもの、または何か
kreuzerkrieg 2015


明確にしてくれてありがとう!
クレイグM.ブランデンブルク


6

xperroniに触発されて、デコーダーを作成しました。ポインタありがとうございます。

#include <iostream>
#include <sstream>
#include <string>

using namespace std;

char from_hex(char ch) {
    return isdigit(ch) ? ch - '0' : tolower(ch) - 'a' + 10;
}

string url_decode(string text) {
    char h;
    ostringstream escaped;
    escaped.fill('0');

    for (auto i = text.begin(), n = text.end(); i != n; ++i) {
        string::value_type c = (*i);

        if (c == '%') {
            if (i[1] && i[2]) {
                h = from_hex(i[1]) << 4 | from_hex(i[2]);
                escaped << h;
                i += 2;
            }
        } else if (c == '+') {
            escaped << ' ';
        } else {
            escaped << c;
        }
    }

    return escaped.str();
}

int main(int argc, char** argv) {
    string msg = "J%C3%B8rn!";
    cout << msg << endl;
    string decodemsg = url_decode(msg);
    cout << decodemsg << endl;

    return 0;
}

編集:不要なcctypeとiomainipインクルードを削除しました。


1
「if(c == '%')」ブロックには、より多くの境界チェックが必要です。i[1]および/またはi [2]はtext.end()を超えている可能性があります。「escaped」の名前も「unescaped」に変更します。"escaped.fill( '0');" おそらく不要です。
roalz 2018年

私のバージョンを見てください。それはより最適化されています。pastebin.com/g0zMLpsj
KOD

4

libcurlの使用に関するBillの推奨事項にフォローアップを追加する:すばらしい提案であり、更新される予定です。
3年後、curl_escape関数は非推奨になるため、将来使用する場合はcurl_easy_escapeを使用することをお勧めします。


4

win32 c ++アプリでURLをデコードするためのAPIを検索したときに、この質問に行き着きました。ウィンドウが悪いことではないと仮定して、質問はプラットフォームを完全に指定していないので。

InternetCanonicalizeUrlは、Windowsプログラム用のAPIです。詳細はこちら

        LPTSTR lpOutputBuffer = new TCHAR[1];
        DWORD dwSize = 1;
        BOOL fRes = ::InternetCanonicalizeUrl(strUrl, lpOutputBuffer, &dwSize, ICU_DECODE | ICU_NO_ENCODE);
        DWORD dwError = ::GetLastError();
        if (!fRes && dwError == ERROR_INSUFFICIENT_BUFFER)
        {
            delete lpOutputBuffer;
            lpOutputBuffer = new TCHAR[dwSize];
            fRes = ::InternetCanonicalizeUrl(strUrl, lpOutputBuffer, &dwSize, ICU_DECODE | ICU_NO_ENCODE);
            if (fRes)
            {
                //lpOutputBuffer has decoded url
            }
            else
            {
                //failed to decode
            }
            if (lpOutputBuffer !=NULL)
            {
                delete [] lpOutputBuffer;
                lpOutputBuffer = NULL;
            }
        }
        else
        {
            //some other error OR the input string url is just 1 char and was successfully decoded
        }

InternetCrackUrl(ここ)にも、URLをデコードするかどうかを指定するフラグがあるようです


3

2バイトと3バイトのシーケンスもデコードするURIデコード/エスケープ解除がここに見つかりませんでした。私自身の高性能バージョンに貢献し、そのオンザフライでcsting入力をwstringに変換します。

#include <string>

const char HEX2DEC[55] =
{
     0, 1, 2, 3,  4, 5, 6, 7,  8, 9,-1,-1, -1,-1,-1,-1,
    -1,10,11,12, 13,14,15,-1, -1,-1,-1,-1, -1,-1,-1,-1,
    -1,-1,-1,-1, -1,-1,-1,-1, -1,-1,-1,-1, -1,-1,-1,-1,
    -1,10,11,12, 13,14,15
};

#define __x2d__(s) HEX2DEC[*(s)-48]
#define __x2d2__(s) __x2d__(s) << 4 | __x2d__(s+1)

std::wstring decodeURI(const char * s) {
    unsigned char b;
    std::wstring ws;
    while (*s) {
        if (*s == '%')
            if ((b = __x2d2__(s + 1)) >= 0x80) {
                if (b >= 0xE0) { // three byte codepoint
                    ws += ((b & 0b00001111) << 12) | ((__x2d2__(s + 4) & 0b00111111) << 6) | (__x2d2__(s + 7) & 0b00111111);
                    s += 9;
                }
                else { // two byte codepoint
                    ws += (__x2d2__(s + 4) & 0b00111111) | (b & 0b00000011) << 6;
                    s += 6;
                }
            }
            else { // one byte codepoints
                ws += b;
                s += 3;
            }
        else { // no %
            ws += *s;
            s++;
        }
    }
    return ws;
}

#define __x2d2__(s) (__x2d__(s) << 4 | __x2d__(s+1))そしてそれは-WErrorで構築されます。
Janek Olszak 2017年

申し訳ありませんが、に単一の文字を追加する際の「高性能」wstringは非現実的です。少なくともreserve十分なスペースがなければ、常に大規模な再割り当てが発生します
Felix Dombek 2017


1

このバージョンは純粋なCであり、オプションでリソースパスを正規化できます。C ++で使用するのは簡単です。

#include <string>
#include <iostream>

int main(int argc, char** argv)
{
    const std::string src("/some.url/foo/../bar/%2e/");
    std::cout << "src=\"" << src << "\"" << std::endl;

    // either do it the C++ conformant way:
    char* dst_buf = new char[src.size() + 1];
    urldecode(dst_buf, src.c_str(), 1);
    std::string dst1(dst_buf);
    delete[] dst_buf;
    std::cout << "dst1=\"" << dst1 << "\"" << std::endl;

    // or in-place with the &[0] trick to skip the new/delete
    std::string dst2;
    dst2.resize(src.size() + 1);
    dst2.resize(urldecode(&dst2[0], src.c_str(), 1));
    std::cout << "dst2=\"" << dst2 << "\"" << std::endl;
}

出力:

src="/some.url/foo/../bar/%2e/"
dst1="/some.url/bar/"
dst2="/some.url/bar/"

そして実際の機能:

#include <stddef.h>
#include <ctype.h>

/**
 * decode a percent-encoded C string with optional path normalization
 *
 * The buffer pointed to by @dst must be at least strlen(@src) bytes.
 * Decoding stops at the first character from @src that decodes to null.
 * Path normalization will remove redundant slashes and slash+dot sequences,
 * as well as removing path components when slash+dot+dot is found. It will
 * keep the root slash (if one was present) and will stop normalization
 * at the first questionmark found (so query parameters won't be normalized).
 *
 * @param dst       destination buffer
 * @param src       source buffer
 * @param normalize perform path normalization if nonzero
 * @return          number of valid characters in @dst
 * @author          Johan Lindh <johan@linkdata.se>
 * @legalese        BSD licensed (http://opensource.org/licenses/BSD-2-Clause)
 */
ptrdiff_t urldecode(char* dst, const char* src, int normalize)
{
    char* org_dst = dst;
    int slash_dot_dot = 0;
    char ch, a, b;
    do {
        ch = *src++;
        if (ch == '%' && isxdigit(a = src[0]) && isxdigit(b = src[1])) {
            if (a < 'A') a -= '0';
            else if(a < 'a') a -= 'A' - 10;
            else a -= 'a' - 10;
            if (b < 'A') b -= '0';
            else if(b < 'a') b -= 'A' - 10;
            else b -= 'a' - 10;
            ch = 16 * a + b;
            src += 2;
        }
        if (normalize) {
            switch (ch) {
            case '/':
                if (slash_dot_dot < 3) {
                    /* compress consecutive slashes and remove slash-dot */
                    dst -= slash_dot_dot;
                    slash_dot_dot = 1;
                    break;
                }
                /* fall-through */
            case '?':
                /* at start of query, stop normalizing */
                if (ch == '?')
                    normalize = 0;
                /* fall-through */
            case '\0':
                if (slash_dot_dot > 1) {
                    /* remove trailing slash-dot-(dot) */
                    dst -= slash_dot_dot;
                    /* remove parent directory if it was two dots */
                    if (slash_dot_dot == 3)
                        while (dst > org_dst && *--dst != '/')
                            /* empty body */;
                    slash_dot_dot = (ch == '/') ? 1 : 0;
                    /* keep the root slash if any */
                    if (!slash_dot_dot && dst == org_dst && *dst == '/')
                        ++dst;
                }
                break;
            case '.':
                if (slash_dot_dot == 1 || slash_dot_dot == 2) {
                    ++slash_dot_dot;
                    break;
                }
                /* fall-through */
            default:
                slash_dot_dot = 0;
            }
        }
        *dst++ = ch;
    } while(ch);
    return (dst - org_dst) - 1;
}

ありがとう。ここでは、オプションのパスのものはありません。 pastebin.com/RN5g7g9u
ジュリアン

これはいかなる推奨にも従わず、作者が求めているものと比較して完全に間違っています(たとえば、「+」はスペースに置き換えられません)。パスの正規化は、URLのデコードとは何の関係もありません。パスを正規化する場合は、最初にURLを部分(スキーム、権限、パス、クエリ、フラグメント)に分割してから、パス部分にのみ任意のアルゴリズムを適用する必要があります。
xryl669 2015

1

ジューシーなビット

#include <ctype.h> // isdigit, tolower

from_hex(char ch) {
  return isdigit(ch) ? ch - '0' : tolower(ch) - 'a' + 10;
}

char to_hex(char code) {
  static char hex[] = "0123456789abcdef";
  return hex[code & 15];
}

それに注意して

char d = from_hex(hex[0]) << 4 | from_hex(hex[1]);

のように

// %7B = '{'

char d = from_hex('7') << 4 | from_hex('B');

1

glib.hで提供されている「g_uri_escape_string()」関数を使用できます。 https://developer.gnome.org/glib/stable/glib-URI-Functions.html

#include <stdio.h>
#include <stdlib.h>
#include <glib.h>
int main() {
    char *uri = "http://www.example.com?hello world";
    char *encoded_uri = NULL;
    //as per wiki (https://en.wikipedia.org/wiki/Percent-encoding)
    char *escape_char_str = "!*'();:@&=+$,/?#[]"; 
    encoded_uri = g_uri_escape_string(uri, escape_char_str, TRUE);
    printf("[%s]\n", encoded_uri);
    free(encoded_uri);

    return 0;
}

それをコンパイルします:

gcc encoding_URI.c `pkg-config --cflags --libs glib-2.0`


0

質問でC ++メソッドが必要なことは知っていますが、それが必要な場合は、文字列をエンコードするための非常に短い関数をプレーンCで作成しました。新しい文字列を作成するのではなく、既存の文字列を変更します。つまり、新しい文字列を保持するのに十分なサイズが必要です。追いつくのはとても簡単です。

void urlEncode(char *string)
{
    char charToEncode;
    int posToEncode;
    while (((posToEncode=strspn(string,"1234567890ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz-_.~"))!=0) &&(posToEncode<strlen(string)))
    {
        charToEncode=string[posToEncode];
        memmove(string+posToEncode+3,string+posToEncode+1,strlen(string+posToEncode));
        string[posToEncode]='%';
        string[posToEncode+1]="0123456789ABCDEF"[charToEncode>>4];
        string[posToEncode+2]="0123456789ABCDEF"[charToEncode&0xf];
        string+=posToEncode+3;
    }
}


-2

Boostなしのプロジェクトでそれをしなければなりませんでした。だから、私自身を書くことになった。GitHubに配置します:https//github.com/corporateshark/LUrlParser

clParseURL URL = clParseURL::ParseURL( "https://name:pwd@github.com:80/path/res" );

if ( URL.IsValid() )
{
    cout << "Scheme    : " << URL.m_Scheme << endl;
    cout << "Host      : " << URL.m_Host << endl;
    cout << "Port      : " << URL.m_Port << endl;
    cout << "Path      : " << URL.m_Path << endl;
    cout << "Query     : " << URL.m_Query << endl;
    cout << "Fragment  : " << URL.m_Fragment << endl;
    cout << "User name : " << URL.m_UserName << endl;
    cout << "Password  : " << URL.m_Password << endl;
}

あなたのリンクは、URLを解析するライブラリへのリンクです。URLを%エンコードしません。(または、少なくとも、ソースのどこにも%が表示されませんでした。)したがって、これが質問に答えるとは思いません。
マーティンボナーは
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.