PythonでSSL証明書を検証する

HTTPS経由で企業イントラネット上の多数のサイトに接続し、それらのSSL証明書が有効であることを確認するスクリプトを作成する必要があります。有効期限が切れていないこと、正しいアドレスに対して発行されていることなど。これらのサイトには独自の社内認証局を使用しているため、CAの公開鍵を使用して証明書を検証します。

Pythonは、デフォルトではHTTPSを使用するときにSSL証明書を受け入れて使用するだけなので、証明書が無効な場合でも、urllib2やTwistedなどのPythonライブラリは証明書を問題なく使用します。

HTTPS経由でサイトに接続し、この方法で証明書を検証できる優れたライブラリはどこかにありますか？

Pythonで証明書を確認するにはどうすればよいですか？

リリースバージョン2.7.9 / 3.4.3以降、Pythonはデフォルトで証明書の検証を実行しようとします。

これはPEP467で提案されており、読む価値があります：https：//www.python.org/dev/peps/pep-0476/

変更は、関連するすべてのstdlibモジュール（urllib / urllib2、http、httplib）に影響します。

関連ドキュメント：

https://docs.python.org/2/library/httplib.html#httplib.HTTPSConnection

このクラスは、デフォルトで必要なすべての証明書とホスト名のチェックを実行するようになりました。以前の未検証の動作に戻すには、ssl._create_unverified_context（）をcontextパラメーターに渡すことができます。

https://docs.python.org/3/library/http.client.html#http.client.HTTPSConnection

バージョン3.4.3で変更：このクラスは、デフォルトで必要なすべての証明書とホスト名のチェックを実行するようになりました。以前の未検証の動作に戻すには、ssl._create_unverified_context（）をcontextパラメーターに渡すことができます。

新しい組み込みの検証は、システムが提供する証明書データベースに基づいていることに注意してください。それとは反対に、リクエストパッケージには独自の証明書バンドルが付属しています。両方のアプローチの長所と短所は、PEP476の信頼データベースセクションで説明されています。

以前のバージョンのPythonでmatch_hostname()Python3.2sslパッケージの関数を使用できるようにするディストリビューションをPythonPackageIndexに追加しました。

http://pypi.python.org/pypi/backports.ssl_match_hostname/

あなたはそれをインストールすることができます：

pip install backports.ssl_match_hostname

または、プロジェクトのにリストされている依存関係にすることもできますsetup.py。いずれにせよ、次のように使用できます。

from backports.ssl_match_hostname import match_hostname, CertificateError
...
sslsock = ssl.wrap_socket(sock, ssl_version=ssl.PROTOCOL_SSLv3,
                      cert_reqs=ssl.CERT_REQUIRED, ca_certs=...)
try:
    match_hostname(sslsock.getpeercert(), hostname)
except CertificateError, ce:
    ...

Twistedを使用して証明書を検証できます。メインAPIはCertificateOptionsでありcontextFactory、listenSSLやstartTLSなどのさまざまな関数への引数として提供できます。

残念ながら、PythonもTwistedも、実際にHTTPS検証を行うために必要なCA証明書の山も、HTTPS検証ロジックも付属していません。PyOpenSSLの制限により、まだ完全に正しく行うことはできませんが、ほとんどすべての証明書にサブジェクトcommonNameが含まれているため、十分に近づくことができます。

これは、ワイルドカードとsubjectAltName拡張子を無視し、ほとんどのUbuntuディストリビューションの「ca-certificates」パッケージにある認証局証明書を使用する、検証用のツイストHTTPSクライアントの単純なサンプル実装です。お気に入りの有効な証明書サイトと無効な証明書サイトで試してみてください:)。

import os
import glob
from OpenSSL.SSL import Context, TLSv1_METHOD, VERIFY_PEER, VERIFY_FAIL_IF_NO_PEER_CERT, OP_NO_SSLv2
from OpenSSL.crypto import load_certificate, FILETYPE_PEM
from twisted.python.urlpath import URLPath
from twisted.internet.ssl import ContextFactory
from twisted.internet import reactor
from twisted.web.client import getPage
certificateAuthorityMap = {}
for certFileName in glob.glob("/etc/ssl/certs/*.pem"):
    # There might be some dead symlinks in there, so let's make sure it's real.
    if os.path.exists(certFileName):
        data = open(certFileName).read()
        x509 = load_certificate(FILETYPE_PEM, data)
        digest = x509.digest('sha1')
        # Now, de-duplicate in case the same cert has multiple names.
        certificateAuthorityMap[digest] = x509
class HTTPSVerifyingContextFactory(ContextFactory):
    def __init__(self, hostname):
        self.hostname = hostname
    isClient = True
    def getContext(self):
        ctx = Context(TLSv1_METHOD)
        store = ctx.get_cert_store()
        for value in certificateAuthorityMap.values():
            store.add_cert(value)
        ctx.set_verify(VERIFY_PEER | VERIFY_FAIL_IF_NO_PEER_CERT, self.verifyHostname)
        ctx.set_options(OP_NO_SSLv2)
        return ctx
    def verifyHostname(self, connection, x509, errno, depth, preverifyOK):
        if preverifyOK:
            if self.hostname != x509.get_subject().commonName:
                return False
        return preverifyOK
def secureGet(url):
    return getPage(url, HTTPSVerifyingContextFactory(URLPath.fromString(url).netloc))
def done(result):
    print 'Done!', len(result)
secureGet("https://google.com/").addCallback(done)
reactor.run()

PycURLはこれを美しく行います。

以下は短い例です。これは、スローされますpycurl.error何かが怪しいです場合は、エラーコードと人間が読めるメッセージを持つタプルを取得する場所、。

import pycurl

curl = pycurl.Curl()
curl.setopt(pycurl.CAINFO, "myFineCA.crt")
curl.setopt(pycurl.SSL_VERIFYPEER, 1)
curl.setopt(pycurl.SSL_VERIFYHOST, 2)
curl.setopt(pycurl.URL, "https://internal.stuff/")

curl.perform()

結果を保存する場所など、より多くのオプションを構成することをお勧めします。ただし、例を必須ではないもので乱雑にする必要はありません。

発生する可能性のある例外の例：

(60, 'Peer certificate cannot be authenticated with known CA certificates')
(51, "common name 'CN=something.else.stuff,O=Example Corp,C=SE' does not match 'internal.stuff'")

私が便利だと思ったリンクは、setoptとgetinfoのlibcurl-docsです。

• http://curl.haxx.se/libcurl/c/curl_easy_setopt.html
• http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html

または、リクエストライブラリを使用して、生活を楽にしてください。

import requests
requests.get('https://somesite.com', cert='/path/server.crt', verify=True)

その使用法についてもう少し。

証明書の検証を示すスクリプトの例を次に示します。

import httplib
import re
import socket
import sys
import urllib2
import ssl

class InvalidCertificateException(httplib.HTTPException, urllib2.URLError):
    def __init__(self, host, cert, reason):
        httplib.HTTPException.__init__(self)
        self.host = host
        self.cert = cert
        self.reason = reason

    def __str__(self):
        return ('Host %s returned an invalid certificate (%s) %s\n' %
                (self.host, self.reason, self.cert))

class CertValidatingHTTPSConnection(httplib.HTTPConnection):
    default_port = httplib.HTTPS_PORT

    def __init__(self, host, port=None, key_file=None, cert_file=None,
                             ca_certs=None, strict=None, **kwargs):
        httplib.HTTPConnection.__init__(self, host, port, strict, **kwargs)
        self.key_file = key_file
        self.cert_file = cert_file
        self.ca_certs = ca_certs
        if self.ca_certs:
            self.cert_reqs = ssl.CERT_REQUIRED
        else:
            self.cert_reqs = ssl.CERT_NONE

    def _GetValidHostsForCert(self, cert):
        if 'subjectAltName' in cert:
            return [x[1] for x in cert['subjectAltName']
                         if x[0].lower() == 'dns']
        else:
            return [x[0][1] for x in cert['subject']
                            if x[0][0].lower() == 'commonname']

    def _ValidateCertificateHostname(self, cert, hostname):
        hosts = self._GetValidHostsForCert(cert)
        for host in hosts:
            host_re = host.replace('.', '\.').replace('*', '[^.]*')
            if re.search('^%s$' % (host_re,), hostname, re.I):
                return True
        return False

    def connect(self):
        sock = socket.create_connection((self.host, self.port))
        self.sock = ssl.wrap_socket(sock, keyfile=self.key_file,
                                          certfile=self.cert_file,
                                          cert_reqs=self.cert_reqs,
                                          ca_certs=self.ca_certs)
        if self.cert_reqs & ssl.CERT_REQUIRED:
            cert = self.sock.getpeercert()
            hostname = self.host.split(':', 0)[0]
            if not self._ValidateCertificateHostname(cert, hostname):
                raise InvalidCertificateException(hostname, cert,
                                                  'hostname mismatch')


class VerifiedHTTPSHandler(urllib2.HTTPSHandler):
    def __init__(self, **kwargs):
        urllib2.AbstractHTTPHandler.__init__(self)
        self._connection_args = kwargs

    def https_open(self, req):
        def http_class_wrapper(host, **kwargs):
            full_kwargs = dict(self._connection_args)
            full_kwargs.update(kwargs)
            return CertValidatingHTTPSConnection(host, **full_kwargs)

        try:
            return self.do_open(http_class_wrapper, req)
        except urllib2.URLError, e:
            if type(e.reason) == ssl.SSLError and e.reason.args[0] == 1:
                raise InvalidCertificateException(req.host, '',
                                                  e.reason.args[1])
            raise

    https_request = urllib2.HTTPSHandler.do_request_

if __name__ == "__main__":
    if len(sys.argv) != 3:
        print "usage: python %s CA_CERT URL" % sys.argv[0]
        exit(2)

    handler = VerifiedHTTPSHandler(ca_certs = sys.argv[1])
    opener = urllib2.build_opener(handler)
    print opener.open(sys.argv[2]).read()

M2Cryptoは検証を行うことができます。必要に応じて、TwistedでM2Cryptoを使用することもできます。Chandlerデスクトップクライアントは、ネットワークにTwistedを使用し、SSLにM2Cryptoを使用します（証明書の検証を含む）。

Glyphsのコメントに基づくと、M2CryptoはsubjectAltNameフィールドもチェックするため、現在pyOpenSSLで実行できるよりもデフォルトでM2Cryptoの方が証明書の検証が優れているようです。

また、 Mozilla Firefoxに同梱されている証明書をPythonで取得し、 PythonSSLソリューションで使用する方法についてもブログに書いています。

Jythonはデフォルトで証明書の検証を実行するため、httplib.HTTPSConnectionなどの標準ライブラリモジュールをjythonで使用すると、証明書が検証され、IDの不一致、証明書の期限切れなどの失敗に対して例外が発生します。

実際、jythonをcpythonのように動作させるには、つまりjythonに証明書を検証しないようにするには、追加の作業を行う必要があります。

jythonで証明書チェックを無効にする方法についてのブログ投稿を書きました。これは、テストフェーズなどで役立つ可能性があるためです。

Javaとjythonにすべてを信頼するセキュリティプロバイダーをインストールします。
http://jython.xhaus.com/installing-an-all-trusting-security-provider-on-java-and-jython/

次のコードを使用すると、プラグイン可能な検証ステップ（ホスト名の検証やその他の追加の証明書検証ステップなど）を除いて、すべてのSSL検証チェック（日付の有効性、CA証明書チェーンなど）を利用できます。

from httplib import HTTPSConnection
import ssl


def create_custom_HTTPSConnection(host):

    def verify_cert(cert, host):
        # Write your code here
        # You can certainly base yourself on ssl.match_hostname
        # Raise ssl.CertificateError if verification fails
        print 'Host:', host
        print 'Peer cert:', cert

    class CustomHTTPSConnection(HTTPSConnection, object):
        def connect(self):
            super(CustomHTTPSConnection, self).connect()
            cert = self.sock.getpeercert()
            verify_cert(cert, host)

    context = ssl.create_default_context()
    context.check_hostname = False
    return CustomHTTPSConnection(host=host, context=context)


if __name__ == '__main__':
    # try expired.badssl.com or self-signed.badssl.com !
    conn = create_custom_HTTPSConnection('badssl.com')
    conn.request('GET', '/')
    conn.getresponse().read()

pyOpenSSLは、OpenSSLライブラリへのインターフェイスです。それはあなたが必要とするすべてを提供するはずです。

私は同じ問題を抱えていましたが、サードパーティの依存関係を最小限に抑えたいと思っていました（この1回限りのスクリプトは多くのユーザーによって実行されるため）。私の解決策は、curl呼び出しをラップして、終了コードがであることを確認することでした0。チャームのように働いた。