タグ付けされた質問 「python」

3Dカーブに沿って接線をアニメーション化するPythonプログラムを書いています。しかし、接線が動いていません。問題は line.set_data(np.array(Tangent[:,0]).T,np.array(Tangent[:,1]).T) でanimate(i)私は理解できません。どんな助けでもありがたいです。以下はコードです。 from mpl_toolkits import mplot3d import numpy as np import matplotlib.pyplot as plt from matplotlib.animation import FuncAnimation import matplotlib matplotlib.use( 'tkagg' ) plt.style.use('seaborn-pastel') fig = plt.figure() ax = plt.axes(projection='3d') ax = plt.axes(projection='3d') # Data for a three-dimensional line zline = np.linspace(0, 15, 1000) xline = np.sin(zline) yline = …

8 python  numpy  matplotlib  animation 

Gunicornで実行中のFlask-SQLAlchmeyアプリをPostgreSQLデータベースに接続していて、そのpool_size値が何であるか、また予想されるデータベース接続の数を見つけるのに苦労しています。 これは、物事がどのように機能するかについての私の理解です： Python 3.7のプロセスはメモリを共有しない 各Gunicornワーカーは独自のプロセスです したがって、各Gunicornワーカーは、データベース接続プールの独自のコピーを取得し、他のワーカーと共有されません。 Pythonのスレッドはメモリを共有します したがって、Gunicornワーカー内のすべてのスレッドは、データベース接続プールを共有します これまでのところ正しいですか？それが正しい場合、Gunicornで実行されている同期Flaskアプリの場合： データベース接続の最大数=（ワーカー数）*（ワーカーあたりのスレッド数）？ そして、ワーカー内で、ワーカーよりもプールからの接続を多く使用しますか？ pool_sizeスレッド数よりも大きくする必要がある理由はありますか？だから、で起動したgunicornアプリの場合は2 でgunicorn --workers=5 --threads=2 main:appなければpool_sizeなりませんか？また、ワーカーを使用し、スレッドを使用していないpool_size場合、1より大きい値を使用する理由はありますか？

8 python  database  sqlalchemy  flask-sqlalchemy  gunicorn 

Windows 10マシンにPython 2.7.17をインストールしました。その後、次のpythonを実行して、opensslバージョンをテストしたいと思いました。 import ssl print ssl.OPENSSL_VERSION_INFO 私は取得しています(1, 0, 2, 20, 15) 、私はバージョン1.1.1にアップグレードすることを望んでいました。私が得るピップフリーズを行うと： cffi==1.14.0 cryptography==2.8 enum34==1.1.6 ipaddress==1.0.23 pycparser==2.19 pyOpenSSL==19.1.0 six==1.14.0 これらは、pyOpenSSLと暗号化の最新のpipのようです。 （git bashの一部として）インストールしたopensslは1.1.1ですが、これはpython内で使用されているバージョンとは異なります。 Pythonに含まれているopensslのバージョンを1.1.1以降にアップグレードするにはどうすればよいですか？ 編集： コメントへの応答として、以下はpython -m OpenSSL.debugの結果です： C:\Users\assaf>python -m OpenSSL.debug pyOpenSSL: 19.1.0 cryptography: 2.8 cffi: 1.14.0 cryptography's compiled against OpenSSL: OpenSSL 1.1.1d 10 Sep 2019 cryptography's linked OpenSSL: OpenSSL …

8 python  python-2.7  openssl  windows-10  pyopenssl 

私はVSコードのウェブサイトの指示に従っていましたが、私が試したものは何もうまくいかなかったようです。 必要に応じて新しい構成を作成しましたが、パスを配置すると、VSコードでの動作が拒否されますが、手動で呼び出すと、統合ターミナルウィンドウでVSコードが問題を報告します。 デバッガーがスローするエラーは次のとおりです。 (automl-meta-learning) brandomiranda~/automl-meta-learning/automl/experiments ❯ env PTVSD_LAUNCHER_PORT=59729 /Users/brandomiranda/miniconda3/envs/automl-meta-learning/bin/python /Users/brandomiranda/.vscode/extensions/ms-python.python-2020.2.63072/pythonFiles/lib/python/new_ptvsd/wheels/ptvsd/launcher -m /Users/brandomiranda/automl-meta-learning/automl/experiments/experiments_model_optimization.py E+00000.025: Error determining module path for sys.argv Traceback (most recent call last): File "/Users/brandomiranda/.vscode/extensions/ms-python.python-2020.2.63072/pythonFiles/lib/python/new_ptvsd/wheels/ptvsd/../ptvsd/server/cli.py", line 220, in run_module spec = find_spec(options.target) File "/Users/brandomiranda/miniconda3/envs/automl-meta-learning/lib/python3.7/importlib/util.py", line 94, in find_spec parent = __import__(parent_name, fromlist=['__path__']) ModuleNotFoundError: No module named '/Users/brandomiranda/automl-meta-learning/automl/experiments/experiments_model_optimization' Stack where …

8 python  visual-studio  vscode-debugger 

私の教育では、畳み込みニューラルネットワークにN次元畳み込み層を実装しようとしています。 バックプロパゲーション機能を実装したいのですが。しかし、そのための最も効率的な方法はわかりません。 現在、私は以下を使用signal.fftconvolveしています： 転送ステップでは、フィルターを畳み込み、カーネルがすべてのフィルターを介して転送します。 バックプロパゲーションステップでは、派生物（FlipAllAxes関数ですべての次元で反転）を配列（https://jefkine.com/general/2016/09/05/backpropagation-in-convolutional-neural-networks/）で畳み込みます。すべてのフィルターとそれらを合計します。私が取る出力は、各フィルターの各導関数で畳み込まれた各画像の合計です。 私は、デリバティブをどのように畳み込むかについて特に混乱しています。以下のクラスを使用してバックプロパゲートすると、ウェイトのサイズが急激に増加します。 微分と出力およびフィルターの畳み込みをプログラムする正しい方法は何ですか？ 編集： この論文（FFTによるたたみ込みネットワークの高速トレーニング）によると、これは私がしたいことを正確に実行しようとするものです。 前のレイヤーの導関数は、現在のレイヤーの導関数と重みの畳み込みによって与えられます。 dL / dy_f = dL / dx * w_f ^ T 重みの導関数は、導関数と元の入力の畳み込みの区分的合計です。 dL / dy = dL / dx * x 私が知っている限りでは、これを以下に実装しました。ただし、このレイヤーを使用して作成したネットワークは、トレーニング中に激しい変動を示すため、これは意図した結果を与えていないようです。 import numpy as np from scipy import signal class ConvNDLayer: def __init__(self,channels, kernel_size, dim): self.channels = channels self.kernel_size …

8 python  conv-neural-network  convolution  backpropagation 

python3とcartopyを使用して、次のコードを記述します。 import matplotlib.pyplot as plt import cartopy import cartopy.io.shapereader as shpreader import cartopy.crs as ccrs ax = plt.axes(projection=ccrs.PlateCarree()) ax.add_feature(cartopy.feature.LAND) ax.add_feature(cartopy.feature.OCEAN) ax.add_feature(cartopy.feature.COASTLINE) ax.add_feature(cartopy.feature.BORDERS, linestyle='-', alpha=.5) ax.add_feature(cartopy.feature.LAKES, alpha=0.95) ax.add_feature(cartopy.feature.RIVERS) ax.set_extent([-150, 60, -25, 60]) shpfilename = shpreader.natural_earth(resolution='110m', category='cultural', name='admin_0_countries') reader = shpreader.Reader(shpfilename) countries = reader.records() for country in countries: if country.attributes['SOVEREIGNT'] == "Bulgaria": …

8 python  pandas  numpy  dataframe  cartopy 

私はTensorflowを使用していますが、通常はディープラーニングフレームワークによって異なるユーザー向けのドキュメントを作成しています。 ローカルファイルシステム（TB +）に適合しないデータセットを操作するとき、リモートデータストアからデータをサンプリングし、サンプルをローカルでTensorflow標準tfrecords形式に書き込みます。 トレーニングの最初のエポックの間、私は数個の値をサンプリングしただけなので、ローカルデータのエポックは非常に小さく、それでトレーニングします。上エポック2 Iは、データファイルは、次のエポックのためのローカルデータファイルの拡張セットに私のサンプリングサブプロセス（今より）と電車で製造されていたものを再検討します。エポックごとにプロセスを繰り返します。このようにして、サンプルのローカルキャッシュを構築し、ローカルストレージがいっぱいになると古いサンプルを削除できます。ローカルサンプルキャッシュは、モデルが最も分散を必要とする頃に（トレーニングの後半に向かって）大きくなります。 Python / Tensorflowでは、PythonのGILがデータ転送速度（300-600 MB /秒、データは未処理の科学的な非圧縮性）をサポートできないため、Pythonトレーニングループプロセスでデータをデシリアライズしないことが重要であり、したがってGPUパフォーマンスPython GILがトレーニングループを高速に処理できない場合に問題が発生します。 tfrecordsサブプロセスからサンプルをファイルに書き込む（Pythonマルチプロセッシング）と、テンソルフローのネイティブTFRecordsDatasetがPythonの外部で逆シリアル化を実行できるため、PythonのGILの問題を回避でき、高いIOデータレートでGPUを飽和させることができます。 Pytorchでこの問題にどう対処するか知りたいのですが。使用しているサンプリング戦略について書いていて、TensorflowとPyTorchの両方のユーザーに特定の推奨事項を提供したいのですが、PyTorchの前処理エコシステムについて十分に詳しく説明できません。 補足：これらのデータ転送速度をサポートする唯一の純粋なPythonベースのソリューションは、System V共有メモリとマルチプロセッシングを備えたPython 3.8で提供される可能性がありますが、まだ十分にサポートされていないため、まだ試していません（まもなく）。既存のマルチプロセッシングソリューションは、トレーニングループプロセスでの逆シリアル化を必要とするため、高IOレートでの逆シリアル化中にGILをロックするため、十分ではありません。

8 python  pytorch 

そのため、会社が提供する、チップ付きのクレジットカードのようなスマートカードを持っています。このカードは、カードがカードリーダーに挿入された後にWebサイトにログインします。 Requestsモジュールを使用してカードを読み取り、そのWebサイトにログインできるプログラムをPythonで作成する必要があります。この認証データをpythonスクリプトを使用してカードから取得し、このデータを使用する方法を見つけようとしましたが、部分的に成功しました。私はインストールしましたpyscard： from smartcard.System import readers from smartcard.util import toHexString r=readers() print(r) connection = r[0].createConnection() connection.connect() SELECT = [0xA0, 0x88, 0x00, 0x00] # CLA, INS, P1, P2 DF_TELECOM = [ 0x02, 0x7F, 0x10] # Lc, Data, Le data, sw1, sw2 = connection.transmit( SELECT + DF_TELECOM ) これまでのところ、データを送信し、カードから一部のデータを取得することができます。INSでコマンド88を送信しました（出典：ISO 7816）。これはある種の内部認証用です（この認証データはWebサイトへのログインに使用されると想定しています）が、以下の応答が返されます。 data = …

8 python  python-3.x  authentication  apdu  pyscard 

アプリのデータベースにデータが入力され、外部データソースとの同期が維持されます。私のDjango 2.2アプリのすべてのモデルが派生する抽象モデルがあり、次のように定義されています。 class CommonModel(models.Model): # Auto-generated by Django, but included in this example for clarity. # id = models.AutoField(auto_created=True, primary_key=True, serialize=False, verbose_name='ID') ORIGIN_SOURCEA = '1' ORIGIN_SOURCEB = '2' ORIGIN_CHOICES = [ (ORIGIN_SOURCEA, 'Source A'), (ORIGIN_SOURCEB, 'Source B'), ] object_origin = models.IntegerField(choices=ORIGIN_CHOICES) object_id = models.IntegerField() class A(CommonModel): some_stuff = models.CharField() class …

8 python  django  database-design 

私は非常に重要な個人プロジェクトの研究を行っています。100以上のPDFファイルでコンテンツを検索できるFlask検索アプリケーションを作成したいと思います。私はフラスコでうまく機能するElasticSearch Libに関するいくつかの情報を見つけました。 #!/usr/bin/env python3 #-*- coding: utf-8 -*- # import libraries to help read and create PDF import PyPDF2 from fpdf import FPDF import base64 import json from flask import Flask, jsonify, request, render_template, json from datetime import datetime import pandas as pd # import the Elasticsearch low-level client library …

8 python  flask  search 

import pandas as pd import numpy as np data = {'Name':['Tom', 'Tom', 'Jack', 'Terry'], 'Age':[20, 21, 19, 18]} df = pd.DataFrame(data) このようなデータフレームがあるとしましょう。Name列の値「Tom」を確認する方法を見つけようとしています。最初に見つかった場合は、値「FirstTom」に置き換え、2回目に表示された場合は、値「SecondTom」に置き換えます。 。これをどのように達成しますか？以前、replaceメソッドを使用しましたが、すべてのTomを単一の値に置き換えるためにのみ使用しました。値の最後に1を追加したくありませんが、文字列を完全に別のものに変更します。 編集： dfが以下のようになっている場合、最初の列と2番目の列でトムを確認し、最初のインスタンスをFirstTomに、2番目のインスタンスをSecondTomに置き換えるにはどうすればよいでしょうか。 data = {'Name':['Tom', 'Jerry', 'Jack', 'Terry'], 'OtherName':[Tom, John, Bob,Steve]}

8 python  pandas 

Djangoとウェイトレスを使用してpythonウェブサーバーを構築しようとしていますが、ウェイトレスが同時リクエストを処理する方法と、ブロッキングが発生する場合について知りたいのですが。 一方でウェイトレスのドキュメントは、複数のワーカースレッドが利用可能であることを言及し、それはPythonのGILは、それらを（強調私自身の）どのように影響するかを、彼らが実装されているとどのように多くの情報を提供していません。 チャネルは、クライアントが少なくとも1つの完全な有効なHTTPリクエストを送信したと判断すると、「スレッドディスパッチャー」を使用して「タスク」をスケジュールします。スレッドディスパッチャーは、クライアントの作業に使用できるワーカースレッドの固定プールを維持します（デフォルトでは4スレッド）。タスクのスケジュール時にワーカースレッドが使用可能な場合、ワーカースレッドはタスクを実行します。タスクはチャネルにアクセスでき、チャネルの出力バッファに書き戻すことができます。場合は、すべてのワーカースレッドが使用されている、スケジュールされたタスクはなりキューで待機ワーカースレッドが利用可能になるために。 Stackoverflowについてもあまり情報がないようです。「Gunicornのgthread非同期ワーカーはウェイトレスに似ていますか？」という質問から ： ウェイトレスには、リクエストをバッファリングするマスター非同期スレッドがあり、リクエストI / Oが完了すると、各リクエストを同期ワーカースレッドの1つにエンキューします。 これらのステートメントは（少なくとも私の理解から）GILに対応しておらず、誰かがウェイトレスでワーカースレッドがどのように機能するかについてさらに詳しく説明できればすばらしいと思います。ありがとう！

8 python  django  wsgi  waitress 

以下のような期間のリストがあります ['5d', '20h', '1h', '7m', '14d', '1m'] ここでd、日をh表し、時間をm表し、分を表します。 このリスト（14dこの場合）から最長の期間を取得したい。この文字列のリストからどうすれば取得できますか？

8 python  python-3.x 

基盤となるツールがログを記録しているプロジェクトがあり、（別のロガーインスタンスを使用して）ログも記録しています。 ただし、アクセス権のないロガーが、ログから削除したい（またはプレースホルダーに置き換えたい）情報を公開する場合があります。 フィルターを使用してプロジェクト内のすべての pythonロガーにそれを行う方法はありますか？ Djangoのログ設定は次のとおりです。 LOGGING_CONFIG = None LOGGING = { "version": 1, "disable_existing_loggers": False, "formatters": { "my_formatter": { "format": "[%(asctime)s] %(message)s", "datefmt": "%d/%b/%Y %H:%M:%S", }, }, "handlers": { "console": { "level": "DEBUG", "class": "logging.StreamHandler", "formatter": "my_formatter", }, }, "loggers": { "my_logger": { "handlers": ["console"], "level": "DEBUG" }, }, } …

8 python  logging 

だから、私は派手な配列を作成します： a = np.arange(25).reshape(5,5) array（[[0、1、2、3、4]、[5、6、7、8、9]、[10、11、12、13、14]、[15、16、17、17、18、19] 、[20、21、22、23、24]]） 従来のスライスa[1:3,1:3]が戻る 配列（[[6、7]、[11、12]]） 2番目のリストを使用する場合と同様 a[1:3,[1,2]] 配列（[[6、7]、[11、12]]） ただし、a[[1,2],[1,2]]返品 配列（[6、12]） 明らかに、私はここで何かを理解していません。とはいえ、リストを使用してスライスすることは、非常に役立つ場合があります。 乾杯、 ケン

8 python  arrays  slice