問題は簡単です/projects/my_project/my_data*。たとえば、gDriveにデータがあります
。
また、gColabにはシンプルなノートブックがあります。
だから、私は次のようなことをしたいと思います：
for file in glob.glob("/projects/my_project/my_data*"):
do_something(file)
残念ながら、すべての例（この例-https://colab.research.google.com/notebook#fileId=/v2/external/notebooks/io.ipynbなど）では、主に必要なすべてのデータのみをノートブックにロードすることをお勧めしています。
しかし、大量のデータがある場合は、かなり複雑になる可能性があります。この問題を解決する機会はありますか？
手伝ってくれてありがとう！
回答:
良いニュースは、PyDriveはコラボの最初のクラスをサポートしています！PyDriveは、Googleドライブのpythonクライアントのラッパーです。+ を使用する場合と同様に、フォルダからすべてのファイルをダウンロードする方法の例を次に示します。glob*
!pip install -U -q PyDrive
import os
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials
# 1. Authenticate and create the PyDrive client.
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)
# choose a local (colab) directory to store the data.
local_download_path = os.path.expanduser('~/data')
try:
os.makedirs(local_download_path)
except: pass
# 2. Auto-iterate using the query syntax
# https://developers.google.com/drive/v2/web/search-parameters
file_list = drive.ListFile(
{'q': "'1SooKSw8M4ACbznKjnNrYvJ5wxuqJ-YCk' in parents"}).GetList()
for f in file_list:
# 3. Create & download by id.
print('title: %s, id: %s' % (f['title'], f['id']))
fname = os.path.join(local_download_path, f['title'])
print('downloading to {}'.format(fname))
f_ = drive.CreateFile({'id': f['id']})
f_.GetContentFile(fname)
with open(fname, 'r') as f:
print(f.read())への引数drive.ListFileは、Google Drive HTTP APIで使用されるパラメーターと一致するディクショナリーであることに注意しqてください（ユースケースに合わせてパラメーターをカスタマイズできます）。
すべての場合において、ファイル/フォルダはGoogleドライブ上のID（1SooKSw8M4ACbznKjnNrYvJ5wxuqJ-YCkを覗く）によってエンコードされることを知っておいてください。そのためには、検索をルートするフォルダに対応する特定のIDをGoogleドライブで検索する必要があります。
たとえば"/projects/my_project/my_data"、Googleドライブにあるフォルダに移動します。
CoLabにダウンロードするファイルがいくつか含まれていることを確認してください。PyDriveで使用するためにフォルダーのIDを取得するには、URLを見て、idパラメーターを抽出します。この場合、フォルダーに対応するURLは次のとおりです。
idはURLの最後の部分です：1SooKSw8M4ACbznKjnNrYvJ5wxuqJ-YCk。
編集：2020年2月の時点で、ドライブを自動的にマウントするためのファーストクラスのUIがあります。
まず、左側のファイルブラウザを開きます。「マウントドライブ」ボタンが表示されます。クリックすると、ドライブをマウントするためのアクセス許可のプロンプトが表示されます。その後、ノートブックに戻ると、ドライブファイルはセットアップなしで表示されます。完成したフローは次のようになります。
元の答えは以下のとおりです。（これは共有ノートブックでも機能します。）
次のコードスニペットを実行すると、Googleドライブファイルをマウントできます。
from google.colab import drive
drive.mount('/content/drive')次に、ファイルブラウザのサイドパネルで、またはコマンドラインユーティリティを使用してドライブファイルを操作できます。
すばらしい回答をありがとう！GoogleドライブからColabにいくつかの1回限りのファイルを取得する最速の方法：ドライブヘルパーをロードしてマウント
from google.colab import driveこれにより、認証が要求されます。
drive.mount('/content/drive')新しいタブでリンクを開きます->コードが表示されます。これをコピーしてプロンプトに戻し、Googleドライブチェックにアクセスできるようにします。
!ls "/content/drive/My Drive"次に、必要に応じてファイルをコピーします。
!cp "/content/drive/My Drive/xy.py" "xy.py"ファイルがコピーされたことを確認します。
!ls以前の答えのほとんどは少し（非常に）複雑です、
from google.colab import drive
drive.mount("/content/drive", force_remount=True)私はこれがグーグルにドライブをマウントする最も簡単かつ最速の方法であることを考え出しCOラボ、変更することができ、mount directory locationあなただけのためのパラメータを変更することにより、今までにしたいものにdrive.mount。それはあなたのアカウントで許可を受け入れるためのリンクをあなたに与えます、そしてあなたはあなたが生成されたキーをコピーして貼り付ける必要があります、そしてそれからドライブは選択されたパスにマウントされます。
force_remount 以前にロードされているかどうかに関係なく、ドライブをマウントする必要がある場合にのみ使用されます。強制的にマウントしたくない場合は、パラメーターを無視できます。
編集：IOコラボhttps://colab.research.google.com/notebooks/io.ipynbで操作を行う他の方法を見つけるには、これをチェックしてください
colabにファイルを永続的に保存することはできません。ドライブからファイルをインポートすることができますが、ファイルを使い終わったらいつでも保存できます。
GoogleドライブをColabセッションにマウントするには
from google.colab import drive
drive.mount('/content/gdrive')ローカルファイルシステムに書き込むのと同じように、単にGoogleドライブに書き込むことができます。今度は、Googleドライブが[ファイル]タブに読み込まれます。これで、colabから任意のファイルにアクセスできるようになり、書き込みと読み取りが可能になります。変更はドライブ上でリアルタイムに行われ、ファイルへのアクセスリンクを持っている人は誰でも、コラボからあなたが行った変更を表示できます。
例
with open('/content/gdrive/My Drive/filename.txt', 'w') as f:
f.write('values')画面の左側にあるコードスニペットを使用するだけです。 ここに画像の説明を入力してください
「GoogleドライブをVMにマウント」を挿入します
コードを実行し、URLにコードをコピーして貼り付けます
次に！lsを使用してディレクトリを確認します
!ls /gdriveほとんどの場合、ディレクトリ「/ gdrive / My drive」に必要なものが見つかります
その後、次のように実行できます。
from google.colab import drive
drive.mount('/gdrive')
import glob
file_path = glob.glob("/gdrive/My Drive/***.txt")
for file in file_path:
do_something(file)すべてのデータを「。」にダウンロードするクラスを作成しました。colabサーバー内の場所
すべてはここから引っ張ることができますhttps://github.com/brianmanderson/Copy-Shared-Google-to-Colab
!pip install PyDrive
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials
import os
class download_data_from_folder(object):
def __init__(self,path):
path_id = path[path.find('id=')+3:]
self.file_list = self.get_files_in_location(path_id)
self.unwrap_data(self.file_list)
def get_files_in_location(self,folder_id):
file_list = drive.ListFile({'q': "'{}' in parents and trashed=false".format(folder_id)}).GetList()
return file_list
def unwrap_data(self,file_list,directory='.'):
for i, file in enumerate(file_list):
print(str((i + 1) / len(file_list) * 100) + '% done copying')
if file['mimeType'].find('folder') != -1:
if not os.path.exists(os.path.join(directory, file['title'])):
os.makedirs(os.path.join(directory, file['title']))
print('Copying folder ' + os.path.join(directory, file['title']))
self.unwrap_data(self.get_files_in_location(file['id']), os.path.join(directory, file['title']))
else:
if not os.path.exists(os.path.join(directory, file['title'])):
downloaded = drive.CreateFile({'id': file['id']})
downloaded.GetContentFile(os.path.join(directory, file['title']))
return None
data_path = 'shared_path_location'
download_data_from_folder(data_path)@wenkesj
私はディレクトリとそのすべてのサブディレクトリをコピーすることについて話しています。
私にとって、私はこのような解決策を見つけました：
def copy_directory(source_id, local_target):
try:
os.makedirs(local_target)
except:
pass
file_list = drive.ListFile(
{'q': "'{source_id}' in parents".format(source_id=source_id)}).GetList()
for f in file_list:
key in ['title', 'id', 'mimeType']]))
if f["title"].startswith("."):
continue
fname = os.path.join(local_target, f['title'])
if f['mimeType'] == 'application/vnd.google-apps.folder':
copy_directory(f['id'], fname)
else:
f_ = drive.CreateFile({'id': f['id']})
f_.GetContentFile(fname)それでも、gDriveはあまり多くのファイルをコピーしたくないようです。
colabノートブック（**。ipnb）のファイルを読み取る方法はたくさんありますが、いくつかの方法があります。
方法1と2 はうまくいきましたが、残りはわかりませんでした。誰かができれば、他の人が上記の投稿で試したように、エレガントな答えを書いてください。前もって感謝します。！
最初の方法：
Googleドライブをマウントできなかったため、これらのライブラリをインストールしました
# Install a Drive FUSE wrapper.
# https://github.com/astrada/google-drive-ocamlfuse
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}インストールと認証プロセスが完了したら、まずドライブをマウントします。
!mkdir -p drive
!google-drive-ocamlfuse driveインストール後、Googleドライブをマウントできました。Googleドライブのすべてのものが/ content / driveから始まります
!ls /content/drive/ML/../../../../path_to_your_folder/これでpath_to_your_folder、上記のパスを使用して、フォルダーからパンダにファイルを単に読み取ることができます。
import pandas as pd
df = pd.read_json('drive/ML/../../../../path_to_your_folder/file.json')
df.head(5)受け取った絶対パスを使用していて、/ .. /。を使用していないとします。
2番目の方法：
これは、読み取りたいファイルが現在の作業ディレクトリにある場合に便利です。
ローカルファイルシステムからファイルをアップロードする必要がある場合は、以下のコードを使用できますが、それ以外の場合は回避してください。
from google.colab import files
uploaded = files.upload()
for fn in uploaded.keys():
print('User uploaded file "{name}" with length {length} bytes'.format(
name=fn, length=len(uploaded[fn])))Googleドライブのフォルダ階層の下にあるとします：
/content/drive/ML/../../../../path_to_your_folder/次に、パンダにロードするために以下のコードが必要です。
import pandas as pd
import io
df = pd.read_json(io.StringIO(uploaded['file.json'].decode('utf-8')))
dfフォルダ内のすべてのファイルを読み取るには：
import glob
from google.colab import drive
drive.mount('/gdrive', force_remount=True)
#!ls "/gdrive/My Drive/folder"
files = glob.glob(f"/gdrive/My Drive/folder/*.txt")
for file in files:
do_something(file)