タグ付けされた質問 「amazon-s3」

さまざまなソースからコンテンツをダウンロードするアプリケーションがあります。画像に設定されている「Content-Type」ヘッダーに依存します。ほとんどのウェブサーバーはこれを正しく行いますが、Amazon S3サーバーがContent-Typeを設定していないようです。 Amazonサーバーは正しく構成されていると思いますが、何が問題でしょうか？これらの画像は正しくアップロードされていませんか？または、設定されているコンテンツタイプに依存しないでください。 例 ありがとう

10 amazon-s3  http-headers  images 

基本的に、Amazon S3は指定されたバケット内に既に同じファイル名を持つファイルをどのように処理しますか？特定のバケットにのみアップロードできると仮定すると、S3はファイル名などを変更しますか？ ありがとう！

10 amazon-s3 

比較的簡単なことをしようとしています。いくつかのドメインとサブドメインをセットアップして、サイトのコアドメインにリダイレクトしたいのですが、リダイレクトをCloudfrontに配置したいと思います。ルートパスのリダイレクト以外はすべて機能します。これにより、S3バケットを部分的に説明するXMLファイルが取得されます。 バックグラウンド S3 S3では、次のような全リダイレクトバケットを設定できます。 これをテストすると、Webエンドポイント（brass9-com.s3-website-us-west-1.amazonaws.com）は、本来あるべきことを実行します-brass9.comにリダイレクトします。良い。 クラウドフロント CloudfrontではS3バケットを指すことができますが、そうするように提案されている方法は間違っています。bras9-com.s3.amazonaws.comのように、バケットをその名前で指すのではなく、上記のWebエンドポイントを使用する必要があります。それ以外は、すべてをデフォルトのままにして、良好なリダイレクト動作を得ることができます。したがって、www.brass9.com / portfolioのようなパスは、適切な場所に正しくリダイレ​​クトされます。また良い。 問題-ルートドメインのリダイレクト その後、機能しないのは、単純なwww.brass9.comからリダイレクトすることです。リダイレクトを取得する代わりに、次の奇妙な結果を取得します。 <?xml version="1.0" encoding="UTF-8"?> <ListBucketResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <Name>brass9-com</Name><Prefix></Prefix> <Marker></Marker><MaxKeys>1000</MaxKeys><IsTruncated>false</IsTruncated> </ListBucketResult> OK... 。したがって、これは完全に予期されることではありません。デフォルトルートオブジェクトがないためです。しかし、この動作を防ぐために、どのデフォルトルートオブジェクトを指定できるでしょうか。指し示す必要があるS3リダイレクトオブジェクトがある場合、その名前は何ですか？または、他に適切な構成がありますか、これは、Amazonが修正する必要があるCloudfrontとS3の相互作用のバグにすぎませんか？ 機能しない既知のソリューション：デフォルトのルートオブジェクト index.htmlのデフォルトルートオブジェクトを指定することは可能ですが、それは何の助けにもなりません-問題を変更するだけです。代わりに、CloudfrontのURLは、404であるメインサイトの/index.htmlにリダイレクトします（index.htmlファイルは使用せず、サーバー側のフレームワーク駆動型サイトです）。index.htmlをサーバーに配置することもできますが、そもそもCloudfrontを使用することによるわずかな速度の向上に勝るものはありません。 同様の質問 1つの質問が似たような質問をしますが、なんらかの理由で、XML応答ではなく、何らかの理由で空白の0バイトの応答が返されます。その問題や解決策に関する質問は含まれていません。 関連記事 ある記事では、ベアドメインとwwwドメインの両方でサイト全体を提供することを提案しています。これは、ユーザーのブックマーク、検索ランキングなどに影響します。これを行うべきではありません。 リダイレクト方式ではなく、S3とCloudfrontで静的Webサイトをホストすることについて議論しているものもあり、関係はありません。 それで、これを適切に行うにはどうすればよいですか？ Cloudfront構成のスクリーンショット-デフォルトルートオブジェクトがなく、S3の起点を指しています。InProgressを無視-テストのためにデフォルトルートオブジェクトのオンとオフを切り替えました。 そしてそのディストリビューションのOrigin設定：

10 redirect  amazon-s3  amazon-cloudfront 

ユーザーデータスクリプトを使用して起動時にAWS CLI（1.8.7）を使用して、S3からEC2インスタンスにいくつかのファイルをダウンロードしようとしています。このインスタンスには、適切な権限を持つIAMロールおよびインスタンスプロファイルがあります。CLIが「資格情報が見つかりません」というエラーで失敗する場合があります。これは頻繁に発生しますが（毎回ではありません）、常に機能する別のS3コマンドの後に発生します。スクリプトの出力は次のとおりです。 ++ date +%r 03:24:10 AM ++ aws s3 cp s3://non-public-bucket-1/15mb-zip-file.zip ./15mb-zip-file.zip Completed 1 of 1 part(s) with 1 file(s) remaining^Mdownload: s3://non-public-bucket-1/15mb-zip-file.zip to 15mb-zip-file.zip ++ date +%r 03:24:14 AM ++ unzip 15mb-zip-file.zip # Snip ++ date +%r 03:26:01 AM ++ curl http://169.254.169.254/latest/meta-data/instance-id % Total % Received % Xferd Average …

9 amazon-ec2  amazon-web-services  amazon-s3  aws-cli  cloud-init 

物理ドキュメントの保存にs3を使用するWebアプリケーションで、NTPが継続的に停止する問題が発生しています。これは、おおよそ1日1〜2回発生するようです。これが発生したときに提供される情報はほとんどありませんが、PIDファイルは存在しますが、ステータスを確認するとサービスが停止しています。 誰もがNTPDの死の可能性のある原因を示唆できますか？クロックドリフトが原因であると考えていますが、何が原因かはわかりません。十分なメモリと利用可能なディスク領域があります。 サービスが最後に停止したとき、これは出力でした： Sep 6 06:15:25 vm02 rsyslogd: [origin software="rsyslogd" swVersion="5.8.10" x-pid="988" x-info="http://www.rsyslog.com"] rsyslogd was HUPed Sep 6 06:17:06 vm02 ntpd[10803]: 0.0.0.0 0618 08 no_sys_peer Sep 6 08:01:10 vm02 ntpd[10803]: 0.0.0.0 0617 07 panic_stop -28101 s; set clock manually within 1000 s.

9 virtual-machines  amazon-s3  ntp  service  ntpd 

現在、EC2にWebサービスを構築しており、ロードバランサーの背後に単一のインスタンスがあります。もちろん、複数のインスタンスに対応します。 私の最初のアイデアは、すべてのインスタンスをダムスレーブとして実行し、ローカルストレージとしてS3を使用することでした。このため、私はS3FSの使用を開始しましたが、これまで見てきたように、Webサービス環境での本番使用にはまだ準備ができていません。ログの書き込みは、遅くとも、遅くはないようです。キャッシュフラグなどがなくても、奇数のキャッシュに関する多くの問題があります。 しかし、代替案はほとんど見えません。1つは明らかにEBSボリュームで、単一のインスタンスに接続できます。これを共有するためのいくつかのソリューション：- 他のインスタンスとのSMB共有。1つのマスターと残りのスレーブがあります-obvには、複数のEBSボリュームを備えた冗長性がここに組み込まれている必要がありますか？ 他のボックスとのRsync共有。これは永続的ではなく、定期的に更新されることを考えると、痛みを伴います。大きな変更が発生したときにスクリプトを強制的に更新する場合は、問題ありません。 質問は...人々は何をしますか？それは完全に一般的な使用例のようですが、フォーラムやここSFでさえ見つかるさまざまな回答は、簡潔な回答がないことを示唆しているようです...

9 amazon-web-services  amazon-ec2  amazon-s3  amazon-ebs  s3fs 

ある日ログインすると、完全に構成されたインスタンスが削除されるのではないかと心配です。毎日S3にバックアップできるようにしたいのですが、これはコンソールでの簡単な設定ではありません。 バックアップを処理できるシンプルなマネージドソリューションはありますか。考えられない事態が発生した場合に、すぐに簡単に復元できますか？

9 linux  backup  amazon-ec2  cloud-computing  amazon-s3 

私の.ebextensionsフォルダには単純なファイルがあります： 00-myconfig.config Resources: AWSEBAutoScalingGroup: Metadata: AWS::CloudFormation::Authentication: S3Access: type: S3 roleName: aws-elasticbeanstalk-ec2-role buckets: my-bucket files: "/tmp/ca-bundle.zip": mode: "000755" owner: root group: root source: https://s3-ap-southeast-2.amazonaws.com/my-bucket/ca/ca-bundle.zip authentication: S3Access 複数の回答によると、S3バケットにaws-elasticbeanstalk-ec2-roleロールへのアクセスを許可する方法です。 しかし、403エラーが発生し続けます /var/log/eb-activity.log [2015-08-26T01:27:03.544Z] INFO [22320] - [Application update/AppDeployStage0/EbExtensionPreBuild/Infra-EmbeddedPreBuild] : Activity execution failed, because: Failed to retrieve https://s3-ap-southeast-2.amazonaws.com/my-bucket/ca/ca-bundle.zip: HTTP Error 403 : <?xml version="1.0" encoding="UTF-8"?> …

9 amazon-ec2  amazon-web-services  configuration  amazon-s3  elastic-beanstalk 

Amazon S3バケットをミラーリングしたい。これは、1）1つのプロバイダーだけですべてのデータを存在させたくないためです。2）ソフトウェアエラーまたはセキュリティ違反が発生した場合、データをバックアップしたい。 s3cmd sync関数を使用してローカルディスクにミラーリングできますが、これは非常に大きなバケットに対応できず、迅速なバックアップリストアには役立ちません。Rackspace Cloud Filesなどの競合他社にデータをミラーリングしたい。 Linuxボックスで自動化された方法でこの種のミラーリングを容易にするためのシンプルで堅牢な方法についての提案はありますか？

9 backup  cloud  amazon-s3  mirroring  rackspace-cloud 

基本的に容量が非常に大きいSFTPサーバーをセットアップする必要があります。パートナーの1人に、数百テラバイトのファイルをアップロードするサーバーへのSFTPログイン詳細を提供する必要があります。次に、選択的で、これらのファイルの一部を読み取ることはほとんどありません。これが唯一の実際の要件であり、どのテクノロジーを選択するかは自由です。 最も簡単な方法として頭に浮かぶのは、アップロードされたものが直接S3に送信されるように、または何らかのプロセスがアップロードされたときに新しいファイルを検出してそれらをS3、それらをディスクから削除します。 これは最善の方法ですか？基本的に「無限で魔法のように増大するディスク領域」を持つサーバーを取得する他の方法はありますか？ ご協力いただきありがとうございます！ダニエル

8 amazon-web-services  sftp  amazon-s3  amazon-ebs 

無料のAWSアカウントの有効期限が切れました。私はすべてのS3やEC2のリソースを削除したが、私は残すことができた場合に放浪していますKey Pairsし、Security Groups彼らのために支払うことなく。（私のアカウントリソースは次のようになります：リソース） Amazonのドキュメントには、この問題についての記述がないようです。 これらのリソースには費用がかかりますか？

8 security  amazon-ec2  amazon-web-services  amazon-s3  resources 

EC2インスタンスにプリインストールされているAmazonの公式ツールを使用して、EC2インスタンスをS3にバックアップしようとしています。同期からディレクトリを除外するための同期コマンドを取得するのが困難です。ドキュメントは、それが簡単に「--exclude」オプションを使用しているように聞こえることができます。しかし、私はそれを動作させることができませんでした。 私はyumから入手可能な最新バージョンを実行しています： [root@HOSTNAME ~]# aws --version aws-cli/1.1.1 Python/2.6.8 Linux/3.4.57-48.42.amzn1.x86_64 これは私が問題を抱えているコマンドです： aws s3 sync /var/www s3://backup-bucket/var/www/ --exclude '*.git/*' 「.git」という名前のすべてのフォルダーとそれらのフォルダー内のすべてのファイルを同期から除外したいのですが。 ドキュメントから判断すると、「-exclude」に指定したパターンは機能するはずです。ただし、.gitディレクトリ全体とそのすべてのファイルは引き続き同期されます。出力の例は次のとおりです。 upload: ../var/www/site/.git/objects/7b/e3cdf203d34a0d7eff30a96a78d20eacee8d77 to s3://backup-bucket/var/www/site/.git/objects/7b/e3cdf203d34a0d7eff30a96a78d20eacee8d77 次のコマンドを試してみましたが、すべて「.git」という名前のフォルダを除外できませんでした。 aws s3 sync /var/www s3://backup-bucket/var/www/ --exclude *.git/* aws s3 sync /var/www s3://backup-bucket/var/www/ --exclude */.git/* aws s3 sync /var/www s3://backup-bucket/var/www/ --exclude '.git' aws s3 sync /var/www s3://backup-bucket/var/www/ …

8 linux  amazon-web-services  amazon-s3  aws-cli 

私たちはユーザーがファイルをアップロードできる（他の機能の中でも）Webアプリに取り組んでいます。ただし、ストレージスペースが限られているため、VPSにこれらのファイルを保存できないため、S3を使用することにしました。 主な問題は、ユーザーが自分のデータのみにアクセスできるようにする必要があることです。そのため、データベースにファイルのリストと、それらにアクセスできるユーザーのリストを保持しています。サーバーは、ユーザーがファイルにアクセスできるかどうかを簡単に判断できます。しかし、実際にファイルをユーザーに提供する方法は？ 私はすでに考えたいくつかの可能性がありますが、それらのどれも実際には最良のものではないようです。 1. PHPを使用して（期限切れになる）署名付きURLを生成する これは非常に単純なアプローチであり、高速でもありますが、非常に醜く長いURLになります。 方法は次のとおりです。 2.難読化されたURL これは、S3での読み取り用にファイルを公開していることを意味しますが、すべてのファイルは、次のような推測しにくい名前のフォルダーに保存されます24fa0b8ef0ebb6e99c64be8092d3ede20000。ただし、これが最も安全な方法ではないかもしれません。フォルダ名を推測できない場合でも、（実際にアクセスできるため）フォルダ名を知っていれば、誰でも（権限のないユーザーと）リンクを共有できます。 3.サーバーからファイルをダウンロードします これは、ファイルがS3によって直接提供されないことを意味しますが、最初にサーバーがそれを安全に読み取り、提供します。私たちは本当にこれを望んでいません:) 4.リファラーの確認 難読化のURLの解決策は、要求が（あなたがリファラをチェックするためにS3を設定することができます）当社のサーバーから来ている「ことを確認すること」によって改善することができます。ただし、すべてのブラウザがリファラーデータを送信するわけではないため、これは非常に信頼性の低いソリューションとなり、偽装される可能性もあります。 さまざまなクライアントに対してAmazon S3からファイルを安全に提供するための良い方法は何ですか？

8 amazon-s3 

私の質問のタイトルが言うように、これが良い習慣かどうか知りたいのですが、 EC2インスタンスにマウントできることはわかっていますが、アプリケーションをスケーリングするためにインスタンスを追加するので、これがいくつかの問題を引き起こすのではないかと考えていました。これについての経験はありますか？ PHPスクリプトを介したファイルのアップロードを許可するためにS3を使用しているので、基本的には次の質問です。 moutingを使用することは良い習慣ですか、それともユーザーファイルのアップロードを処理するより良い方法がありますか？ 前もって感謝します

8 php  amazon-ec2  amazon-s3 

この現在のプロジェクトでは、DBをダンプして暗号化し、s3にプッシュする必要があります。このようなタスクの「ベストプラクティス」は何なのでしょうか。今のところ、私はかなり単純な方法を使用していますが、セキュリティが関係しているいくつかのより良いアイデアが欲しいです。これが私のスクリプトの始まりです： mysqldump -u root --password="lepass" --all-databases --single-transaction > db.backup.sql tar -c db.backup.sql | openssl des3 -salt --passphrase foopass > db.backup.tarfile s3put backup/db.backup.tarfile db.backup.tarfile # Let's pull it down again and untar it for kicks s3get surgeryflow-backup/db/db.backup.tarfile db.backup.tarfile cat db.backup.tarfile | openssl des3 -d -salt --passphrase foopass |tar -xvj 明らかに問題は、このスクリプトが攻撃者が地獄を上げるために必要とするすべてのものであることです。 このタスクについての考え、批評、提案は高く評価されます。

8 mysql  amazon-ec2  encryption  amazon-s3