IT-Swarm.Net

Amazon S3直接从客户端浏览器上传文件 - 私钥泄露

我正在使用只有JavaScript的REST AP​​I从客户端计算机直接上传到Amazon S3,没有任何服务器端代码。一切正常,但有一件事令我担心......

当我向Amazon S3 REST AP​​I发送请求时,我需要签署请求并将签名放入Authentication标头。要创建签名,我必须使用我的密钥。但所有事情都发生在客户端,因此,可以从页面源轻松显示密钥(即使我对我的源进行模糊/加密)。

我怎么处理这个?这是一个问题吗?也许我可以将特定的私钥使用仅限于来自特定CORS Origin的REST AP​​I调用,并且仅限于PUT和POST方法,或者仅将链接密钥链接到S3和特定存储桶?可能还有其他认证方法吗?

“无服务器”解决方案是理想的,但我可以考虑涉及一些服务器端处理,不包括将文件上传到我的服务器然后发送到S3。

138
Olegas

我想你想要的是使用POST的基于浏览器的上传。

基本上,您确实需要服务器端代码,但它所做的只是生成签名策略。一旦客户端代码具有签名策略,它就可以使用POST直接上传到S3,而不会将数据通过您的服务器。

这是官方文档链接:

图: http://docs.aws.Amazon.com/AmazonS3/latest/dev/UsingHTTPPOST.html

示例代码: http://docs.aws.Amazon.com/AmazonS3/latest/dev/HTTPPOSTExamples.html

签名的策略将以这样的形式进入您的html:

<html>
  <head>
    ...
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
    ...
  </head>
  <body>
  ...
  <form action="http://johnsmith.s3.amazonaws.com/" method="post" enctype="multipart/form-data">
    Key to upload: <input type="input" name="key" value="user/eric/" /><br />
    <input type="hidden" name="acl" value="public-read" />
    <input type="hidden" name="success_action_redirect" value="http://johnsmith.s3.amazonaws.com/successful_upload.html" />
    Content-Type: <input type="input" name="Content-Type" value="image/jpeg" /><br />
    <input type="hidden" name="x-amz-meta-uuid" value="14365123651274" />
    Tags for File: <input type="input" name="x-amz-meta-tag" value="" /><br />
    <input type="hidden" name="AWSAccessKeyId" value="AKIAIOSFODNN7EXAMPLE" />
    <input type="hidden" name="Policy" value="POLICY" />
    <input type="hidden" name="Signature" value="SIGNATURE" />
    File: <input type="file" name="file" /> <br />
    <!-- The elements after this will be ignored -->
    <input type="submit" name="submit" value="Upload to Amazon S3" />
  </form>
  ...
</html>

请注意,FORM操作是将文件 直接发送到S3 - 而不是通过您的服务器。

每当您的一个用户想要上传文件时,您就会在服务器上创建POLICYSIGNATURE。您将页面返回到用户的浏览器。然后,用户可以直接将文件上传到S3而无需通过服务器。

签署策略时,通常会在几分钟后使策略过期。这会强制您的用户在上传之前与您的服务器通信。这使您可以根据需要监控和限制上传。

进出服务器的唯一数据是签名URL。您的密钥在服务器上保密。

198
secretmike

你说你想要一个“无服务器”的解决方案。但这意味着您无法将任何“您的”代码放入循环中。 (注意:一旦您将代码提供给客户端,它现在就是“他们的”代码。)锁定CORS无济于事:人们可以轻松编写一个非基于Web的工具(或基于Web的代理)正确的CORS标头滥用您的系统。

最大的问题是你无法区分不同的用户。您不能允许一个用户列出/访问他的文件,但阻止其他用户这样做。如果您发现滥用行为,除了更改密钥外,您无能为力。 (攻击者可能会再次获得该攻击者。)

您最好的选择是为您的javascript客户端创建一个带有密钥的“IAM用户”。只给它一个桶的写访问权限。 (但理想情况下,不要启用ListBucket操作,这会使攻击者更具吸引力。)

如果您有一台服务器(即使是每月20美元的简单微型实例),您也可以在监控/防止实时滥用的同时对服务器上的密钥进行签名。如果没有服务器,您可以做的最好的事情是在事后定期监控滥用情况。这就是我要做的事情:

1)定期旋转该IAM用户的密钥:每晚为该IAM用户生成一个新密钥,并替换最旧的密钥。由于有2个密钥,每个密钥有效期为2天。

2)启用S3日志记录,并每小时下载日志。设置“过多上传”和“过多下载”的提醒。您需要检查文件总大小和上传的文件数。并且您将要监控全局总数以及每IP地址总数(具有较低阈值)。

这些检查可以“无服务器”完成,因为您可以在桌面上运行它们。 (即S3完成所有工作,这些流程就是为了提醒您滥用您的S3存储桶,这样您就不会在月底获得 巨额 AWS账单。)

16
BraveNewCurrency

在接受的答案中添加更多信息,您可以使用AWS Signature第4版参考我的博客,查看代码的运行版本。

将在此总结:

用户选择要上载的文件后,请执行以下操作:1。调用Web服务器以启动服务以生成所需的参数

  1. 在此服务中,调用AWS IAM服务以获得临时信誉

  2. 获得cred后,创建一个存储桶策略(base 64编码的字符串)。然后使用临时秘密访问密钥对存储桶策略进行签名,以生成最终签名

  3. 将必要的参数发送回UI

  4. 收到后,创建一个html表单对象,设置所需的参数和POST它。

有关详细信息,请参阅 https://wordpress1763.wordpress.com/2016/10/03/browser-based-upload-aws-signature-version-4/

8
RajeevJ

要创建签名,我必须使用我的密钥。但所有事情都发生在客户端,因此,可以从页面源轻松显示密钥(即使我对我的源进行模糊/加密)。

这是你误解的地方。使用数字签名的原因是,您可以在不泄露密钥的情况下验证某些内容是正确的。在这种情况下,数字签名用于防止用户修改您为表单发布的策略。

诸如此处的数字签名用于网络周围的安全性。如果某人(NSA?)真的能够打破他们,他们会有比你的S3斗更大的目标:)

4
OlliM

如果您没有任何服务器端代码,那么安全性取决于客户端对JavaScript代码的访问的安全性(即每个拥有代码的人都可以上传某些内容)。

所以我建议,只需创建一个公共可写(但不可读)的特殊S3存储桶,这样您就不需要在客户端使用任何已签名的组件。

存储桶名称(a GUID例如)将是您防止恶意上传的唯一防御措施(但潜在的攻击者无法使用您的存储桶传输数据,因为它只能写入他)

2
Ruediger Jungbeck

我已经给出了一个简单的代码,可以将文件从Javascript浏览器上传到AWS S3,并列出S3存储桶中的所有文件。

步骤:

  1. 要知道如何创建Create IdentityPoolId http://docs.aws.Amazon.com/cognito/latest/developerguide/identity-pools.html

    1. 转到S3的控制台页面并从存储桶属性中打开cors配置,并将以下XML代码写入其中。

      <?xml version="1.0" encoding="UTF-8"?>
      <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
       <CORSRule>    
        <AllowedMethod>GET</AllowedMethod>
        <AllowedMethod>PUT</AllowedMethod>
        <AllowedMethod>DELETE</AllowedMethod>
        <AllowedMethod>HEAD</AllowedMethod>
        <AllowedHeader>*</AllowedHeader>
       </CORSRule>
      </CORSConfiguration>
      
    2. 创建包含以下代码的HTML文件更改凭据,在浏览器中打开文件并享受。

      <script type="text/javascript">
       AWS.config.region = 'ap-north-1'; // Region
       AWS.config.credentials = new AWS.CognitoIdentityCredentials({
       IdentityPoolId: 'ap-north-1:*****-*****',
       });
       var bucket = new AWS.S3({
       params: {
       Bucket: 'MyBucket'
       }
       });
      
       var fileChooser = document.getElementById('file-chooser');
       var button = document.getElementById('upload-button');
       var results = document.getElementById('results');
      
       function upload() {
       var file = fileChooser.files[0];
       console.log(file.name);
      
       if (file) {
       results.innerHTML = '';
       var params = {
       Key: n + '.pdf',
       ContentType: file.type,
       Body: file
       };
       bucket.upload(params, function(err, data) {
       results.innerHTML = err ? 'ERROR!' : 'UPLOADED.';
       });
       } else {
       results.innerHTML = 'Nothing to upload.';
       }    }
      </script>
      <body>
       <input type="file" id="file-chooser" />
       <input type="button" onclick="upload()" value="Upload to S3">
       <div id="results"></div>
      </body>
      
2
Nilesh Pawar

以下是使用节点和 无服务器生成策略文档的方法

"use strict";

const uniqid = require('uniqid');
const crypto = require('crypto');

class Token {

    /**
     * @param {Object} config SSM Parameter store JSON config
     */
    constructor(config) {

        // Ensure some required properties are set in the SSM configuration object
        this.constructor._validateConfig(config);

        this.region = config.region; // AWS region e.g. us-west-2
        this.bucket = config.bucket; // Bucket name only
        this.bucketAcl = config.bucketAcl; // Bucket access policy [private, public-read]
        this.accessKey = config.accessKey; // Access key
        this.secretKey = config.secretKey; // Access key secret

        // Create a really unique videoKey, with folder prefix
        this.key = uniqid() + uniqid.process();

        // The policy requires the date to be this format e.g. 20181109
        const date = new Date().toISOString();
        this.dateString = date.substr(0, 4) + date.substr(5, 2) + date.substr(8, 2);

        // The number of minutes the policy will need to be used by before it expires
        this.policyExpireMinutes = 15;

        // HMAC encryption algorithm used to encrypt everything in the request
        this.encryptionAlgorithm = 'sha256';

        // Client uses encryption algorithm key while making request to S3
        this.clientEncryptionAlgorithm = 'AWS4-HMAC-SHA256';
    }

    /**
     * Returns the parameters that FE will use to directly upload to s3
     *
     * @returns {Object}
     */
    getS3FormParameters() {
        const credentialPath = this._amazonCredentialPath();
        const policy = this._s3UploadPolicy(credentialPath);
        const policyBase64 = new Buffer(JSON.stringify(policy)).toString('base64');
        const signature = this._s3UploadSignature(policyBase64);

        return {
            'key': this.key,
            'acl': this.bucketAcl,
            'success_action_status': '201',
            'policy': policyBase64,
            'endpoint': "https://" + this.bucket + ".s3-accelerate.amazonaws.com",
            'x-amz-algorithm': this.clientEncryptionAlgorithm,
            'x-amz-credential': credentialPath,
            'x-amz-date': this.dateString + 'T000000Z',
            'x-amz-signature': signature
        }
    }

    /**
     * Ensure all required properties are set in SSM Parameter Store Config
     *
     * @param {Object} config
     * @private
     */
    static _validateConfig(config) {
        if (!config.hasOwnProperty('bucket')) {
            throw "'bucket' is required in SSM Parameter Store Config";
        }
        if (!config.hasOwnProperty('region')) {
            throw "'region' is required in SSM Parameter Store Config";
        }
        if (!config.hasOwnProperty('accessKey')) {
            throw "'accessKey' is required in SSM Parameter Store Config";
        }
        if (!config.hasOwnProperty('secretKey')) {
            throw "'secretKey' is required in SSM Parameter Store Config";
        }
    }

    /**
     * Create a special string called a credentials path used in constructing an upload policy
     *
     * @returns {String}
     * @private
     */
    _amazonCredentialPath() {
        return this.accessKey + '/' + this.dateString + '/' + this.region + '/s3/aws4_request';
    }

    /**
     * Create an upload policy
     *
     * @param {String} credentialPath
     *
     * @returns {{expiration: string, conditions: *[]}}
     * @private
     */
    _s3UploadPolicy(credentialPath) {
        return {
            expiration: this._getPolicyExpirationISODate(),
            conditions: [
                {bucket: this.bucket},
                {key: this.key},
                {acl: this.bucketAcl},
                {success_action_status: "201"},
                {'x-amz-algorithm': 'AWS4-HMAC-SHA256'},
                {'x-amz-credential': credentialPath},
                {'x-amz-date': this.dateString + 'T000000Z'}
            ],
        }
    }

    /**
     * ISO formatted date string of when the policy will expire
     *
     * @returns {String}
     * @private
     */
    _getPolicyExpirationISODate() {
        return new Date((new Date).getTime() + (this.policyExpireMinutes * 60 * 1000)).toISOString();
    }

    /**
     * HMAC encode a string by a given key
     *
     * @param {String} key
     * @param {String} string
     *
     * @returns {String}
     * @private
     */
    _encryptHmac(key, string) {
        const hmac = crypto.createHmac(
            this.encryptionAlgorithm, key
        );
        hmac.end(string);

        return hmac.read();
    }

    /**
     * Create an upload signature from provided params
     * https://docs.aws.Amazon.com/AmazonS3/latest/API/sig-v4-authenticating-requests.html#signing-request-intro
     *
     * @param policyBase64
     *
     * @returns {String}
     * @private
     */
    _s3UploadSignature(policyBase64) {
        const dateKey = this._encryptHmac('AWS4' + this.secretKey, this.dateString);
        const dateRegionKey = this._encryptHmac(dateKey, this.region);
        const dateRegionServiceKey = this._encryptHmac(dateRegionKey, 's3');
        const signingKey = this._encryptHmac(dateRegionServiceKey, 'aws4_request');

        return this._encryptHmac(signingKey, policyBase64).toString('hex');
    }
}

module.exports = Token;

使用的配置对象存储在SSM Parameter Store 中,如下所示

{
    "bucket": "my-bucket-name",
    "region": "us-west-2",
    "bucketAcl": "private",
    "accessKey": "MY_ACCESS_KEY",
    "secretKey": "MY_SECRET_ACCESS_KEY",
}
0
Samir Patel

如果您愿意使用第三方服务,auth0.com支持此集成。 auth0服务为AWS临时会话令牌交换第三方SSO服务身份验证将具有有限的权限。

请参阅: https://github.com/auth0-samples/auth0-s3-sample/
和auth0文档。

0
Jason