Tag: amazon s3

如何比较本地文件与Amazon s3文件: 我正在研究桌面Java应用程序。它需要检查我的S3服务器上的特定文件。我不想下载整个文件进行比较，我需要找出服务器中的那个是否比本地更新，然后下载并替换。我不确定如何检查是否有更新的可用部分。我听说哈希作为一种方法，但我对如何在两个方面（本地和通过S3）实际执行此操作几乎没有经验

使用REST从s3存储桶下载文件: 我试图从带有REST调用的s3存储桶下载。我能够创建存储桶，删除存储桶和列表存储桶。下载始终以找不到的对象或HTTP响应代码结束：403。代码如下。也有人知道如果亚马逊是sdk可以与非亚马逊网站一起使用吗？ public void getObject() throws Exception { String fmt = “EEE, dd MMM yyyy HH:mm:ss “; SimpleDateFormat df = new SimpleDateFormat(fmt, Locale.US); df.setTimeZone(TimeZone.getTimeZone(“GMT”)); String ob2 = “/bucket/test.txt”; String bucket = “/bucket”; String method = “GET”; String contentMD5 = “”; String contentType = “”; String date = df.format(new Date()) + “GMT”; // Generate […]

使用Apache Spark从Amazon S3解析文件: 我正在使用Apache Spark，我必须从Amazon S3解析文件。从Amazon S3路径获取文件时，如何知道文件扩展名？

尝试在Java中使用Apache Commons VFS设置Amazon S3文件系统: 我正在尝试将VFS S3用作适用于Amazon S3的Apache Commons VFS的插件。我已经包含了jar，它正在识别s3架构。但是，当我尝试打开一个文件（公共，我可以在我的网络浏览器上打开它）时，我收到此错误： Could not create a file system manager of class “org.apache.commons.vfs.impl.StandardFileSystemManager”. >> org.apache.commons.vfs.VFS.createManager(VFS.java:93) >> org.apache.commons.vfs.VFS.getManager(VFS.java:47) 我该怎么办？

如何解决’使用构建器创建客户端是不可变的’？: 我正在创建一个想要将文件上传到S3存储桶的应用程序。我从以下代码段收到错误： BasicAWSCredentials awsCreds = new BasicAWSCredentials(“”, “”); AmazonS3 s3Client = AmazonS3ClientBuilder.standard() .withRegion(“”) .withCredentials(new AWSStaticCredentialsProvider(awsCreds)) .build(); PutObjectRequest request = new PutObjectRequest(“testbucketupdate”, “testFile”, new File(“D:\\Attachments\\LICENSE”)); ObjectMetadata metadata = new ObjectMetadata(); metadata.setContentType(“plain/text”); metadata.addUserMetadata(“x-amz-meta-title”, “someTitle”); request.setMetadata(metadata); s3Client.setS3ClientOptions(S3ClientOptions.builder().setPathStyleAccess(true).disableChunkedEncoding().build()); s3Client.putObject(request); 我收到以下错误： Java.lang.UnsupportedOperationException: Client is immutable when created with the builder. at com.amazonaws.AmazonWebServiceClient.checkMutability(AmazonWebServiceClient.java:937) at com.amazonaws.services.s3.AmazonS3Client.setS3ClientOptions(AmazonS3Client.java:716) at com.amazonaws.lambda.demo.LambdaFunctionHandler.check(LambdaFunctionHandler.java:123) at com.amazonaws.lambda.demo.LambdaFunctionHandler.main(LambdaFunctionHandler.java:208) at com.amazonaws.lambda.demo.LambdaFunctionHandler.handleRequest(LambdaFunctionHandler.java:51) […]

如何通过CloudFront将对象放到S3: 我想通过CloudFront将图片上传到S3。如果您看到有关CloudFront的文档，您可以发现云前端提供上传到CloudFront的方法可能有人问我为什么我使用云前端上传到S3如果您搜索到这一点，您可以找到解决方案我想问的是SDK中是否有方法上传到云前端如你所知，有直接上传到S3的方法“putObejct”，但我找不到上传云端… 请帮我..

如何计算S3文件内容的SHA-256校验和: 开箱即用的S3提供S3对象内容的MD5校验和。但我需要计算文件内容的SHA-256校验和。该文件可能足够大，所以我不想在内存中加载文件并计算校验和，而是我需要一个解决方案来计算校验和而不将整个文件加载到内存中。

Maven可以从私有s3存储桶中引用父POM吗？: 当使用私有 AWS S3存储桶作为Maven存储库时，有很多正在运行的s3旅行车提供商可以使用s3：// [bucket] /文件夹协议来部署和提取依赖关系。但是，当您尝试使用父POM引用执行此操作时，即 com.my.company my-parent-pom 1.0.0 它仅存在于私有 S3 Maven仓库中，似乎Maven只检查基于HTTP的定义存储库，并且不会尝试查看S3仓库。该项目中的S3旅行车被定义为 org.springframework.build aws-maven 5.0.0.RELEASE 对于正常的依赖项，它再次正常工作，而不是父POM引用寻找在S3 Maven仓库中正确解析父POM的方法

编写Big JSON文件以避免OutOfMemory问题的最佳方法: 首先，请注意今天是我与GSON第一天。我正在尝试使用GSON库编写Json文件。我在ArrayList有成千上万的JsonObjects 。写入Json文件时，它看起来应该与此类似。 [ { “hash_index”: “00102x05h06l0aj0dw”, “body”: “Who’s signing up for Obamacare?”, “_type”: “ArticleItem”, “title”: “Who’s signing up for Obamacare? – Jan. 13, 2014”, “source”: “money.cnn.com”, “primary_key”: 0, “last_crawl_date”: “2014-01-14”, “url”: “http://money.cnn.com/2014/01/13/news/economy/obamacare-enrollment/index.html” }, { “hash_index”: “00102x05h06l0aj0dw0iz0kn0l@0t#0”, “body”: “Who’s signing up for Obamacare?”, “_type”: “ArticleItem”, “title”: “Who’s signing up for Obamacare? – Jan. […]

如何从S3下载GZip文件？: 我查看了AWS S3 Java SDK – 下载文件帮助和使用Java中的Zip和GZip文件。虽然它们提供了分别从S3和GZipped文件下载和处理文件的方法，但这些方法无法处理位于S3中的GZipped文件。我该怎么办？目前我有： try { AmazonS3 s3Client = new AmazonS3Client( new ProfileCredentialsProvider()); String URL = downloadURL.getPrimitiveJavaObject(arg0[0].get()); S3Object fileObj = s3Client.getObject(getBucket(URL), getFile(URL)); BufferedReader fileIn = new BufferedReader(new InputStreamReader( fileObj.getObjectContent())); String fileContent = “”; String line = fileIn.readLine(); while (line != null){ fileContent += line + “\n”; line = fileIn.readLine(); […]