Articles of amazon web services

如何提高Amazon Elastic Mapreduce执行作业的性能?

我的任务是: 最初我想使用SQOOP将数据从MS SQL Server导入HDFS。 通过Hive我正在处理数据并在一个表中生成结果 包含Hive表的结果再次被导出到MS SQL SERVER。 所有这些事情,我必须在亚马逊服务的帮助下实现。 (在我的情况下,我使用Amazon S3来存储数据和Amazon Elastic Map Reduce。) 实际上,我从MS SQL Server导入的数据非常大(在一个表中接近5,000,000个条目,同样我有30个表)。 为此,我在Hive中写了一个只包含查询的任务(每个查询都使用了很多连接)。 所以由于这个原因,我的单个本地机器的性能非常差(完全执行需要大约3个小时)。 我想尽可能减less这个时间。 为此,我们决定使用Amazon Elastic Mapreduce。 目前我正在使用十个m1.large实例,并且仍然具有与单个本地计算机相同的性能。 还有没有其他方法来提高性能或只是增加实例的数量? 为了提高性能,我需要使用多less个实例?

如何列出s3fs坐骑?

如何列出在Ubuntu系统上存在的s3fs挂载? 我想知道每个挂载到哪个桶映射。 具体来说,我有一个特定的挂载(例如〜/ s3 / mymount),并想知道它映射到哪个S3存储桶。

为ssh创build新的.pem键

我正在使用的计算机被重新镜像,我没有我的pem文件的副本访问服务器。 我产生了一个新的pem 。 我现在需要做什么才能login到ec2服务器?

如何确定是什么原因导致stream量突然增加到我的AWS服务器?

我最近在亚马逊AWS上为一个大网站build立了一个云系统。 我通常使用Elastic Beanstalk来部署应用程序(用Java Spring编写),它目前运行在4个微型实例上。 我已经设置了一个规则,当CPU超过70%超过2分钟时自动放大。 我注意到,昨天晚上(当交通通常非常低),系统扩展到15个实例,总共大约8个小时。 然后我注意到,汽车维修组的“交通”平均从100万上升到平均3000万(大约10分钟,每小时左右),而“车stream量”保持不变。 我知道我们有竞争对手可能希望我们的网站掉下来。 这些是DDoS攻击的症状吗? 有什么办法可以防止这种情况发生? 有没有办法来检测是什么导致“交通”增加?

自动调节策略会导致错误的实例数量。

我configuration了一个自动调节策略来调出8个实例,但不会超过2个。 以下是AWS的政策描述: bash# /opt/aws/apitools/as/bin/as-describe-policies SCALING-POLICY mygroup Up 8 ExactCapacity 5 arn:aws:autoscaling:us-east-1:xxxxxxxxxxxx:scalingPolicy:xxxxxxxxxxxxxxx:autoScalingGroupName/mygroup:policyName/Up 我打电话给这样的政策: bash# /opt/aws/apitools/as/bin/as-execute-policy Up –auto-scaling-group mygroup 看看扩展活动证实了我所看到的:它只是试图调出2个实例: bash# /opt/aws/apitools/as/bin/as-describe-scaling-activities –auto-scaling-group mygroup –show-xml <AutoScalingGroupName>mygroup</AutoScalingGroupName> <Cause>At 2012-06-05T17:05:25Z a user request executed policy Up changing the desired capacity from 0 to 2. At 2012-06-05T17:05:37Z an instance was started in response to a difference between desired and actual […]

使用GUI自动启动Web浏览器,为Ubuntu创buildAWS AMI

我有一个Ubuntu的AMI安装Ubuntu的桌面安装和Chrome安装和设置为加载启动(通过在Ubuntu桌面启动程序菜单) 我已经创build了这个AMI的映像,但是每当我启动一个新的实例运行时,Ubuntu GUI似乎都不会加载,直到我SSH进入机器,启用VNC,然后通过Chicken VNC连接到机器。 在这一点上,桌面似乎加载+启动浏览器。 我真的需要机器启动和浏览器加载,而不必VNC到机器..任何帮助,将不胜感激。

将Erlang二进制文件分发到新的EC2实例

我正在使用诸如Chef和Puppet之类的工具来引导新的EC2实例。 为了自动缩放,我尽量保持安装时间。 对于像Ruby这样的东西,我将它编译在一个框中,然后将二进制文件打包并通过Amazon S3分发给新实例,以便快速安装。 我想为Erlang做同样的事情,因为Erlang需要相当长的时间来编译,而且我自动调整应用服务器,所以我最多需要等待几分钟。 问题是,Erlang将二进制文件和其他文件分发到文件系统的许多位置。 我想知道是否有一个简单的方法来打包,以便我可以简单地获取所有需要的文件的tar球,并在相同的操作系统/体系结构的机器上解开它们?

Ubuntu的Cloudformation抛出错误

我一直在做一些阅读,并得出了一个理解,如果你想在Ubuntu上使用launchConfig,你将需要自己安装cfn-init文件: "Properties" : { "KeyName" : { "Ref" : "KeyName" }, "SpotPrice" : "0.05", "ImageId" : { "Fn::FindInMap" : [ "AWSRegionArch2AMI", { "Ref" : "AWS::Region" }, { "Fn::FindInMap" : [ "AWSInstanceType2Arch", { "Ref" : "InstanceType" }, "Arch" ] } ] }, "SecurityGroups" : [ { "Ref" : "InstanceSecurityGroup" } ], "InstanceType" : { "Ref" : […]

AWS:如何从临时映像或文件树创buildEBS AMI?

我有一个目录中的文件树。 这用于在硬盘驱动器和闪存驱动器上构build可启动系统。 我也用它来为虚拟机构build镜像。 我想从中创build一个AWS AMI(加上需要做的任何调整,以使云值得,如云初始化的东西)。 现在我正在探索如何制作EBS支持的AMI。 所有文档和回答的问题都集中在构buildAMI的其他方法上,涉及到使用现有的AMI,或者启动实例并保存正在运行的状态。 但是我想根据我的系统设置从头开始。 我设想了一些基于我可以从AWS文档中find的方法来做到这一点(没有什么字面上的需求)。 在这两种情况下,我创build一个新卷,并将其附加到运行任意Linux AMI的实例。 在方法A中,在这种情况下,我使用ext4格式化卷,将其挂载为/ mnt / xvdf,然后运行rsync将我的系统文件树上传到卷本身,然后卸载它。 在方法B中,我在我的主机上创build一个回送文件,对其进行格式化,装载,从系统树中填充它,卸载它,然后将图像文件传输到卷上的实例,然后将图像复制到卷设备很像dd。 在这两种情况下,我最终都会在硬盘,闪存驱动器和虚拟机映像文件(原始数据)上创build一个文件系统。 然后我对这个卷进行快照,并将其注册为AMI。 但它不起作用。 从实例日志中获得的错误是由于无法装入文件系统types(具有不受支持的function)而使内核惊慌。 我基本上做正确的过程,只是搞了一个步骤(如格式化文件系统types,它不喜欢…我使用的是ext4)? 还是我做错了? 它已经足够让我注册AMI,并从中启动一个实例。 我相信我需要对文件树进行很多调整才能在云环境中正常工作。 我将会学习这些。 但是现在还没有足够的时间来考虑我的文件是对还是错。 请不要build议我尝试制作一个支持S3的AMI或从正在运行的实例中创build一个。 我打算尝试这些方法,作为学习一切的一部分,但那些是后来的。 这是现在,目标是从一个未启动的临时图像/树(在其他地方工作)制作一个AMI。

亚马逊AWS基础架构

今天我设置了一个EC2实例。 我想知道什么是亚马逊云为web应用程序的典型架构。 我认为它是这样的东西,但我错过了一些东西: – EC2 instance for Webserver (apache/nginx) and PHP – S3 for storage (videos, images…) – ?? for MongoDB, MySQL or anything else 我不确定这些事情是如何工作的。 例如,如何设置简单的图片上传服务,通过PHP上传每张图片,然后保存在S3上。 之后,当有人访问从S3显示的链接时。