MJay
Spark-EC2에서 EBS Instance Storage를 올리는 방법 본문
Spark-EC2에서 EBS Instance Storage를 올리는 방법
Block Size를 늘리다보면
Java Heap Space - Memory 랑 관련이 있다.
Disk Instance - Disk Storage랑 관려된 문제이다.
해결책은 Instance Storage를 늘리는 것이다.
if opts.spot_price is not None:
# Launch spot instances with the requested price
ondemand_price = get_instance_price(opts.instance_type)
bid_spot_price = ondemand_price if opts.spot_price > ondemand_price else ondemand_price
print("Requesting %d slaves as spot instances with price $%.3f" %
(opts.slaves, bid_spot_price))
zones = get_zones(conn, opts)
num_zones = len(zones)
i = 0
my_req_ids = []
for zone in zones:
num_slaves_this_zone = get_partition(opts.slaves, num_zones, i)
block_map = BlockDeviceMapping() ## 추가
device = EBSBlockDeviceType(); ## 추가
device.size='64' ## 추가 && 여기서 숫자를 바꿔주면 된다.
device.volume_type="standard" ## Standard 가 EBS를 뜻한다.
device.delete_on_termination= True ## 추가
block_map["/dev/xvda"]=device ## 현재 device 이름이 xvda이다.
slave_reqs = conn.request_spot_instances(
price=bid_spot_price,
image_id=opts.ami,
launch_group="launch-group-%s" % cluster_name,
placement=zone,
count=num_slaves_this_zone,
key_name=opts.key_pair,
security_group_ids=[slave_group.id] + additional_group_ids,
instance_type=opts.instance_type,
block_device_map=block_map,
subnet_id=opts.subnet_id,
placement_group=opts.placement_group,
user_data=user_data_content,
instance_profile_name=opts.instance_profile_name)
my_req_ids += [req.id for req in slave_reqs]
i += 1
이걸 Issue에 같이 올리자
'Cloud Computing > Spark' 카테고리의 다른 글
Spark-EC2 Too large frame (0) | 2017.10.02 |
---|---|
Spark에서 왜 결과값이 16*16이 아니라 4*4 인지 Code를 통해 설명 (0) | 2017.10.02 |
Spark Cluster 구조 (0) | 2017.10.02 |
SparkCL 논문을 읽어봄 (0) | 2017.09.12 |
Spark 구조 (0) | 2017.02.18 |