MJay
i3.instance 의 /dev/nvme0n1에 mount하기 본문
i3.instance 의 /dev/nvme0n1에 mount하기
일단 개념부터 -> 마운트
현재 접근가능한 파일시스템에 추가적인 파일시스템을 붙이는 일
스토리지를 사용하기 위해 장치와 디렉토리[1]를 연결하는 작업
저장장치[2]에 접근할 수 있는 경로를 디렉토리 구조에 편입시키는 작업
마운트 포인트[편집]
장치가 연결되는 디렉토리
[root@zetawiki ~]# mount | grep ^/dev
/dev/mapper/VolGroup00-LogVol00 on / type ext3 (rw)
/dev/vda1 on /boot type ext3 (rw)
→ /dev/mapper/VolGroup00-LogVol00 의 마운트 포인트: /
→ /dev/vda1 의 마운트 포인트: /boot
i3 instance의 특징
with super-efficient NVMe SSD storage, these instances can deliver up to 3.3 million IOPS at a 4 KB block and up to 16 GB/second of sequential disk throughput.
NVMe
Non-Volatile Memory Express
비휘발성 기억장치 익스프레스600MB/s의 최고 전송 속도를 가지는 SATA 3과 비교하면 PCIe위에서 동작하므로 기가 이상의 대역폭은 쉽게 구현한다. 일반 사용자 용으로 발매된 인텔의 750은 2400MB/s, 삼성의 950 Pro는 2500MB/s의 최고 전송속도를 자랑한다. 또한, 1개의 큐에 32개의 명령 만을 저장할 수 있는 AHCI와는 다르게 64K개의 큐에 각 큐당 64K개의 명령어를 저장할 수 있어 랜덤 읽기/쓰기 속도 또한 SATA에 비교하여 월등히 빠르다. 더불어 PCIe를 통하여 CPU에 직결되는 구조인 만큼 지연시간이 SATA의 절반 이하로 줄어든다. 이외에는 병렬화(멀티코어) 적극지원 등이 있지만 개인 사용자에겐 미래에나 와닿는 내용이 될 것이다. 기업용 시장에는 4TB 용량에 읽기 5GB/s, 쓰기 3GB/s를 달하는 괴물같은 물건도 있다.
mnt 폴더란
/mnt , /media 디렉토리와 비슷한 용도로 탈부착이 가능한 장치들에 대하여 일시적인 마운트포인트로 사용하는 디렉토리.
i3.instance에서 기본적으로 고속 스토리지 기기를 spark-local-dirs(/mnt/spark)로 안쓰고 있음
df - h 를 통해 확인 가능
mount 정보를 통해서도 확인 가능
NVMe가 존재는 하는지 확인하고 싶을 때
fdisk -l
하드 디스크는 2개가 있다는 걸 알수가 있다.
비교할겸 r4.instance에서 확인 할 경우
disk 1개만 있다.emphasized text
시도해본 케이스
1.local_dir_spark를 바꿔봤지만
1../spark-ec2 –instance-type=i3.large –region=us-west-2 –spark-version=2.2.0 -k kmu-bigdata-abc2 –spark-local-dirs=”/dev/nvme0n1/mnt/spark” –no-ganglia -i ~/.ssh/kmu-bigdata-abc2.pem -s 1 launch i3-l-spark
Absolute Path를 넣으면 된다고 했는데 되지 않았다.
- 아니면 평소처럼 spark-ec2를 실행해서
ln -s /dev/nvme01/spark /mnt/spark 도 해봤지만 되지 않는다.
문제 ->NVMe는 자동으로 마운트 되지가 않는다, NVMe 는 Instance Storage Volume이다.
amazon web services - Mounting a NVME disk on AWS EC2 - Stack Overflow
The NVMe SSD on the i3 instance class is an example of an Instance Store Volume, also known as an Ephemeral [ Disk | Volume | Drive ]. They are physically inside the instance and extremely fast, but not redundant and not intended for persistent data… hence, “ephemeral.
따로 mount 해줘야한다.
i3.8xlarge 돌릴 경우
얘는 여러개의 NVMe0을 가지고있어서 합쳐주는게 좋다
출처 - Configuring Software Raid on Amazon Linux – DevOps Complete
1. #!/usr/bin/env bash
2.mkdir -p /data
3.mdadm --create --verbose --level=0 /dev/md0 --name=DATA --raid-devices=4 /dev/nvme0n1 /dev/nvme1n1 /dev/nvme2n1 /dev/nvme3n1
4.mdadm --wait /dev/md0
5.mkfs.ext4 /dev/md0
6.mdadm --detail --scan >> /etc/mdadm.conf
7.dracut -H -f /boot/initramfs-$(uname -r).img $(uname -r)
8.echo /dev/md0 /data ext4 defaults,nofail,noatime,discard 0 2 >> /etc/fstab
9.mount -a
spark-ec2 돌릴 때 command
1.
2./spark-ec2 --instance-type=i3.large --region=us-west-2 --spark-version=2.2.0 -k kmu-bigdata-abc2 --no-ganglia --user-data='/Users/mj/Documents/user-data' -i ~/.ssh/kmu-bigdata-abc2.pem -s 1 launch i3-l-spark
3.
4.
5.//user-data 형태 는
6.#!/usr/bin/env bash
7.
8.mkfs.ext4 /dev/nvme0n1
9.bash -c 'echo /dev/nvme0n1 /mnt ext4 defaults,nofail,noatime,discard 0 2 >> /etc/fstab'
10.mount -a
11.
Sanity Checking
Test 할겸 nvme vs without-nvme 경우를 돌려봄
- node 1
1.run_matmul 10 1000 1000 1000 1 1 1 1
2.run_matmul 10 2000 2000 2000 1 1 1 1
3.run_matmul 10 3000 3000 3000 1 1 1 1
nvme를 쓸 경우가 더 빠름 - 왼쪽이 NVMe를 사용
'Cloud Computing > Spark' 카테고리의 다른 글
| Scala 공부해보기 - Day 1 (0) | 2017.12.05 |
|---|---|
| spark-ec2 i3 instance iostat 알아보기 & NVMe 비교해보기 (0) | 2017.11.30 |
| r4 Instance Scalability 조사 (0) | 2017.10.02 |
| Spark-EC2 Too large frame (0) | 2017.10.02 |
| Spark에서 왜 결과값이 16*16이 아니라 4*4 인지 Code를 통해 설명 (0) | 2017.10.02 |
