MJay

spark-ec2 i3 instance iostat 알아보기 & NVMe 비교해보기 본문

Cloud Computing/Spark

spark-ec2 i3 instance iostat 알아보기 & NVMe 비교해보기

MJSon 2017. 11. 30. 19:04
Edit

spark-ec2 i3 instance iostat 알아보기 & NVMe 비교해보기


iostat명령은 CPU 및 디스크 입출력 통계에 대한 기본정보를 보여줍니다.

apt-get install sysstat을 통해 설치를 해줘야합니다.

맨 첫째줄에 시스템 커널 버전, 호스트명, 날짜가 나오고,

두번째줄에는 마지막 재부팅 후 시스템 평균 CPU 활용률을 보여줍니다.

%user : 사용자가 사용중인 프로세서가 사용한 시간(백분율)

%nice : nice(작업우선순위)정책에 의해 우선순위가 바뀐 프로세서가 사용한 시간

%system : 시스템이 사용한 시간

%iowait : 입출력 대기 시간

%steal : Stael CPU 사용 시간

%idle : 유휴상태 시간

마지막줄에는 각 디스크의 장치 활용량 리포트가 출력됩니다.


Device : 장치명

TPS : 초당 입출력 작업 갯수

Blk_read/s : 초당 읽어들인 512바이트 블록수

Blk_wrtn/s : 초당 쓰여진 512바이트 블록수

Blk_read : 지금까지 읽어들인 512바이트 블록수

Blk_wrtn : 지금까지 쓰여진 512바이트 블록수

rrqm/s : 디바이스 큐에 대기중인 초당 읽기 요청의 건수

wrqm/s : 디바이스 큐에 대기중인 초당 쓰기 요청의 건수

r/s : 디바이스에 요청한 초당 읽기 요청의 건수

w/s : 디바이스에 요청한 초당 쓰기 요청의 건수

rsec/s : 디바이스에서 초당 읽어들인 섹터의 갯수

wsec/s : 디바이스에서 초당 기록한 섹터의 갯수

avgrq-sz : 디바이스에 요청한 초당 평균 데이터의 크기

avgqu-sz : 디바이스에 요청한 초당 평균 큐 길이

await : 디바이스에서 처리되기 위해서 요청된 I/O 평균 시간(밀리초, 1/1000초). 큐에서 소요된 시간과 처리된 시간이 합쳐져 출력됨.

svctm : 디바이스에서 처리한 I/O 평균 시간 (밀리초, 1/1000초)

%util : 디바이스에서 요청한 I/O 작업을 수행하기 위해 사용한 CPU 시간 비율. 이 값이 100%에 가까워지면 디바이스가 한계에 도달했다고 보면 됨.

왼쪽은 master 오른쪽 slave node입니다.
slave 의 /mnt 용량이 올라갔다가 줄어드는 걸 알수있고
nvme0n1 가 쓰이는 걸 확인할수 있습니다.

쓰이는 듯

i3.large 4 nodes without NVMe

NVMe를 mount하지 않았기 때문에 쓰이지 않습니다.


정리

i3 large 4nodes with NVMe

왼쪽은 master 오른쪽 slave node입니다.
slave 의 /mnt 용량이 올라갔다가 줄어드는 걸 알수있고
nvme0n1 가 쓰이는 걸 확인할수 있습니다.

i3.large 4 nodes without NVMe

NVMe를 mount하지 않았기 때문에 쓰이지 않습니다.

i3.large 4 nodes - comparsion

왼쪽이 NVMe 착용 오른쪽이 NVMe 착용안함

%23%23%23%20spark-ec2%20i3%20instance%20iostat%20%uC54C%uC544%uBCF4%uAE30%20%26%20NVMe%20%uBE44%uAD50%uD574%uBCF4%uAE30%0A@%28Marxico%29%0A@%5Btistory%5D%0A%0A%0A%3E%20iostat%uBA85%uB839%uC740%20CPU%20%uBC0F%20%uB514%uC2A4%uD06C%20%uC785%uCD9C%uB825%20%uD1B5%uACC4%uC5D0%20%uB300%uD55C%20%uAE30%uBCF8%uC815%uBCF4%uB97C%20%uBCF4%uC5EC%uC90D%uB2C8%uB2E4.%0A%0A%3Eapt-get%20install%20sysstat%uC744%20%uD1B5%uD574%20%uC124%uCE58%uB97C%20%uD574%uC918%uC57C%uD569%uB2C8%uB2E4.%0A%0A%21%5BAlt%20text%5D%28./1511774002807.png%29%0A%0A%3E%uB9E8%20%uCCAB%uC9F8%uC904%uC5D0%20%uC2DC%uC2A4%uD15C%20%uCEE4%uB110%20%uBC84%uC804%2C%20%uD638%uC2A4%uD2B8%uBA85%2C%20%uB0A0%uC9DC%uAC00%20%uB098%uC624%uACE0%2C%0A%0A%3E%uB450%uBC88%uC9F8%uC904%uC5D0%uB294%20%uB9C8%uC9C0%uB9C9%20%uC7AC%uBD80%uD305%20%uD6C4%20%uC2DC%uC2A4%uD15C%20%uD3C9%uADE0%20CPU%20%uD65C%uC6A9%uB960%uC744%20%uBCF4%uC5EC%uC90D%uB2C8%uB2E4.%0A%0A%3E%25user%20%3A%20%uC0AC%uC6A9%uC790%uAC00%20%uC0AC%uC6A9%uC911%uC778%20%uD504%uB85C%uC138%uC11C%uAC00%20%uC0AC%uC6A9%uD55C%20%uC2DC%uAC04%28%uBC31%uBD84%uC728%29%0A%0A%3E%25nice%20%3A%20nice%28%uC791%uC5C5%uC6B0%uC120%uC21C%uC704%29%uC815%uCC45%uC5D0%20%uC758%uD574%20%uC6B0%uC120%uC21C%uC704%uAC00%20%uBC14%uB010%20%uD504%uB85C%uC138%uC11C%uAC00%20%uC0AC%uC6A9%uD55C%20%uC2DC%uAC04%0A%0A%3E%25system%20%3A%20%uC2DC%uC2A4%uD15C%uC774%20%uC0AC%uC6A9%uD55C%20%uC2DC%uAC04%0A%0A%3E%25iowait%20%3A%20%uC785%uCD9C%uB825%20%uB300%uAE30%20%uC2DC%uAC04%0A%0A%3E%25steal%20%3A%20Stael%20CPU%20%uC0AC%uC6A9%20%uC2DC%uAC04%0A%0A%3E%25idle%20%3A%20%uC720%uD734%uC0C1%uD0DC%20%uC2DC%uAC04%0A%0A%3E%uB9C8%uC9C0%uB9C9%uC904%uC5D0%uB294%20%uAC01%20%uB514%uC2A4%uD06C%uC758%20%uC7A5%uCE58%20%uD65C%uC6A9%uB7C9%20%uB9AC%uD3EC%uD2B8%uAC00%20%uCD9C%uB825%uB429%uB2C8%uB2E4.%0A%0A%0A----------%0A%0A%0A%3EDevice%20%3A%20%uC7A5%uCE58%uBA85%0A%0A%3ETPS%20%3A%20%uCD08%uB2F9%20%uC785%uCD9C%uB825%20%uC791%uC5C5%20%uAC2F%uC218%0A%0A%3EBlk_read/s%20%3A%20%uCD08%uB2F9%20%uC77D%uC5B4%uB4E4%uC778%20512%uBC14%uC774%uD2B8%20%uBE14%uB85D%uC218%0A%0A%3EBlk_wrtn/s%20%3A%20%uCD08%uB2F9%20%uC4F0%uC5EC%uC9C4%20512%uBC14%uC774%uD2B8%20%uBE14%uB85D%uC218%0A%0A%3EBlk_read%20%3A%20%uC9C0%uAE08%uAE4C%uC9C0%20%uC77D%uC5B4%uB4E4%uC778%20512%uBC14%uC774%uD2B8%20%uBE14%uB85D%uC218%0A%0A%3EBlk_wrtn%20%3A%20%uC9C0%uAE08%uAE4C%uC9C0%20%uC4F0%uC5EC%uC9C4%20512%uBC14%uC774%uD2B8%20%uBE14%uB85D%uC218%0A%0A%21%5BAlt%20text%5D%28./1511774590564.png%29%0A%0A%3Errqm/s%20%3A%20%uB514%uBC14%uC774%uC2A4%20%uD050%uC5D0%20%uB300%uAE30%uC911%uC778%20%uCD08%uB2F9%20%uC77D%uAE30%20%uC694%uCCAD%uC758%20%uAC74%uC218%0A%0A%3Ewrqm/s%20%3A%20%uB514%uBC14%uC774%uC2A4%20%uD050%uC5D0%20%uB300%uAE30%uC911%uC778%20%uCD08%uB2F9%20%uC4F0%uAE30%20%uC694%uCCAD%uC758%20%uAC74%uC218%0A%0A%3Er/s%20%3A%20%uB514%uBC14%uC774%uC2A4%uC5D0%20%uC694%uCCAD%uD55C%20%uCD08%uB2F9%20%uC77D%uAE30%20%uC694%uCCAD%uC758%20%uAC74%uC218%0A%0A%3Ew/s%20%3A%20%uB514%uBC14%uC774%uC2A4%uC5D0%20%uC694%uCCAD%uD55C%20%uCD08%uB2F9%20%uC4F0%uAE30%20%uC694%uCCAD%uC758%20%uAC74%uC218%0A%0A%3Ersec/s%20%3A%20%uB514%uBC14%uC774%uC2A4%uC5D0%uC11C%20%uCD08%uB2F9%20%uC77D%uC5B4%uB4E4%uC778%20%uC139%uD130%uC758%20%uAC2F%uC218%0A%0A%3Ewsec/s%20%3A%20%uB514%uBC14%uC774%uC2A4%uC5D0%uC11C%20%uCD08%uB2F9%20%uAE30%uB85D%uD55C%20%uC139%uD130%uC758%20%uAC2F%uC218%0A%0A%3Eavgrq-sz%20%3A%20%uB514%uBC14%uC774%uC2A4%uC5D0%20%uC694%uCCAD%uD55C%20%uCD08%uB2F9%20%uD3C9%uADE0%20%uB370%uC774%uD130%uC758%20%uD06C%uAE30%0A%0A%3Eavgqu-sz%20%3A%20%uB514%uBC14%uC774%uC2A4%uC5D0%20%uC694%uCCAD%uD55C%20%uCD08%uB2F9%20%uD3C9%uADE0%20%uD050%20%uAE38%uC774%0A%0A%3Eawait%20%3A%20%uB514%uBC14%uC774%uC2A4%uC5D0%uC11C%20%uCC98%uB9AC%uB418%uAE30%20%uC704%uD574%uC11C%20%uC694%uCCAD%uB41C%20I/O%20%uD3C9%uADE0%20%uC2DC%uAC04%28%uBC00%uB9AC%uCD08%2C%201/1000%uCD08%29.%20%uD050%uC5D0%uC11C%20%uC18C%uC694%uB41C%20%uC2DC%uAC04%uACFC%20%uCC98%uB9AC%uB41C%20%uC2DC%uAC04%uC774%20%uD569%uCCD0%uC838%20%uCD9C%uB825%uB428.%0A%0A%3Esvctm%20%3A%20%uB514%uBC14%uC774%uC2A4%uC5D0%uC11C%20%uCC98%uB9AC%uD55C%20I/O%20%uD3C9%uADE0%20%uC2DC%uAC04%20%28%uBC00%uB9AC%uCD08%2C%201/1000%uCD08%29%0A%0A%3E%25util%20%3A%20%uB514%uBC14%uC774%uC2A4%uC5D0%uC11C%20%uC694%uCCAD%uD55C%20I/O%20%uC791%uC5C5%uC744%20%uC218%uD589%uD558%uAE30%20%uC704%uD574%20%uC0AC%uC6A9%uD55C%20CPU%20%uC2DC%uAC04%20%uBE44%uC728.%20%uC774%20%uAC12%uC774%20100%25%uC5D0%20%uAC00%uAE4C%uC6CC%uC9C0%uBA74%20%uB514%uBC14%uC774%uC2A4%uAC00%20%uD55C%uACC4%uC5D0%20%uB3C4%uB2EC%uD588%uB2E4%uACE0%20%uBCF4%uBA74%20%uB428.%0A%0A%21%5BAlt%20text%5D%28./1511774983173.png%29%0A%0A%21%5BAlt%20text%5D%28./1511775021990.png%29%0A%0A%3E%uC67C%uCABD%uC740%20master%20%uC624%uB978%uCABD%20slave%20node%uC785%uB2C8%uB2E4.%0A%3Eslave%20%uC758%20/mnt%20%uC6A9%uB7C9%uC774%20%uC62C%uB77C%uAC14%uB2E4%uAC00%20%uC904%uC5B4%uB4DC%uB294%20%uAC78%20%uC54C%uC218%uC788%uACE0%0A%3Envme0n1%20%uAC00%20%uC4F0%uC774%uB294%20%uAC78%20%uD655%uC778%uD560%uC218%20%uC788%uC2B5%uB2C8%uB2E4.%0A%0A%uC4F0%uC774%uB294%20%uB4EF%0A%0A%21%5BAlt%20text%5D%28./1511775369230.png%29%0A%0A%0A%21%5BAlt%20text%5D%28./1511775378643.png%29%0A%0A%0A%21%5BAlt%20text%5D%28./1511776321668.png%29%0A%0A%0A**i3.large%204%20nodes%20without%20NVMe**%0A%0A%21%5BAlt%20text%5D%28./1511777407368.png%29%0A%0A%3ENVMe%uB97C%20mount%uD558%uC9C0%20%uC54A%uC558%uAE30%20%uB54C%uBB38%uC5D0%20%uC4F0%uC774%uC9C0%20%uC54A%uC2B5%uB2C8%uB2E4.%0A%0A%21%5BAlt%20text%5D%28./1511777507901.png%29%0A%0A%0A%21%5BAlt%20text%5D%28./1511777646122.png%29%0A%0A%0A----------%0A%0A**%uC815%uB9AC**%0A----------%0A%0A%0A**i3%20large%204nodes%20with%20NVMe**%0A%21%5BAlt%20text%5D%28./1511774983173.png%29%0A%0A%21%5BAlt%20text%5D%28./1511775021990.png%29%0A%0A%3E%uC67C%uCABD%uC740%20master%20%uC624%uB978%uCABD%20slave%20node%uC785%uB2C8%uB2E4.%0A%3Eslave%20%uC758%20/mnt%20%uC6A9%uB7C9%uC774%20%uC62C%uB77C%uAC14%uB2E4%uAC00%20%uC904%uC5B4%uB4DC%uB294%20%uAC78%20%uC54C%uC218%uC788%uACE0%0A%3Envme0n1%20%uAC00%20%uC4F0%uC774%uB294%20%uAC78%20%uD655%uC778%uD560%uC218%20%uC788%uC2B5%uB2C8%uB2E4.%0A%0A**i3.large%204%20nodes%20without%20NVMe**%0A%0A%21%5BAlt%20text%5D%28./1511777407368.png%29%0A%0A%3ENVMe%uB97C%20mount%uD558%uC9C0%20%uC54A%uC558%uAE30%20%uB54C%uBB38%uC5D0%20%uC4F0%uC774%uC9C0%20%uC54A%uC2B5%uB2C8%uB2E4.%0A%0A**i3.large%204%20nodes%20-%20comparsion**%0A%0A%21%5BAlt%20text%5D%28./1511846241416.png%29%0A%0A**%uC67C%uCABD%uC774%20NVMe%20%uCC29%uC6A9%20%uC624%uB978%uCABD%uC774%20NVMe%20%uCC29%uC6A9%uC548%uD568**