Spock: Exploiting Serverless Functions for SLO and Cost Aware Resource Procurement in Public CloudJashwant - (2)

 

 

exploiting different service offerings?? 

 

여러가지가 있나 보다. 

 

endpoint 가 뭘까?

 

https://www.google.com/search?q=what+is+endpoint+in+cloud+computing

 

 

여러가지 옵션을 ML 을 할때 고를 수 있나보다

 

 

ML 사용할때 VM을 사용해서, 즉 Serverless Function 을 사용하면 알아서 해주는 거구나 

 

 

AWS autoscaling 을 사용해준다. 

처음에 Function 을 한다음에 VM으로 사용이 된다는 거 같다. 

 

 

Lambda function을 사용하여 VM acquisiont을 gap을 줄여준다는 얘기이다. 처음에 초록색은 VM 인데 그것만 보면 처음에 가다가 SLA Violation (빨간색)을 못 따라간다. 그래서 얼른 Lambda Function (주황색)을 사용하여 훅 올려줘서 SLA Violation을 맞춰주고 나중에 Scale Down을 VM 단에서 해주어서 이렇게 갭을 맞춰준다.. 이걸 어떻게 알았지? 신기하다

이런 아이디어를 떠올린 걸 잘 참고하면 또 좋은 게 될수있을텐데

 

Serverless 의 장점은 reduced start-up latency

 

 

Cold Start Warm Start 가 이렇게 2가지가 있지만 - 그래도 VM Launching 보다는 빠르다고 한다. 

 

autoscaling 을 알아서 해준다는 것이다.

 

2가지의 장점이다

 

1. Reduction in SLO violation during request surge

2. Reduce intermittent over-provisioning of VMs.

 

Lambda 에서 사용했고, Spot Instance는 사용하지 않았다. 

 

Spot Instance를 사용해서 Deep Learning 돌리는 것도 괜찮겠다. 물론 Training은 아니지만 Inference로 해봐도 괜찮을꺼 같다. 실험이 조금 필요하기는 하겠다.