MJay

2c0ffa7149810378947b26bd641e5a19_spark_lesson_1_slidesSpark의 구조에 대해서 알아봅시다스팍 프로그램은 일반적으로 Driver Program이라고 한다.Drive Program은 수 백개의 병렬적인 작업(Worker Nodes)으로 나누어진다.Spark의 WorkerNode에 있는 Executor에서 실행된다. Executor는 Java Virtual Machine이다 Java Virtual Machine은 Mapping, Reducing 이나 다른 Spark 작업을 할 대 사용된다 Java Virtual Machine은 HDFS랑 연결되있다. Spark는 Computional Jobs를 HDFS에 있는 Data로 보낸다 예로 들어보자 아마존은 1tb를 가지고..

Must Know Concept이다 하나씩 해보자Linked Lists출처: https://opentutorials.org/module/1335/8857Linked Lists정의linear collection of data elements, called nodes, each pointing to the next node by means of a pointerconsisting of a group of nodes which together represent a sequence.each node is composed of data and a reference(link)구현사용efficient insertion or removal of elements from any position in the sequenc..

출처: http://macnews.tistory.com/2173 command alt h 현재 창 제외하고 다 숨기기 버튼 command tab + h or q 하면 탭으로 숨기거나 끌 수 있다. command option d -> docker 가리기 파인더에서 command + 1,2,3,4 보기모드를 바꿔준다 command c -> command option v 잘라내기이다 command option i -> 파일들의 information을 알 수 있다.

11시까지 동우랑 왔다. 잠와 죽는 줄 알았다.GSDC란 Global Science expermental Data hub Center이다.오늘은 OT만 했는데 주로 CERN와 Grid Computing 얘기였다.CERN란 CERN 은 유럽 입자 물리 연구소이다.CERN은 설립 초기부터 입자 가속기 등을 이용해, 고 에너지 물리학 연구에 많은 기여를 하였다. 또한 물리학자들의 문헌 검색 및 제휴를 위하여 고안된 HTML과 월드 와이드 웹의 발상지로도 유명하다.Grid Computing이란그리드 컴퓨팅(grid computing)은 최근 활발히 연구가 진행되고 있는 분산 병렬 컴퓨팅의 한 분야로서, 원거리 통신망(WAN, Wide Area Network)으로 연결된 서로 다른 기종의(heterogeneous..

먼저Access School Gateway로 접속을 한다ssh group07@134.75.126.46 -p 4280그리고 vm-example을 보면 이와같다masternode 한개와 worker node 4개가 있다.nova list을 입력해보면 Running 하는 Noder가 표시된다.여기서 masternode에 다시 ssh를 통해 들어가보겠다. 설치를 끝내고 kird에 지정해준 조에 맞게 ssh를 통해 접속 그 안에 1개의 master node와 3개의 worker node로 이루어져있다. 여기서 master node로 접속한다cluster.conf를 만들어서 적어보자cluster.conf를 만들어서 적어보자 UID는 Domain Name을 뜻한다. CONDOR_HOST는 Master-Node 를 뜻..

GSDC를 통해 Script Shell을 조금 알아보기로했다.출처:http://webtn.tistory.com/entry/GSDC를 통해 Script Shell을 조금 알아보기로했다.출처:http://webtn.tistory.com/entry/

위치:우리 집 앞. 메뉴는 닭곰탕이 최고

대기업 OB맥주에 입사했다. 교육이 끝나고 바로 전화해서 축하한다고 전해줬다.친구들이 다 잘됐으면 좋겠다.식제는 취해서 뭐라하는지 모르겠다.

수료증을 받았다. 분산/병렬 처리 이 분야를 택하길 잘했다 서울대 물리학과생에 대단함을 느꼈다. 책을 많이 읽어야겠다. 또한 7조(Me)가 협력을 제일 잘해서 Best Communication Awards를 받고 문화상품권 1만원을 받았다. 이런 기회있으면 또 가고싶다.

출처: 송태웅 GitHub https://github.com/taeung/git-trainingGit이란 뭘까?History 관리하는 도구개발과정, 소스파일 등을 관리하는 도구특정시점으로 복구 가능Git 의 기원어떤 작업을 하다 보면 그 사이에 뭐가 바뀌었는지 차이를 알 수없다.또한 복사에 복사를 하다보면 용량이 커진다Git의 기능 Git 실습기본설정을 먼저한다초기화를 하고 첫 commit한다.diff의 쓰임 과 git logcommit의 옵션 -m 말고 -sm 은 signature을 뜻한다.이 과정은 github의 원격저장소를 등록하는 과정commiit을 수정하는 과정이다.commit이 충돌할 경우git status touch test git reset HEAD~1Pull Request 다른 프로젝트에..