목록전체 글 (709)
MJay
vi / vim: Jump To End Of File Command Posted on August 6, 2010in Categories Linux, UNIX, Vim last updated August 14, 2013 I‘m using vim as a text editor and editing a large code file written in python. How do I jump to end of file using vim text editor under Apple Mac OS X Unix operating systems? You can save a lot of time by using appropriate movement commands in vi or vim text editor. For larg..
https://drive.google.com/open?id=1AJJcsORDFAnx1RTtlzeDk6P9SmxOTL1wcBunotFw1SY 이 논문에 대해서 ppt로 만들어봤습니다. Knowledge-Based Recommendation에 대해서 공부할수있었습니다.
NLP 인간이 쓰는 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 기술이다. Text Mining 비정형 데이터 마이닝의 방법이다. 비정형 데이터를 문서 처리기술과 자연어 처리 기술을 사용하여 유용한 정보를 추출하고 가공하는 기술이다. Machine Learning 인공 지능의 한 분야로 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하는 분야이다. NLP에서 쓰이는 ML은 kNN, Naive Bayes, SVM, CRF++ , Neural Network, HMM, MEMM이 있다. Deep Learning 인간의 두뇌를 모방하여 데이터를 처리하고 의사결정에 사용되는 패턴을 만드는 인공지능 기능이다..
ScalaPack 설치 과정 ScalaPack이란 Scalable Linear Algebra Package BLAS랑 LAPACKS이랑 BLACS이 필요하다 그래서 일단 깔아볼려다가 Installer 버전이 있더라 여기서 blas이랑 lapack을 깔아준다길래 해보니까 MPI binaries가 필요하다 Message Process Interface 다 이걸 깔아봐야한다. 포트 22번은 더 찾아봐야겠다. BLAS Installer를 통해 깔려고했는데 openmpi에서 걸렸다. openmpi라는게 있다. PATH=specifying directories of executable programs. LD_LIBRARY_PATH= specifying directories of libraries.
EC2 Container Serivce란 무엇인가 ECS는 EC2 인스턴스 클러스터에서 손쉽게 Docker 컨테이너를 실행 , 중지 및 관리할 수 있게 해주는 확장성 및 속도가 뛰어난 컨테이너 관리 서비스입니다. API 호출을 사용하여 컨테이너 기반 애플리케이션을 시작 및 중지할 수 있고 중앙 집중식 서비스를 사용하여 클러스터 상태를 확인할 수 있으며 다수의 친숙한 Amazon EC2 기능에 엑세스 가능하다. 가용성 요구 사항이 뭘까? 계속 쓸수있게 해주는 것 가용성 Docker 컨테이너는 소프트웨어 애플리케이션이 필요한 모든 것(코드, 런타임, 시스템 도구, 시스템 라이브러리 등)을 포함하는, 소프트웨어 개발의 표준화된 단위입니다. 컨테이너는 이미지라고 하는 읽기 전용 템플릿에서 생성됩니다. 일반적으로..
일단 Repository를 만들고 AWS CLI 및 Docker를 설치하고 아래 절차에 대한 자세한 내용을 보려면 ECR 설명서 페이지를 참조하십시오. 1) 다음과 같이 레지스트리에 대해 Docker 클라이언트를 인증하는 데 사용할 수 있는 docker login 명령을 조회합니다. aws ecr get-login --no-include-email --region us-east-1 2) 이전 단계에서 반환된 docker login 명령을 실행합니다. 참고: Windows PowerShell을 사용 중인 경우, 다음 명령을 대신 실행합니다. Invoke-Expression -Command (aws ecr get-login --no-include-email --region us-east-1) 3) 다음 명령..
컨테이너를 사용하여 애플리케이션을 독립된 작업으로 또는 프로세스로 분할한다. 단일 작업 기본 단위로 컨테이너로 사용가능하다 어떤 애플리케이션을 컨테이너로 구성한다는 의미이다. 애플리케이션 = 기술 , 시스템 및 제품 등을 사용하는 것을 말한다. 응용프로그램의 줄임말이다 작업을 컨테이너에 패키징한다는 건 = 감싸준다는 것이니까 작업을 컨테이너로 보내준다고 생각하면 될꺼같다. 컨테이너를 배치 및 ETL작업에 이용할수 있다. ETL -> Extract Transformation Loading 배치 작업 = 데이터를 실시간으로 처리하는게 아니라, 일괄적으로 모아서 처리하는 작업을 의미한다. AMI을 통해 Container에서 쓸사있다는 것? Repository란 저장소라고 부르고 파일이나 폴더를 담아두는 곳 레..
NLP 인간이 쓰는 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 기술이다. Text Mining 비정형 데이터 마이닝의 방법이다. 비정형 데이터를 문서 처리기술과 자연어 처리 기술을 사용하여 유용한 정보를 추출하고 가공하는 기술이다. Machine Learning 인공 지능의 한 분야로 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하는 분야이다. NLP에서 쓰이는 ML은 kNN, Naive Bayes, SVM, CRF++ , Neural Network, HMM, MEMM이 있다. Deep Learning 인간의 두뇌를 모방하여 데이터를 처리하고 의사결정에 사용되는 패턴을 만드는 인공지능 기능이다..
dpkg란 데비안 패키지 관리 시스템의 기초가 되는 소프트웨어이다. dpkg 명령어가 .deb 패키지의 설치,삭제,정보 제공을 위해 사용된다. dpkg 그 자체는 저레벨의 도구이며 APT와 같은 고급 도구들이 복잡한 패키지 관계와 패키지를 원격에서 받아오는 등의 일을 한다. dpkg -i deb파일명 1. 패키지에 대한 정보 보기 #dpkg --info file_name 2. 패키지에 들어있는 파일 보기 #dpkg --contents file_name3. 패키지 설치하기 #dpkg -i file_name4. 패키지를 풀어헤치기만 하고 설정하지 않기 #dpkg --unpack file_name5. --unpack으로 풀어헤친 패키지를 설정하기 #dpkg --configure file_name6. 패키지 삭..
Scale-Up에서 확장성 문제가 나타난다 자바 가상 머신의 GC(Garbage Collection)에 의한 오버헤드 scale-up 서버의 NUMA(Non Un-iform Memory Access) 메모리 구조에 따른 메모리 접근 지연(Memory Access Latency) 시간 문제 공유 메모리 시스템(Shared Memory System) scale-up 서버를 파티셔닝(partitioning)하여 하나의 서버를 분산 시스템(Distributed System) 메모리를 사용하기 때문에 맵리듀스보다 빠르다는 장점 그러나 도커는 게스트 OS를 설치하지 않고, OS 이미지가 동작하도록 CPU와 메모리 영역만 가상화한다. 자바 가상 머신에서 GC가 호출되면, 자바 가상 머신에서 수행되는 쓰레드들은 멈추고..