MJay

NLP 인간이 쓰는 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 기술이다. Text Mining 비정형 데이터 마이닝의 방법이다. 비정형 데이터를 문서 처리기술과 자연어 처리 기술을 사용하여 유용한 정보를 추출하고 가공하는 기술이다. Machine Learning 인공 지능의 한 분야로 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하는 분야이다. NLP에서 쓰이는 ML은 kNN, Naive Bayes, SVM, CRF++ , Neural Network, HMM, MEMM이 있다. Deep Learning 인간의 두뇌를 모방하여 데이터를 처리하고 의사결정에 사용되는 패턴을 만드는 인공지능 기능이다..

EC2 Container Serivce란 무엇인가 ECS는 EC2 인스턴스 클러스터에서 손쉽게 Docker 컨테이너를 실행 , 중지 및 관리할 수 있게 해주는 확장성 및 속도가 뛰어난 컨테이너 관리 서비스입니다. API 호출을 사용하여 컨테이너 기반 애플리케이션을 시작 및 중지할 수 있고 중앙 집중식 서비스를 사용하여 클러스터 상태를 확인할 수 있으며 다수의 친숙한 Amazon EC2 기능에 엑세스 가능하다. 가용성 요구 사항이 뭘까? 계속 쓸수있게 해주는 것 가용성 Docker 컨테이너는 소프트웨어 애플리케이션이 필요한 모든 것(코드, 런타임, 시스템 도구, 시스템 라이브러리 등)을 포함하는, 소프트웨어 개발의 표준화된 단위입니다. 컨테이너는 이미지라고 하는 읽기 전용 템플릿에서 생성됩니다. 일반적으로..

일단 Repository를 만들고 AWS CLI 및 Docker를 설치하고 아래 절차에 대한 자세한 내용을 보려면 ECR 설명서 페이지를 참조하십시오. 1) 다음과 같이 레지스트리에 대해 Docker 클라이언트를 인증하는 데 사용할 수 있는 docker login 명령을 조회합니다. aws ecr get-login --no-include-email --region us-east-1 2) 이전 단계에서 반환된 docker login 명령을 실행합니다. 참고: Windows PowerShell을 사용 중인 경우, 다음 명령을 대신 실행합니다. Invoke-Expression -Command (aws ecr get-login --no-include-email --region us-east-1) 3) 다음 명령..

컨테이너를 사용하여 애플리케이션을 독립된 작업으로 또는 프로세스로 분할한다. 단일 작업 기본 단위로 컨테이너로 사용가능하다 어떤 애플리케이션을 컨테이너로 구성한다는 의미이다. 애플리케이션 = 기술 , 시스템 및 제품 등을 사용하는 것을 말한다. 응용프로그램의 줄임말이다 작업을 컨테이너에 패키징한다는 건 = 감싸준다는 것이니까 작업을 컨테이너로 보내준다고 생각하면 될꺼같다. 컨테이너를 배치 및 ETL작업에 이용할수 있다. ETL -> Extract Transformation Loading 배치 작업 = 데이터를 실시간으로 처리하는게 아니라, 일괄적으로 모아서 처리하는 작업을 의미한다. AMI을 통해 Container에서 쓸사있다는 것? Repository란 저장소라고 부르고 파일이나 폴더를 담아두는 곳 레..

NLP 인간이 쓰는 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 기술이다. Text Mining 비정형 데이터 마이닝의 방법이다. 비정형 데이터를 문서 처리기술과 자연어 처리 기술을 사용하여 유용한 정보를 추출하고 가공하는 기술이다. Machine Learning 인공 지능의 한 분야로 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하는 분야이다. NLP에서 쓰이는 ML은 kNN, Naive Bayes, SVM, CRF++ , Neural Network, HMM, MEMM이 있다. Deep Learning 인간의 두뇌를 모방하여 데이터를 처리하고 의사결정에 사용되는 패턴을 만드는 인공지능 기능이다..

Scale-Up에서 확장성 문제가 나타난다 자바 가상 머신의 GC(Garbage Collection)에 의한 오버헤드 scale-up 서버의 NUMA(Non Un-iform Memory Access) 메모리 구조에 따른 메모리 접근 지연(Memory Access Latency) 시간 문제 공유 메모리 시스템(Shared Memory System) scale-up 서버를 파티셔닝(partitioning)하여 하나의 서버를 분산 시스템(Distributed System) 메모리를 사용하기 때문에 맵리듀스보다 빠르다는 장점 그러나 도커는 게스트 OS를 설치하지 않고, OS 이미지가 동작하도록 CPU와 메모리 영역만 가상화한다. 자바 가상 머신에서 GC가 호출되면, 자바 가상 머신에서 수행되는 쓰레드들은 멈추고..

요 약 기존의 빅데이터(BigData) 플랫폼에서는 분산 처리 환경(scale-out)을 기반으로 한 하둡(Hadoop)과 스파크(Spark)와 같은 분산 처리 프레임워크가 많이 사용되어 왔다. 하지만 최근 기술이 발달하여 매니코어(Many-core) 기술과 같은 고성능 컴퓨팅 서버가 보편화됨에 따라 여러 대의 서버로 구성된 분산 처리 환경 대신 한 대의 고성능 컴퓨터 환경(scale-up)에서 분산 처리 프레임워크를 구축하여 빅데이터를 처리하는 시도가 가능해졌다. 따라서 이러한 방법이 현실화되기 위해서는 코어 수 증가에 따른 성능 확장 (scalability)이 확보되어야 한다. 본 논문에서는 하둡 파일 시스템(HDFS)과 아파치 스파크(Apache Spark) 시스템을 120 코어로 구성된 단일 sc..

aux는 뭐하는 파일일까? aux file is opened for writing in \begin{document} 이라고 한다 이게 어디있는지 찾아봐야겠다. aux파일에 begin document는 없다 \cite 에서 쓰이는 구먼 Reference는 어떻게 가져오는걸까? 어떻게 인용은 하는걸까 처음에 보면 \documentclass [confernece] {IEEEtran} 이게 뭘까? 온라인 Latex는 많은 패키지가 이미 인스톨 되어있다. Sharelatex 나 Overleaf가 있다. 처음에 Blank 로 시작해서 IEEE 템플릿을 다운받아야한다. ieeeconf.zip ieeetransBST.zip IEEtranhowto.pdf 이렇게 3가지가 있군 일단 여기까지만 하자 \usepackage..

요즘 Docker 공부를 많이 하고있다. Ubuntu-16.04 + CUDA + cuDNN 을 설치해주는 Dockerfile을 여러 시도 후에 완성시켰다. https://hub.docker.com/u/kmubigdata/dashboard/ FROM kmubigdata/ubuntu-1604 RUN NVIDIA_GPGKEY_SUM=d1be581509378368edeec8c1eb2958702feedf3bc3d17011adbf24efacce4ab5 && \ NVIDIA_GPGKEY_FPR=ae09fe4bbd223a84b2ccfce3f60f4b3d7fa2af80 && \ apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos..

Abstract The integration of informatization and industrialization is depth integration of informatization and industrialization in many fields, which is the new developing way for informatization and industrialization. It is a complicated process of integration for enterprises, which is necessary to learn from the experience of other enterprises to improve efficiency. But facing numerous cases, ..