POS Tagging 정리

• POS Taggin
• lexical token
• Token
• 어휘가 있는 token
• POS란
• 품사라고 뜻한다
• noun, adverbs, adjectives, pronouns, conjunction
• Part of Speech
• Tagging과 같은 뜻
• tagging, labeling, annotation
• POS Tag
• Brown Corpus
• 문장 많이 모아 놓은것
• Penn Treebank
• 가장 많이 쓰인다
• 45 Pos Tagging
• Claws5 “C5"
• taggin 종류
• 의미 tagging
• Pos tagging
• 구문 tagging
• 개체명 tagging
• P, L, O
• POS Tagsets
• Verbs
• VB,VBP,VBZ,VBD
• Nouns
• NNP,NNPS,NN,NNS
• POS Tagging Approaches
• Rule-Based
• 규칙기반
• 사람이 규칙을 준다
• Learning-Based
• Machine Learning
• Classification Learning
• Labeling as Classification
• Sequecen Laelign s Classification
• Forward
• Forward & Backward
• 하나의 단어중심으로 왼쪽이랑 오른쪽을 본다
• HMM
• 좌문맥만 본다
• CRF
• 우문맥만 본다
• Typical machine learnign address the problem 
• Statistical models
• better than Rule-Based
• hmm
• hmm model
• automata 형식
• output observation probability 
• wikipedia 보면서 공부해보기
• 시스템이 은닉된 상태와 관찰가능한 결과의 두 가지 요소로 이루어졌다고 보는 모델
• 은닉 마르코프 모델은 시간의 흐름에 따라 변화하는 시스템의 패턴을 인식하는 작업에 유용하다. 
• Entropy

• An entropy maximization problem is a convex optimization problem of the form

  maximize ${\displaystyle f_0(\overrightarrow{x})=-\sum _{i=1}^n{x}_i\log x_i}$

  subject to ${\displaystyle A\overrightarrow{x}\le b,{\mathbf{1}}^T\overrightarrow{x}=|\overrightarrow{x}{|}_1=1}$

  where ${\displaystyle \overrightarrow{x}\in {\mathbb{R}}_{++}^n}$ is the optimization variable, ${\displaystyle A\in {\mathbb{R}}^{m\times n}}$ and ${\displaystyle b\in {\mathbb{R}}^m}$ are problem parameters, and ${\displaystyle \mathbf{1}}$ denotes a vector whose components are all 1.