[NLP] Stopward&NER

Stopward(불용어)

• 문장에서 a, the와 같은 많이 사용하는 단어, 하지만 어떤 고유의 명사나 동사, 또는 수식어로 분류되지 않는 단어.
• 자연어 처리에서 방해되기 때문에 제일 먼저 제거

품사

• 기본 품사 태그 : 명사, 동사, 형용사
• 세부 품사 태그 : 단어가 복수형인지, 과거 시제 동사인지, 최상급 형용사인지 등

개체명 인식[NER]

• 텍스트 원문에서 언급된 개체명을 찾아 미리 정의해 놓은 범주로 분류
  • 범주 : 인명, 조직, 장소, 의료 코드, 시간 표현, 수량 등
  • ex) Jim bought 300 shares of Acme Corp in 2006
    • Jim[Person] bought 300 shares of Acme Corp[Organization] in 2006[Time]
  • NER 목록

    TYPE	DESCRIPTION	EXAMPLE
    PERSON	사람 이름(가상 인물 포함)	Fred Flintstone
    NORP	국적, 종교, 정치 집단	The Republican Party
    FAC	건물, 공항, 고속도로, 교량 등 시설	Logan International Airport, The Golden Gate
    ORG	회사, 기관, 단체, 조직	Microsoft, FBI, MIT
    GPE	국가, 도시, 주(행정구역)	France, UAR, Chicago, Idaho
    LOC	GPE가 아닌 위치(지역, 산맥, 강 등)	Europe, Nile River, Midwest
    PRODUCT	물품, 탈것, 음식 등 (서비스 제외)	Formula 1
    EVENT	허리케인, 전쟁, 스포츠 이벤트 등 명명된 사건	Olympic Games
    WORK_OF_ART	책, 노래, 예술 작품 제목	The Mona Lisa
    LAW	법률로 제정된 문서명	Roe v. Wade
    LANGUAGE	언어 이름	English
    DATE	날짜, 기간(절대·상대)	20 July 1969
    TIME	하루 미만의 시간 표현	Four hours
    PERCENT	백분율 표현(%) 포함	Eighty percent
    MONEY	통화 단위가 포함된 금액	Twenty Cents
    QUANTITY	수량·측정값(무게, 거리 등)	Several kilometers, 55kg
    ORDINAL	순서 수사	9th, Ninth
    CARDINAL	다른 유형에 속하지 않는 수사	2, Two, Fifty-two