검색 기능은 준비 중입니다.
검색 기능은 준비 중입니다.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

New Word Detection Using BiLSTM+CRF Model with Features 기능이 포함된 BiLSTM+CRF 모델을 사용한 새로운 단어 감지

Jianyong DUAN, Zheng TAN, Mei ZHANG, Hao WANG

  • 조회수

    0

  • 이것을 인용

요약 :

수많은 소셜 플랫폼의 인기가 높아지면서 점점 더 많은 새로운 단어가 등장하고 있습니다. 그러나 이러한 새로운 단어로 인해 단어 분할과 같은 일부 NLP 작업이 더욱 어려워졌습니다. 따라서 새로운 단어 감지는 NLP에서 항상 중요하고 어려운 작업입니다. 본 논문에서는 우리가 선택한 몇 가지 특징을 추가한 BiLSTM+CRF 모델을 사용하여 새로운 단어를 추출하는 것을 목표로 합니다. 이러한 기능에는 단어 길이, 품사(POS), 문맥 엔트로피 및 단어 응고 정도가 포함됩니다. 기존의 새로운 단어 탐지 방법과 비교하여, 우리의 방법은 모델에서 추출한 특징과 새로운 단어를 찾기 위해 선택한 특징을 모두 사용할 수 있습니다. 실험 결과는 우리 모델이 벤치마크 모델에 비해 더 나은 성능을 발휘할 수 있음을 보여줍니다.

발행
IEICE TRANSACTIONS on Information Vol.E103-D No.10 pp.2228-2236
발행일
2020/10/01
공개일
2020/07/14
온라인 ISSN
1745-1361
DOI
10.1587/transinf.2019EDP7330
원고의 종류
PAPER
범주
자연 언어 처리

작성자

Jianyong DUAN
  North China University of Technology,CNONIX National Standard Application and Promotion Lab
Zheng TAN
  North China University of Technology,CNONIX National Standard Application and Promotion Lab
Mei ZHANG
  North China University of Technology
Hao WANG
  North China University of Technology,CNONIX National Standard Application and Promotion Lab

키워드