Kategori
Multimedia Python

Analisis Sintaksis NLP dengan Python

Sebelum mempelajari bagaimana membuat sebuah aplikasi NLP dengan python, ada baiknya membaca tentang teori NLP : Natural Language Processing (NLP) .

Ada berbagai macam library pyhon yang digunakan dalam proses NLP ini

  • NLTK (Natural Language Toolkit)
    • Features: Tokenization, Part Of Speech tagging (POS), Named Entity Recognition (NER), Classification, Sentiment analysis, Packages of chatbots.
    • Use-cases: Recommendation systems, Sentiment analysis, Building chatbots.
  • spaCy
    • Features: Tokenization, Part Of Speech tagging (POS), Named Entity Recognition (NER), Classification, Sentiment analysis, Dependency parsing, Word vectors.
    • Use-cases: Autocomplete and autocorrect, Analyzing reviews, Summarization.
  • Gensim
    • Features: Latent semantic analysis, Non-negative matrix factorization, TF-IDF.
    • Use-cases: Converting documents to vectors, Finding text similarity, Text summarization.
  • Pattern
    • Features: Tokenization, Part of Speech tagging, Named entity recognition, Parsing, Sentiment analysis.
    • Use-cases: Spelling correction, Search engine optimization, Sentiment analysis.
  • TextBlob
    • Features: Part-of-Speech tagging, Noun phrase extraction, Sentiment analysis, Classification, Language translation, Parsing, Wordnet integration.
    • Use-cases: Sentiment Analysis, Spelling Correction, Translation and Language Detection.

Library NLTK

Pada kesempatan ini akan digunakan library dari NLTK

Natural Language Toolkit atau disingkat NLTK, adalah libray python untuk bekerja dengan permodelan teks. NLTK menyediakan alat yang baik mempersiapkan teks sebelum digunakan pada machine learning atau algoritma deep learning. Cara termudah untuk menginstall NLTK adalah menggunakan “pip” pada command line/terminal.

Install Library

Masuk ke command prompt/terminal, pastikan python sudah terinstall, Install library nltk (pip install nltk)

Instalasi Packet yang dibutuhkan : pada cmd, masuk ke python : Python –> Import nltk –> nltk.download() — > Pilih All Packages (install)

Skenario

Cari sebuah naskah yang terdiri dari beberapa paragraph, disimpan dalam bentuk notepad .txt

Contoh Paragraf

Tipe Data

Program Tipe Data
Hasil Tipe Data

Sentence Token

Program Sentence Token
Output Sentence Token

Word Token

Program Word Token
Output Word Token

Frequency Distribution

Program Freq Distribution
Output Freq Distribution

Plotting

Program Plotting
Output Plotting

Ref : [1][2][3][4][5]

Satu tanggapan untuk “Analisis Sintaksis NLP dengan Python”

Komentar ditutup.