Ekstraktor n-gramów

Co mówi Ci każda długość n-gramu

Jak narzędzie dzieli Twój tekst

• Wszystko trafia na małe litery, więc “The” i “the” lądują w tym samym wierszu.
• Wyraz to dowolny ciąg liter, cyfr lub apostrofów. Każdy inny znak (interpunkcja, symbole, znaki końca wiersza) jest separatorem i zostaje usunięty.
• Granice zdań nie są zachowywane. Ostatni wyraz jednego zdania i pierwszy wyraz następnego wciąż mogą utworzyć n-gram, więc pary przechodzące przez granicę zdania traktuj ostrożnie. Jeśli ma to znaczenie, analizuj tekst zdanie po zdaniu lub akapit po akapicie.
• Słowa stop pozostają. Nic nie jest filtrowane za Ciebie: jeśli chcesz wyłącznie frazy znaczeniowe, usuń te wiersze z pliku CSV po eksporcie.
• Wyrazy rozpoznawane są po spacjach i interpunkcji. Polski oddziela wyrazy spacjami, więc narzędzie działa od razu. Pamiętaj jednak, że formy fleksyjne liczone są osobno: “strona”, “strony” i “stronie” trafią do różnych wierszy. Jeśli potrzebujesz form podstawowych, przepuść tekst najpierw przez lematyzator (Morfeusz, spaCy dla polskiego). Chiński, japoński i tajski nie stawiają spacji między wyrazami: całe zdanie trafi tu jako jeden wyraz, więc trzeba je wcześniej podzielić (jieba, MeCab, segmentator tajskiego).

Kiedy usuwać słowa stop

Słowa stop to bardzo częste wyrazy funkcyjne: w angielskim “the”, “a”, “of”, “and”, a w polskim “i”, “w”, “na”, “się”. Pozostawienie ich zapycha listę bigramów śmieciami w rodzaju “of the” czy “w się”. Ten ekstraktor ich nie usuwa, więc skasuj takie wiersze z eksportu, gdy zależy Ci na frazach znaczeniowych, i zostaw je, gdy badasz styl, atrybucję autorstwa albo modele językowe, w których wyrazy funkcyjne same w sobie niosą sygnał.

Zastosowanie w SEO

Dla artykułu celującego w “nginx config generator” sprawdź:

• Czy docelowy bigram i trigram są w pierwszej dwudziestce. Jeśli “nginx config” zajmuje 40. miejsce, prawdopodobnie używasz tego terminu zbyt rzadko.
• Czy nie upychasz słów kluczowych. Jeśli fraza jest na 1. miejscu z ogromną przewagą, tekst czyta się jak spam.
• Czy istnieją sąsiedzi semantyczni. Powiązane bigramy w rodzaju “server block”, “proxy pass” i “ssl certificate” upewniają wyszukiwarki, że temat został omówiony.

Zastosowania w NLP i nauce

• Modele językowe wykorzystują częstotliwości n-gramów do wygładzania i metody backoff (Kneser-Ney, Good-Turing).
• Badania nad atrybucją autorstwa porównują rozkłady trigramów u poszczególnych kandydatów na autora.
• Ocena tłumaczenia maszynowego (BLEU) punktuje pokrycie n-gramów między tłumaczeniem kandydującym a referencyjnym.