Przygotowania

Postaramy się, aby proces przygotowania bym najkrótszy z możliwych. W związku z tym zaczynamy uruchamiając instancję Solr w następujący sposób:

$ bin/solr start -c -f

Następnie tworzymy kolekcję o nazwie test:

$ bin/solr create -c test

Będziemy korzystać z domyślnej konfiguracji Solr, która pozwala nam zapomnieć o strukturze danych, przynajmniej w pewnych, ograniczonych warunkach. Należy pamiętać, aby nie wykorzystywać domyślnej konfiguracji, jako tej, z którą można iść na produkcję.

Dane do tagowania

Skupmy się na chwilę na danych. Po pierwsze potrzebujemy danych, które posłużą nam jako te, którymi będziemy tagować. Na przykład użyjmy następujących nazwisk:

Thomas Jefferson
Alexander Hamilton
George Washington
John Adams
James Wilkinson

Aby przygotować je do tego, aby możliwe było skorzystanie z tagowania konieczna jest nieznaczna modyfikacja domyślnej konfiguracji – dodanie nowego typu pola, dodanie dwóch pól oraz kopiowania wartości jednego pola do drugiego. To wszystko możemy dodać do konfiguracji naszej kolekcji następującym poleceniem:

$ curl -XPOST -H 'Content-type:application/json'  'http://localhost:8983/solr/test/schema' -d '{
  "add-field-type":{
    "name":"tag",
    "class":"solr.TextField",
    "postingsFormat":"FST50",
    "omitNorms":true,
    "omitTermFreqAndPositions":true,
    "indexAnalyzer":{
      "tokenizer":{ "class":"solr.StandardTokenizerFactory" },
      "filters":[
        {"class":"solr.LowerCaseFilterFactory"},
        {"class":"solr.ConcatenateGraphFilterFactory", "preservePositionIncrements":false }
      ]},
    "queryAnalyzer":{
      "tokenizer":{
         "class":"solr.StandardTokenizerFactory" },
      "filters":[
        {"class":"solr.LowerCaseFilterFactory"}
      ]}
    },
  "add-field":{"name":"name", "type":"text_general"},
  "add-field":{"name":"name_tag", "type":"tag", "stored":false},
  "add-copy-field":{"source":"name", "dest":["name_tag"]}
}'

Zatrzymajmy się na chwilę i zastanówmy dlaczego dodaliśmy poszczególne elementy konfiguracji. Po pierwsze dodaliśmy nowy typ nazwany tag. Pozwala on funkcjonalności tagowania działać. Kluczowe są tak naprawdę dwie rzeczy – właściwość postingsFormat ustawiona na wartość FST50 oraz filtr solr.ConcatenateGraphFilterFactory, jako ostatni filtr w trakcie indeksowania.

Następna sprawa to tagi. Potrzbujemy pola, które będzie przechowywać dane, pola, które będzie umożliwiło działanie tagera, czyli pól name oraz name_tag. I oczywiście automatycznego kopiowania.

Mając to wszystko możemy zaindeksować nasze tagi korzystając z następującego polecenia:

$ curl -XPOST -H 'Content-type:application/json'  'http://localhost:8983/solr/test/update' -d '[
 {"name":"Thomas Jefferson"},
 {"name":"Alexander Hamilton"},
 {"name":"George Washington"},
 {"name":"John Adams"},
 {"name":"James Wilkinson"}
]'

Tagowanie tekstu

Teraz, mając już zaindeksowane dane, które nas interesują możemy spróbować tagowania na tekście potencjalnie zawierającym te dane. Jednak przed tym dodajemy nowy requets handler korzystając z następującego polecenia:

$ curl -XPOST -H 'Content-type:application/json' 'http://localhost:8983/solr/test/config' -d '{
 "add-requesthandler" : {
  "name": "/tagger",
  "class": "solr.TaggerRequestHandler",
  "defaults": {
   "field":"name_tag"
  }
 }
}'

Powyższe polecenie dodaje nowy request handler o nazwie  /tagger oparty o klasę solr.TaggerRequestHandler. Po tym możemy wreszcie wysłać zapytanie do nowego handlera:

$ curl -X POST 'http://localhost:8983/solr/test/tagger?fl=id,name&wt=json&indent=on' 
-H 'Content-Type:text/plain' -d 'George Washington (February 22, 
1732 December 14, 1799) was the first President of the United States 
(1789-1797), and was among the nation`s Founding Fathers. From 1775 
to 1783, he led the Patriot forces to victory over the British in 
the American Revolutionary War. He presided over the Constitutional 
Convention which formed the basis of the new federal government in 
Since the late 1780s, Washington has been known as the "Father 
of His Country" by compatriots. He is ranked by scholars among 
the top presidents in history. Washington was born to a moderately 
prosperous family of planters, who owned slaves in colonial 
Virginia. He had early opportunities in education, learned 
mathematics and quickly launched a successful career as a surveyor, 
which in turn enabled him to make considerable land investments. He 
then joined the Virginia militia and fought in the French and Indian
War. During the American Revolutionary War, Washington was 
appointed commander-in-chief of the Continental Army, taking 
initiative in raids like those at Trenton, commanding in 
conventional battles such as the Battle of Monmouth, and 
coordinating a combined French-Patriot allied campaign at the Siege 
of Yorktown ending the conflict. His devotion to American 
Republicanism impelled him to decline further power after victory, 
and he resigned as commander-in-chief in 1783. Washington was born 
to a moderately prosperous family of planters, who owned slaves in 
colonial Virginia. He had early opportunities in education, learned 
mathematics and quickly launched a successful career as a surveyor, 
which in turn enabled him to make considerable land investments. He 
then joined the Virginia militia and fought in the French and Indian 
War. During the American Revolutionary War, Washington was appointed 
commander-in-chief of the Continental Army, taking initiative in 
raids like those at Trenton, commanding in conventional battles such 
as the Battle of Monmouth, and coordinating a combined French-Patriot 
allied campaign at the Siege of Yorktown ending the conflict. His 
devotion to American Republicanism impelled him to decline further 
power after victory, and he resigned as commander-
in-chief in 1783. Washington was among the countryís premier statesmen
and was unanimously chosen as president by the Electoral 
College in the first two national elections. He promoted and oversaw 
the implementation of a strong, well-financed national government. 
He remained impartial in the fierce rivalry between two cabinet 
secretaries, Thomas Jefferson and Alexander Hamilton, though he 
adopted Hamilton economic plans. When the French Revolution plunged 
Europe into war, Washington assumed a policy of neutrality 
to protect American shipsóalthough the controversial Jay Treaty of 
1795 normalized trade relations with Great Britain. Washington set 
precedents still in use today, such as the Cabinet advisory system, 
the inaugural address, the title "Mr. President", and a two-term 
limit. In his Farewell Address he gave a primer on civic virtue, 
warning of partisanship, sectionalism, and involvement in foreign 
wars. Washington inherited slaves at age eleven, prospered from slavery 
most of his life, and as late as 1793 officially supported other 
slaveholders. Eventually he became troubled with slavery and in his 
final will in 1799 he freed all his slaves. He is renowned for his 
religious toleration; his personal religion and devotion to 
Freemasonry have been debated. Upon his death, Washington was famously 
eulogized as "first in war, first in peace, and first in 
the hearts of his countrymen". He has been widely memorialized by 
monuments, public works, places, stamps, and currency. The nations capital, Washington D.C., and the state of Washington bear his name; and since 1932 the quarter dollar has carried his effigy.'

Wynik zwrócony przez Solr wygląda następująco:

{
  "responseHeader":{
    "status":0,
    "QTime":2},
  "tagsCount":15,
  "tags":[[
      "startOffset",0,
      "endOffset",6,
      "ids",["d8d14516-7637-48c3-8042-ecf68b3822ef"]],
    [
      "startOffset",7,
      "endOffset",17,
      "ids",["d8d14516-7637-48c3-8042-ecf68b3822ef"]],
    [
      "startOffset",398,
      "endOffset",408,
      "ids",["d8d14516-7637-48c3-8042-ecf68b3822ef"]],
    [
      "startOffset",534,
      "endOffset",544,
      "ids",["d8d14516-7637-48c3-8042-ecf68b3822ef"]],
    [
      "startOffset",1693,
      "endOffset",1699,
      "ids",["7dad41c3-e607-4b6f-a86d-6d6490f48e4f"]],
    [
      "startOffset",1700,
      "endOffset",1709,
      "ids",["7dad41c3-e607-4b6f-a86d-6d6490f48e4f"]],
    [
      "startOffset",1714,
      "endOffset",1723,
      "ids",["5796481a-a698-4aa4-9666-9f5e4e565996"]],
    [
      "startOffset",1724,
      "endOffset",1732,
      "ids",["5796481a-a698-4aa4-9666-9f5e4e565996"]],
    [
      "startOffset",1752,
      "endOffset",1760,
      "ids",["5796481a-a698-4aa4-9666-9f5e4e565996"]],
    [
      "startOffset",1831,
      "endOffset",1841,
      "ids",["d8d14516-7637-48c3-8042-ecf68b3822ef"]],
    [
      "startOffset",1992,
      "endOffset",2002,
      "ids",["d8d14516-7637-48c3-8042-ecf68b3822ef"]],
    [
      "startOffset",2278,
      "endOffset",2288,
      "ids",["d8d14516-7637-48c3-8042-ecf68b3822ef"]],
    [
      "startOffset",2651,
      "endOffset",2661,
      "ids",["d8d14516-7637-48c3-8042-ecf68b3822ef"]],
    [
      "startOffset",2875,
      "endOffset",2885,
      "ids",["d8d14516-7637-48c3-8042-ecf68b3822ef"]],
    [
      "startOffset",2909,
      "endOffset",2919,
      "ids",["d8d14516-7637-48c3-8042-ecf68b3822ef"]]],
  "response":{"numFound":3,"start":0,"docs":[
      {
        "name":["Thomas Jefferson"],
        "id":"7dad41c3-e607-4b6f-a86d-6d6490f48e4f"},
      {
        "name":["Alexander Hamilton"],
        "id":"5796481a-a698-4aa4-9666-9f5e4e565996"},
      {
        "name":["George Washington"],
        "id":"d8d14516-7637-48c3-8042-ecf68b3822ef"}]
  }}

Jak widać wzrócone zostały tagi wraz z ich występowaniem w tekście – każdy z nich ma odpowiednie informacje pozwalające na identyfikację. W ramach odpowiedzi od Solr dostaliśmy także listę znalezionych tagów – w sumie wszystko co jest potrzebne

Dodatkowe opcje tagera

Oczywiście Solr pozwala nam na kontrolę nowej funkcjonalności. Oprócz parametru fl oraz właściwości field możemy także korzystać z filtrów, definiować maksymalną ilość wyników, czy wybierać algortym radzący sobie z tagami, które zachodzą na siebie oraz kilka innych. Pełną listę opcji można znaleźć w oficjalnej dokumentacji Solr: https://lucene.apache.org/solr/guide/7_4/the-tagger-handler.html.

Wydajność

Chcieliśmy także wspomnieć o kilku rzeczach związanych z wydajnością funkcjonalności tagowania tekstu. Po pierwsze, w wersji 7.4.0 Solr, handler tagowania nie jest w stanie przyjąć więcej, niż jednego dokumentu na raz. Oznacza to, iż nie ma łatwej możliwości wysyłania wielu dokumentów na raz. Oczywiście można sklejać dokumenty i wysyłać je jako pojedynczy ciąg tekstu, aczkolwiek nie jest to zbyt eleganckie rozwiązanie. Warto także pamiętać, iż tagowanie działa w oparciu o indeks Lucene i jest swego rodzaju wyszukiwaniem. Oznacza to, iż im mniej segmentów ma nasz indeks zawierający tagi, tym potencjalnie szybsze będą zapytania tagujące. Wartto więc zastanowić się nad optymalizacją kolekcji i wymuszeniem pojedynczego segmentu.

Ograniczenia

Ostatnia rzecz o której chcieliśmy wspomnieć to ograniczenia. W chwili pisania tego tekstu, czyli w wersji 7.4.0 Solr tagowanie możliwe jest tylko w przypadku kolekcji zbudowanej z pojedynczego shardu. Niewykluczone, iż zmieni się to w przyszłości, jednak na razie należy o tym pamiętać.