dismax – Solr.pl https://solr.pl All things to be found - Blog related to Apache Solr & Lucene projects - https://solr.apache.org Wed, 11 Nov 2020 22:23:59 +0000 pl-PL hourly 1 https://wordpress.org/?v=6.9 Do czego może przydać się tie w Dismax’ie ? https://solr.pl/2012/02/06/do-czego-moze-przydac-sie-tie-w-dismaxie/ https://solr.pl/2012/02/06/do-czego-moze-przydac-sie-tie-w-dismaxie/#respond Mon, 06 Feb 2012 22:23:11 +0000 http://sematext.solr.pl/?p=398 Dismax parser obecny jest w Solr od niepamiętnych czasów. W większości wypadków jednak korzystamy z parameterów takich, jak qf, pf, czy mm zapominając zupełnie o bardzo przydatnym parametrze pozwalającym kontrolować wpływ mniej ważnych pól na score dokumentu, czyli o parametrze tie.

Tie, czyli co ?

Parametr tie pozwala kontrolować, jak mocny wpływ na score mają pola, które otrzymały score mniejszy od najwyższego. W przypadku ustawienia parametru tie na wartość 0.0, podczas liczenia score będą brane pod uwagę tylko i wyłącznie te pola, które otrzymały najwyższy score. W przypadku ustawienia tego parametru na wartość 0.99, pola, które mają score mniejszy od najwyższego będą traktowane prawie identycznie, jak pole o najwyższym wyliczonym score. Sprawdźmy zatem, czy jest to prawda.

Struktura danych i ich przykład

Do testów wybrałem sobie bardzo prostą strukturę indeksu, która teoretycznie mogłaby przedstawiać produkty w sklepie internetowym, oczywiście w ogromnym uproszczeniu: 

<field name="id" type="string" indexed="true" stored="true" required="true" />
<field name="title" type="text_ws" indexed="true" stored="true" />
<field name="description" type="text_ws" indexed="true" stored="true" />
<field name="author" type="text_ws" indexed="true" stored="true" multiValued="true" />

Typ text_ws został zdefiniowany w następujący sposób: 

<fieldType name="text_ws" class="solr.TextField" positionIncrementGap="100">
 <analyzer>
  <tokenizer class="solr.WhitespaceTokenizerFactory"/>
  <filter class="solr.LowerCaseFilterFactory"/>
 </analyzer>
</fieldType>

Natomiast przykładowe dane wyglądają w następujący sposób: 

<add>
 <doc>
  <field name="id">1</field>
  <field name="title">First test book</field>
  <field name="description">This is a description of the first test book by Joe and Jane Blow</field>
  <field name="author">Joe Blow</field>
  <field name="author">Jane Blow</field>
 </doc>
 <doc>
  <field name="id">2</field>
  <field name="title">Second test book</field>
  <field name="description">This is a description of the second test book by Joe Blow</field>
  <field name="author">Joe Blow</field>
 </doc>
</add>

Rezultat z tie == 0.01

Zacznijmy więc testy. Na pierwszy ogień idzie następujące zapytanie: 

defType=dismax&qf=title^1000 description author^10&tie=0.01&fl=id,score&debugQuery=on&indent=true&q=joe blow book

Powyższe skutkuje następującymi wynikami zwróconymi przez Solr (wizualizacja – http://explain.solr.pl/explains/cf0wnkpj): 

<?xml version="1.0" encoding="UTF-8"?>
<response>
<lst name="responseHeader">
  <int name="status">0</int>
  <int name="QTime">8</int>
  <lst name="params">
    <str name="fl">id,score</str>
    <str name="debugQuery">on</str>
    <str name="indent">true</str>
    <str name="tie">0.01</str>
    <str name="q">joe blow book</str>
    <str name="qf">title^1000 description author^10</str>
    <str name="defType">dismax</str>
  </lst>
</lst>
<result name="response" numFound="2" start="0" maxScore="0.07342677">
  <doc>
    <float name="score">0.07342677</float>
    <str name="id">2</str>
  </doc>
  <doc>
    <float name="score">0.073365316</float>
    <str name="id">1</str>
  </doc>
</result>
<lst name="debug">
  <str name="rawquerystring">joe blow book</str>
  <str name="querystring">joe blow book</str>
  <str name="parsedquery">+((DisjunctionMaxQuery((author:joe^10.0 | title:joe^1000.0 | description:joe)~0.01) DisjunctionMaxQuery((author:blow^10.0 | title:blow^1000.0 | description:blow)~0.01) DisjunctionMaxQuery((author:book^10.0 | title:book^1000.0 | description:book)~0.01))~3) ()</str>
  <str name="parsedquery_toString">+(((author:joe^10.0 | title:joe^1000.0 | description:joe)~0.01 (author:blow^10.0 | title:blow^1000.0 | description:blow)~0.01 (author:book^10.0 | title:book^1000.0 | description:book)~0.01)~3) ()</str>
  <lst name="explain">
    <str name="2">
0.07342677 = (MATCH) sum of:
  0.07342677 = (MATCH) sum of:
    8.957935E-4 = (MATCH) max plus 0.01 times others of:
      8.9543534E-4 = (MATCH) weight(author:joe^10.0 in 1), product of:
        0.0024097771 = queryWeight(author:joe^10.0), product of:
          10.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.3715843 = (MATCH) fieldWeight(author:joe in 1), product of:
          1.0 = tf(termFreq(author:joe)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.625 = fieldNorm(field=author, doc=1)
      3.5817415E-5 = (MATCH) weight(description:joe in 1), product of:
        2.4097772E-4 = queryWeight(description:joe), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:joe in 1), product of:
          1.0 = tf(termFreq(description:joe)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=1)
    8.957935E-4 = (MATCH) max plus 0.01 times others of:
      8.9543534E-4 = (MATCH) weight(author:blow^10.0 in 1), product of:
        0.0024097771 = queryWeight(author:blow^10.0), product of:
          10.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.3715843 = (MATCH) fieldWeight(author:blow in 1), product of:
          1.0 = tf(termFreq(author:blow)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.625 = fieldNorm(field=author, doc=1)
      3.5817415E-5 = (MATCH) weight(description:blow in 1), product of:
        2.4097772E-4 = queryWeight(description:blow), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:blow in 1), product of:
          1.0 = tf(termFreq(description:blow)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=1)
    0.07163518 = (MATCH) max plus 0.01 times others of:
      0.07163482 = (MATCH) weight(title:book^1000.0 in 1), product of:
        0.2409777 = queryWeight(title:book^1000.0), product of:
          1000.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.29726744 = (MATCH) fieldWeight(title:book in 1), product of:
          1.0 = tf(termFreq(title:book)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.5 = fieldNorm(field=title, doc=1)
      3.5817415E-5 = (MATCH) weight(description:book in 1), product of:
        2.4097772E-4 = queryWeight(description:book), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:book in 1), product of:
          1.0 = tf(termFreq(description:book)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=1)
</str>
    <str name="1">
0.073365316 = (MATCH) sum of:
  0.073365316 = (MATCH) sum of:
    7.1670645E-4 = (MATCH) max plus 0.01 times others of:
      7.163483E-4 = (MATCH) weight(author:joe^10.0 in 0), product of:
        0.0024097771 = queryWeight(author:joe^10.0), product of:
          10.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.29726744 = (MATCH) fieldWeight(author:joe in 0), product of:
          1.0 = tf(termFreq(author:joe)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.5 = fieldNorm(field=author, doc=0)
      3.5817415E-5 = (MATCH) weight(description:joe in 0), product of:
        2.4097772E-4 = queryWeight(description:joe), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:joe in 0), product of:
          1.0 = tf(termFreq(description:joe)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=0)
    0.0010134276 = (MATCH) max plus 0.01 times others of:
      0.0010130694 = (MATCH) weight(author:blow^10.0 in 0), product of:
        0.0024097771 = queryWeight(author:blow^10.0), product of:
          10.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.42039964 = (MATCH) fieldWeight(author:blow in 0), product of:
          1.4142135 = tf(termFreq(author:blow)=2)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.5 = fieldNorm(field=author, doc=0)
      3.5817415E-5 = (MATCH) weight(description:blow in 0), product of:
        2.4097772E-4 = queryWeight(description:blow), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:blow in 0), product of:
          1.0 = tf(termFreq(description:blow)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=0)
    0.07163518 = (MATCH) max plus 0.01 times others of:
      0.07163482 = (MATCH) weight(title:book^1000.0 in 0), product of:
        0.2409777 = queryWeight(title:book^1000.0), product of:
          1000.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.29726744 = (MATCH) fieldWeight(title:book in 0), product of:
          1.0 = tf(termFreq(title:book)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.5 = fieldNorm(field=title, doc=0)
      3.5817415E-5 = (MATCH) weight(description:book in 0), product of:
        2.4097772E-4 = queryWeight(description:book), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0532142E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:book in 0), product of:
          1.0 = tf(termFreq(description:book)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=0)
    </str>
  </lst>
</lst>
</response>

Pierwszy dokument

Drugi dokument

Czyli jak to wygląda ?

Jak widać w przypadku przekazania wartości 0.01 do parametru tie pola, które mają najwyższy score, mają największe znaczenie, z niedużym znaczeniem innych pól. Widać to dobrze na przykładzie słowa book w pierwszym dokumencie na liście wyników. Score dla tego słowa, to 0.07163518, na który został wyliczony jako suma pola, które ma najwyższy score dla tego słowa, czyli pola title oraz wartości score reszty pól pomnożonych przez wartość tie, czyli 0.01.

Rezultat z tie == 0.99

Drugie zapytanie wygląda w następujący sposób: 

defType=dismax&qf=title^1000 description author^10&tie=0.99&fl=id,score&debugQuery=on&indent=true&q=joe blow book

Wyniki zwrócone przez Solr (wizualizacja – http://explain.solr.pl/explains/1w7b06lv): 

<?xml version="1.0" encoding="UTF-8"?>
<response>
<lst name="responseHeader">
  <int name="status">0</int>
  <int name="QTime">15</int>
  <lst name="params">
    <str name="fl">id,score</str>
    <str name="debugQuery">on</str>
    <str name="indent">true</str>
    <str name="tie">0.99</str>
    <str name="q">joe blow book</str>
    <str name="qf">title^1000 description author^10</str>
    <str name="defType">dismax</str>
  </lst>
</lst>
<result name="response" numFound="2" start="0" maxScore="0.07352995">
  <doc>
    <float name="score">0.07352995</float>
    <str name="id">2</str>
  </doc>
  <doc>
    <float name="score">0.0734685</float>
    <str name="id">1</str>
  </doc>
</result>
<lst name="debug">
  <str name="rawquerystring">joe blow book</str>
  <str name="querystring">joe blow book</str>
  <str name="parsedquery">+((DisjunctionMaxQuery((author:joe^10.0 | title:joe^1000.0 | description:joe)~0.99) DisjunctionMaxQuery((author:blow^10.0 | title:blow^1000.0 | description:blow)~0.99) DisjunctionMaxQuery((author:book^10.0 | title:book^1000.0 | description:book)~0.99))~3) ()</str>
  <str name="parsedquery_toString">+(((author:joe^10.0 | title:joe^1000.0 | description:joe)~0.99 (author:blow^10.0 | title:blow^1000.0 | description:blow)~0.99 (author:book^10.0 | title:book^1000.0 | description:book)~0.99)~3) ()</str>
  <lst name="explain">
    <str name="2">
0.07352995 = (MATCH) sum of:
  0.07352995 = (MATCH) sum of:
    9.308678E-4 = (MATCH) max plus 0.99 times others of:
      8.9540955E-4 = (MATCH) weight(author:joe^10.0 in 1), product of:
        0.0024097078 = queryWeight(author:joe^10.0), product of:
          10.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.3715843 = (MATCH) fieldWeight(author:joe in 1), product of:
          1.0 = tf(termFreq(author:joe)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.625 = fieldNorm(field=author, doc=1)
      3.581638E-5 = (MATCH) weight(description:joe in 1), product of:
        2.4097077E-4 = queryWeight(description:joe), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:joe in 1), product of:
          1.0 = tf(termFreq(description:joe)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=1)
    9.308678E-4 = (MATCH) max plus 0.99 times others of:
      8.9540955E-4 = (MATCH) weight(author:blow^10.0 in 1), product of:
        0.0024097078 = queryWeight(author:blow^10.0), product of:
          10.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.3715843 = (MATCH) fieldWeight(author:blow in 1), product of:
          1.0 = tf(termFreq(author:blow)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.625 = fieldNorm(field=author, doc=1)
      3.581638E-5 = (MATCH) weight(description:blow in 1), product of:
        2.4097077E-4 = queryWeight(description:blow), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:blow in 1), product of:
          1.0 = tf(termFreq(description:blow)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=1)
    0.071668215 = (MATCH) max plus 0.99 times others of:
      0.07163276 = (MATCH) weight(title:book^1000.0 in 1), product of:
        0.24097076 = queryWeight(title:book^1000.0), product of:
          1000.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.29726744 = (MATCH) fieldWeight(title:book in 1), product of:
          1.0 = tf(termFreq(title:book)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.5 = fieldNorm(field=title, doc=1)
      3.581638E-5 = (MATCH) weight(description:book in 1), product of:
        2.4097077E-4 = queryWeight(description:book), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:book in 1), product of:
          1.0 = tf(termFreq(description:book)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=1)
</str>
    <str name="1">
0.0734685 = (MATCH) sum of:
  0.0734685 = (MATCH) sum of:
    7.517859E-4 = (MATCH) max plus 0.99 times others of:
      7.1632763E-4 = (MATCH) weight(author:joe^10.0 in 0), product of:
        0.0024097078 = queryWeight(author:joe^10.0), product of:
          10.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.29726744 = (MATCH) fieldWeight(author:joe in 0), product of:
          1.0 = tf(termFreq(author:joe)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.5 = fieldNorm(field=author, doc=0)
      3.581638E-5 = (MATCH) weight(description:joe in 0), product of:
        2.4097077E-4 = queryWeight(description:joe), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:joe in 0), product of:
          1.0 = tf(termFreq(description:joe)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=0)
    0.0010484984 = (MATCH) max plus 0.99 times others of:
      0.0010130403 = (MATCH) weight(author:blow^10.0 in 0), product of:
        0.0024097078 = queryWeight(author:blow^10.0), product of:
          10.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.42039964 = (MATCH) fieldWeight(author:blow in 0), product of:
          1.4142135 = tf(termFreq(author:blow)=2)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.5 = fieldNorm(field=author, doc=0)
      3.581638E-5 = (MATCH) weight(description:blow in 0), product of:
        2.4097077E-4 = queryWeight(description:blow), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:blow in 0), product of:
          1.0 = tf(termFreq(description:blow)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=0)
    0.071668215 = (MATCH) max plus 0.99 times others of:
      0.07163276 = (MATCH) weight(title:book^1000.0 in 0), product of:
        0.24097076 = queryWeight(title:book^1000.0), product of:
          1000.0 = boost
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.29726744 = (MATCH) fieldWeight(title:book in 0), product of:
          1.0 = tf(termFreq(title:book)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.5 = fieldNorm(field=title, doc=0)
      3.581638E-5 = (MATCH) weight(description:book in 0), product of:
        2.4097077E-4 = queryWeight(description:book), product of:
          0.5945349 = idf(docFreq=2, maxDocs=2)
          4.0530972E-4 = queryNorm
        0.14863372 = (MATCH) fieldWeight(description:book in 0), product of:
          1.0 = tf(termFreq(description:book)=1)
          0.5945349 = idf(docFreq=2, maxDocs=2)
          0.25 = fieldNorm(field=description, doc=0)
    </str>
  </lst>
</lst>
</response>

Pierwszy dokument

Drugi dokument

Czyli jak to wygląda ?

Jak widać, score poszczególnych dokumentów uległ zmianie. Spójrzmy na ten sam dokument i te same słowo book. W przypadku, kiedy przekazaliśmy wartość 0.99 jako wartość parametru tie, wartość score zwiększyła się w stosunku do tej, którą obserwowaliśmy w przypadku tie równego 0.01. Oczywiście na zmianę wartości score ma także wpływ współczynnik normalizacji, ale pomińmy go w celu uproszczenia 🙂 Zatem w drugim przypadku obserwujemy score wynoszący 0.071668215, składa się na to wartość score dla pola title oraz suma wartości score dla każdego z pozostałych pól, ale tym razem pomnożonych przez wartość 0.99.

Podsumowując

Jak widać, parametr tie pozwala nam na dość dużą kontrolę tego, jak wyliczany jest score w przypadku DisjunctionMaxQuery. W ekstremalnym przypadku, kiedy chcielibyśmy, aby tylko pola, które mają najwyższy score miały znaczenie, możemy ustawić parametr tie na wartość 0.0. Tie pozwala nam na kontrolę tego, czy chcemy, aby mało znaczące pola, po których wyszukujemy, wpływały na wartość score dokumentów, a tym samym na ich pozycję na liście wyników wyszukiwania kiedy korzystamy z Dismax’a.

Na koniec

Jeżeli zastanawiasz się z pomocą czego wygenerowaliśmy wykresy, które widoczne są w treści, zapraszamy na http://explain.solr.pl/help, może http://explain.solr.pl/ będzie przydatne w Twoim przypadku.

]]> https://solr.pl/2012/02/06/do-czego-moze-przydac-sie-tie-w-dismaxie/feed/ 0 Solr i PhraseQuery, czyli różne sposoby premiowania fraz https://solr.pl/2010/07/14/solr-i-phrasequery-czyli-rozne-sposoby-premiowania-fraz/ https://solr.pl/2010/07/14/solr-i-phrasequery-czyli-rozne-sposoby-premiowania-fraz/#comments Wed, 14 Jul 2010 07:39:55 +0000 http://sematext.solr.pl/?p=10 W większości wdrożeń Lucene/Solr z którymi miałem do czynienia prędzej, czy później pojawiał się problem tuningu jakości wyników wyszukiwania. Jednym z prostszych sposób zwiększenia zadowolenia użytkowników z wyników wyszukiwania, a tym samym zadowolenia nas samych i naszych pracodawców jest premiowanie fraz. Mając do wyboru trzy najpopularniejsze parsery zapytań oraz szereg parametrów wpływających na ich zachowanie postanowiłem sprawdzić, jak radzi sobie Solr z  premiowaniem fraz znalezionych w dokumentach na etapie wyszukiwania oraz jaki wpływ mają te funkcjonalności na wydajność.

W obecnym trunk`u Solr, mamy dostępne trzy parsery zapytań:

  • Standard Solr Query Parser, czyli domyślny parser dla Solr oparty na domyślnym parserze zapytań w Lucene
  • DisMax Query Parser
  • Extended DisMax Query Parser

Każdy z wyżej wymienionych parserów ma inne możliwości jeżeli chodzi premiowanie fraz na etapie zapytań. W tym wpisie nie zajmuję się kwestiami premiowania bliskości słów na etapie indeksowania, o tym napiszę innym razem. A więc wracając do parserów.

Standard Solr Query Parser

Parser oparty o standardowy parser zapytań Lucene oraz rozszerzający jego możliwości. Możliwości co do premiowania fraz nie są duże. Załóżmy, iż nasz system obsługuje dużą księgarnię internetową, gdzie użytkownicy są mogą oceniać książki, zostawiać komentarze, czy dyskutować na temat książek na forach, a my indeksujemy wszystkie te dane oraz później prezentujemy je w ramach wyników wyszukiwania. Możemy założyć także, iż użytkownik wpisując w pole wyszukiwania „Java wzorce projektowe” szuka książek dotyczących wzorców projektowych z przykładami w języku Java i takie książki chcemy mu pokazać. Żaden problem, zadajemy do Solr zapytanie:

q=java+wzorce+projektowe

I otrzymujemy listę książek. Można spocząć na laurach i stwierdzić, że nasza wyszukiwarka zachowuje się świetnie i chcemy nic więcej poprawiać. Ja jednak dodałbym do tego zapytania kolejną część – premiowanie fraz, tak aby książki, które w przeszukiwanych polach posiadają odpowiednią frazę (czyli tak naprawdę w których słowa podane przez użytkownika występują obok siebie) były pozycjonowane na początku listy wyników. Zmodyfikowane zapytanie wyglądałoby tak:

q=java+wzorce+projektowe+OR+"java+wzorce+projektowe"^30

Dodając dodatkowy fragment (+OR+”java+wzorce+projektowe”^30) na pierwszych miejscach listy wyników wyszukiwania dostaniemy dokumenty, które nie tylko mają w polach wyszukiwania termy (wyrazy) podane przez użytkownika, ale w tych polach mają te termy umiejscowione obok siebie. A tak wygląda zapytanie wygenerowane do Lucene: 

<str name="parsedquery">name:java name:wzorce name:projektowe PhraseQuery(name:"java wzorce projektowe"^30.0)</str>
<str name="parsedquery_toString">name:java name:wzorce name:projektowe name:"java wzorce projektowe"^30.0</str>

Wyniki wyszukiwania dla tak skonstruowanego zapytania przedstawiają się następująco: 

<?xml version="1.0" encoding="UTF-8"?>
<response>
<lst name="responseHeader">
   <int name="status">0</int>
   <int name="QTime">0</int>
   <lst name="params">
      <str name="q">java wzorce projektowe OR "java wzorce projektowe"^30</str>
      <str name="fl">score,id,name</str>
   </lst>
</lst>
<result name="response" numFound="5" start="0" maxScore="1.2399161">
   <doc>
      <float name="score">1.2399161</float>
      <str name="id">1</str>
      <str name="name">Java wzorce projektowe</str>
   </doc>
   <doc>
      <float name="score">0.010219089</float>
      <str name="id">2</str>
      <str name="name">Wzorce projektowe java</str>
   </doc>
   <doc>
      <float name="score">0.010219089</float>
      <str name="id">3</str>
      <str name="name">Wzorce java projektowe</str>
   </doc>
   <doc>
      <float name="score">0.010219089</float>
      <str name="id">4</str>
      <str name="name">Projektowe wzorce java</str>
   </doc>
   <doc>
      <float name="score">0.010219089</float>
      <str name="id">5</str>
      <str name="name">Projektowe java wzorce</str>
   </doc>
</result>
</response>

DisMax Query Parser

Oprócz możliwości skonstruowania zapytania w taki sposób, jak opisany powyżej mamy możliwość wykorzystania parametru pf oraz modyfikacji jego zachowania za pomocą parametru ps. Parametr pf przekazuje informacje o tym, w jakich polach mają być identyfikowane frazy. Parametru tego używa się w sposób analogiczny do parametru qf określając listę pól w jakich mają być identyfikowane frazy. Dodatkowo, należy dla każdego z podanych pól określić odpowiednie wartości podbicia (boost), bo jak wiemy domyślnym podbiciem jest 1. Zapytanie z wykorzystaniem DisMax`a wyglądałoby następująco:
q=java+wzorce+projektowe&defType=dismax&qf=name&pf=name^30&ps=0

Natomiast zapytanie przekazane do Lucene wygląda w sposób następujący:

<str name="parsedquery">+((DisjunctionMaxQuery((name:java)) DisjunctionMaxQuery((name:wzorce)) DisjunctionMaxQuery((name:projektowe)))~3) DisjunctionMaxQuery((name:"java wzorce projektowe"^30.0))</str>
<str name="parsedquery_toString">+(((name:java) (name:wzorce) (name:projektowe))~3) (name:"java wzorce projektowe"^30.0)</str>

Wyniki dla tak skonstruowanego zapytania przedstawiają się następująco: 

<?xml version="1.0" encoding="UTF-8"?>
<response>
<lst name="responseHeader">
   <int name="status">0</int>
   <int name="QTime">0</int>
   <lst name="params">
      <str name="pf">name^30</str>
      <str name="fl">id,name,score</str>
      <str name="q">java wzorce projektowe</str>
      <str name="qf">name</str>
      <str name="defType">dismax</str>
      <str name="ps">0</str>
   </lst>
</lst>
<result name="response" numFound="5" start="0" maxScore="1.2399161">
   <doc>
      <float name="score">1.2399161</float>
      <str name="id">1</str>
      <str name="name">Java wzorce projektowe</str>
   </doc>
   <doc>
      <float name="score">0.013625451</float>
      <str name="id">2</str>
      <str name="name">Wzorce projektowe java</str>
   </doc>
   <doc>
      <float name="score">0.013625451</float>
      <str name="id">3</str>
      <str name="name">Wzorce java projektowe</str>
   </doc>
   <doc>
      <float name="score">0.013625451</float>
      <str name="id">4</str>
      <str name="name">Projektowe wzorce java</str>
   </doc>
   <doc>
      <float name="score">0.013625451</float>
      <str name="id">5</str>
      <str name="name">Projektowe java wzorce</str>
   </doc>
</result>
</response>

Warto zauważyć, iż kolejność wyników dla obu metod jest taka sama. Wynika to z tego, iż fraza została zidentyfikowana tylko w przypadku dokumentu z identyfikatorem 1. Wartość score dla tego dokumentu w obu przypadkach jest taka sama. Natomiast dokumenty znajdujące się na pozycjach od 2 do 4 mają w ramach danej metody dokładnie taką samą wartość score ze względu na zidentyfikowanie trzech termów i dokładnie taką samą długość pola name. Oczywiście istnieją różnice w wartości score tych dokumentów pomiędzy metodami, ale wynika to z różnic w składaniu zapytań.

Użyłem jednak współczynnika ps=0 nie wspominając zupełnie o tym co oznacza i do czego służy. W przypadku korzystania z parametru pf (oraz pf2, ale o tym później) parametr ps oznacza tzw. Phrase Slop, czyli maksymalną odległość słów od siebie, aby tworzyły frazę. Na przykład ps=2 będzie oznaczało, iż słowa mogą być maksymalnie dwie pozycje od siebie, aby tworzyły frazę. Należy jednak pamiętać, iż pomimo tego, że zarówno „Java przykładowe wzorce projektowe”, jak i „Java wzorce projektowe” stworzą frazę, jednak dokument o tytule „Java wzorce projektowe” będzie posiadał większy score pomimo ustawienia ps=2, ze względu na to, że termy położone są bliżej siebie.

Omówiliśmy już dwa przypadki premiowania fraz. Został nam ostatni opierający się na tzw. Enhanced Term Proximity Boosting, czyli metodzie premiowania nie tylko całych fraz, ale także ich poszczególnych części. Funkcjonalność tą oferuje jednak tylko i wyłączenie:

Extended DisMax Query Parser

Niestety bez skorzystania z trunk`a lub przeniesienia kawałka kodu nie ma możliwości skorzystania z eDisMax`a.

Zapytanie z eDisMax`em wyglądałoby następująco:

q=java+wzorce+projektowe&defType=edismax&qf=name&pf2=name^30&ps=0

Powyższe zapytanie, tworzy następujące zapytania do Lucene: 

<str name="parsedquery">+(DisjunctionMaxQuery((name:java)) DisjunctionMaxQuery((name:wzorce)) DisjunctionMaxQuery((name:projektowe))) (DisjunctionMaxQuery((name:"java wzorce"^30.0)) DisjunctionMaxQuery((name:"wzorce projektowe"^30.0)))</str>
<str name="parsedquery_toString">+((name:java) (name:wzorce) (name:projektowe)) ((name:"java wzorce"^30.0) (name:"wzorce projektowe"^30.0))</str>

Jak widać oprócz standardowych DisjunctionMaxQuery charakterystycznych dla DisMax`a (a tym samym dla jego rozszerzonej wersji) które wyszukują poszczególne termy przekazane do parametru q stworzone zostały także dwa dodatkowe zapytania, które odpowiadają za funkcjonalność enhanced term proximity boosting. Polega ona na stworzeniu par ze słów występujących obok siebie. W opisywanym testowym przypadku stworzone zostały pary „java wzorce” oraz „wzorce projektowe”. Jak można się domyślić najbardziej znaczącymi dokumentami na liście wyników, będą dokumenty posiadające obie wygenerowane pary, kolejne dokument będą posiadały jedną z par, a kolejne nie będą posiadały żadnej. Na potwierdzenie przedstawiam wynik zadania powyższego zapytania do Solr: 

<?xml version="1.0" encoding="UTF-8"?>
<response>
<lst name="responseHeader">
   <int name="status">0</int>
   <int name="QTime">0</int>
   <lst name="params">
      <str name="fl">id,name,score</str>
      <str name="q">java wzorce projektowe</str>
      <str name="qf">name</str>
      <str name="pf2">name^30</str>
      <str name="defType">edismax</str>
      <str name="ps">0</str>
   </lst>
</lst>
<result name="response" numFound="5" start="0" maxScore="1.1705827">
   <doc>
      <float name="score">1.1705827</float>
      <str name="id">1</str>
      <str name="name">Java wzorce projektowe</str>
   </doc>
   <doc>
      <float name="score">0.3034844</float>
      <str name="id">2</str>
      <str name="name">Wzorce projektowe java</str>
   </doc>
   <doc>
      <float name="score">0.3034844</float>
      <str name="id">5</str>
      <str name="name">Projektowe java wzorce</str>
   </doc>
   <doc>
      <float name="score">0.014451639</float>
      <str name="id">3</str>
      <str name="name">Wzorce java projektowe</str>
   </doc>
   <doc>
      <float name="score">0.014451639</float>
      <str name="id">4</str>
      <str name="name">Projektowe wzorce java</str>
   </doc>
</result>
</response>

Jak widać pierwszy dokument nie zmienił swojej pozycji i jest to dalej dokument o identyfikatorze 1. Natomiast na drugim i trzecim miejscu znajdują się dokumenty, które mają jedną z wygenerowanych przez parser par słów. Co za tym idzie dokumenty o identyfikatorach 2 i 5 mają tą samą wartość współczynnika score. Listę wyników zamykają dokumenty posiadające jedynie termy wpisane przez użytkownika. Na uwagę zasługuje również fakt, iż tak samo jak w przypadku pierwszych dwóch przykładów, tak i eDisMax wyliczył inną wartość maksymalną współczynnika score dla wynikowego zbioru dokumentów – spowodowane jest to dokładnie tym samym co w poprzednim przykładzie, a mianowicie zapytaniem wygenerowanym przez parser i złożonym do Lucene.

Wydajność

W każdym wypadku należy wziąć pod uwagę, jaki poszczególne funkcjonalności będą miały wpływ na wydajność aplikacji opartej o Solr. W tym celu postanowiłem zrobić prosty test wydajnościowy. Założenia testu są dość proste – indeksuję dane z wikipedii, i dla każdej z metod tworze zapytanie dla fraz składających się z dwóch do sześciu tokenów. Zapytania zadaje przy wyłączonych cache`ach, za każdym razem restartując Solr. Wynik to średnia arytmetyczna z 10 powtórzeń każdego z testów. Przed wynikami testu, kilka słów o samym indeksie:

  • Ilość dokumentów w indeksie: 1.177.239
  • Ilość segmentów: 1
  • Ilość termów:  18.506.646
  • Ilość par term/dokument: 230.297.212
  • Ilość tokenów: 418.135.268
  • Wielkość indeksu: 4.6GB (zoptymalizowany)
  • Wersja Lucene wykorzystana do zbudowania: 4.0-dev 964000

Frazy jakie wybierane były dla każdej iteracji testu:

  • Iteracja I: „wielki piotr”
  • Iteracja II: „druga wojna światowa”
  • Iteracja III: „druga wojna światowa niemcy”
  • Iteracja IV: „czas zmian reformacja w polsce”
  • Iteracja V: „zmiana czasu letniego na czas zimowy”

Same wyniki przedstawiają się następująco:

[table “1” not found /]

Należy pamiętać, iż przedstawione wyniki dotyczą tylko i wyłącznie kwestii wydajnościowej i nie są sugestią której metody premiowania fraz należy używać. Wybór metody to kwestia wymagań i danego wdrożenia. Co do samych wyników, widać, iż zgodnie z przypuszczeniami najszybsza jest metoda druga, czyli wykorzystanie term proximity boost i parsera DisMax, który okazuje się szybszy zarówno od Standard Query Parsera, jak i od eDisMax`a.

]]> https://solr.pl/2010/07/14/solr-i-phrasequery-czyli-rozne-sposoby-premiowania-fraz/feed/ 2