Data Import Handler – import danych z plików Solr XML

Read full article | No comments yet.

Do tej pory, w poprzednich artykułach, przyglądaliśmy się importowi danych z baz SQL. Dziś przyszedł czas na import z plików XML.

More...

Indeksowanie plików doc, pdf itp, czyli integracja Solr z Tika

Read full article | No comments yet.

W poprzednim artykule podaliśmy podstawowe informację, jak umożliwić przeszukiwanie  zawartości plików binarnych, czyli m.in dokumentów MS Word, PDF czy LibreOffice. Dziś zrobimy to samo, wykorzystując Data Import Handler. Ponieważ parę dni temu pojawiła się nowa wersja serwera SOLR (3.1), poniższe wskazówki bazują na tej wersji. Do prezentacji wykorzystano aplikację „example” – wszystkie poniższe zmiany odnoszą […]

More...

Data Import Handler & XML – zagnieżdzone encje

Read full article | No comments yet.

Data Import Handler jest bardzo miłym i rozbudowanym narzędziem. Poniżej opis problemu (i rozwiązania) w którym spotkałem się ostatnio.

More...

Data Import Handler – usuwanie danych z indeksu

Read full article | 1 Comment

Usuwanie danych z indeksu przy wykorzystaniu indeksowania przyrostowego w DIH jest na wiki SOLR potraktowane szczątkowo, jako coś, co działa analogicznie do aktualizacji rekordów. Podobnie we wcześniejszym artykule użyłem tego skrótu, tym bardziej, że podany przeze mnie przykład z indeksowaniem zasobów wikipedii nie potrzebował usuwania danych. Mając pod ręką przykładowe dane z albumami i wykonawcami […]

More...

Data Import Handler – sharding

Read full article | No comments yet.

Nasza czytelniczka (pozdrawiamy!) zgłosiła się do nas z problemem dotyczącym współpracy DIH z shardingiem. Wiki projektu SOLR pokazuje moim zdaniem rozwiązanie tej kwestii, ale czyni to trochę na około i przy okazji.

More...

Data Import Handler – import danych z baz SQL (cz. 3)

Read full article | 5 komentarzy

W poprzednich odcinkach (cz. 1 i cz. 2) udało nam się zaimportować dane z bazy danych zarówno w sposób pełny, jak i przyrostowy. Dziś czas na małe podsumowanie.

More...

Data Import Handler – import danych z baz SQL (cz. 2)

Read full article | 7 komentarzy

W pierwszej części udało nam się zindeksować informacje zawarte w bazie danych. W części drugiej spróbujemy rozszerzyć funkcjonalność importu o import przyrostowy. Dokumentów było trochę powyżej 1mln i zajęło to niecałe pół godziny. W zasadzie tu moglibyśmy zakończyć kwestię importu, ale wyobraźmy sobie, że chcielibyśmy te dane aktualizować w indeksie na bieżąco, w miarę, jak […]

More...

Data Import Handler – import danych z baz SQL (cz. 1)

Read full article | 5 komentarzy

W artykule o sposobach importu danych (http://solr.pl/2010/09/06/solr-importowanie-danych/) wspomniałem o Data Import Handler (DIH). Podstawową zaletą tego sposobu importowania jest brak konieczności tworzenia dodatkowego oprogramowania oraz szybka integracja ze źródłem danych. Ta druga zaleta wymaga jednak wprawy i praktyki. W tym wpisie przedstawię podstawy integracji DIH ze źródłem danych SQL.

More...