Keynote (Realtime Search at Twitter, Michael Busch)

Dzień rozpoczął się od jednej z lepszych, moim zdaniem, prezentacji podczas Lucene Eurocon 2011. Michael Busch, podczas swojej prezentacji zatytuowanej „Realtime Search at Twitter” (slajdy, video) pokazał, co zespół Twittera zrobił, aby obsłużyć wyszukiwanie w czasie rzeczywistym w oparciu o Lucene, tak aby cały system był w stanie obsłużyć codzienny ruch Twittera. Sama prezentacja to bardzo duża ilość technicznych szczegółów, na dodatek bardzo dobrze tłumaczonych przez prowadzącego. Uczestnicy konferencji, oprócz samych informacji o Lucene, dostali także krótką lekcję języka Java i programowania wielowątkowego

Co nas czeka (Lucene Today, Tomorrow & Beyond, Simon Willnauer)

Konferencja została podzielona na trzy równoległe sesje, a my wybraliśmy prezentację „Lucene Today, Tomorrow & Beyond” (slajdy, video) , którą prowadził Simon Willnauer. Prezentacja skupiła się na tym, czego Lucene nie potrafi w tym momencie, a co może potrafić w przyszłości (np. w wersji 5). Simon rozpoczął od prezentacji historii Lucene, ludzi zaangażowanych w rozwój projektu oraz firm, w których pracują. Następnie mogliśmy dowiedzieć się, co dostaną użytkownicy Lucene, kiedy wersja 4.0 zostanie oficjalnie wydana. Kolejne slajdy, to informacje na temat pozycji tokenów w strumieniu, przyrostowych aktualizacji, czy JIT. Na sam koniec, prezentujący pokazał nam część swojej wizji Lucene i Solr, jako projektów złożonych z modułów.

Rzecz o explain w Solr (Understanding and Visualising Solr 'explain’ Information, Rafał Kuć)

Ze względów prywatnych i chcąc przygotować się do prezentacji opuściliśmy jedną z prezentacji, ze względu, że czas prezentacji zbliżał się wielkimi krokami. Sama prezentacja, czyli „Understanding and Visualising Solr 'explain’ Information” (slajdy) podzielona została na dwie części – pierwsza, czyli teoria dotycząca informacji zwracanych przez Apache Solr oraz druga – czyli to co udało nam się zrobić w ramach http://explain.solr.pl. Pozwolę sobie nie komentować mojej własnej prezentacji, a skupić się na tym, co ja po niej odczuwałem. Niestety, nie byłem z niej zadowolony, zjadła mnie trema i stres – nie powiedziałem wszystkiego, pędziłem do przodu, nie wyjaśniłem prawie nic. Zwalam to na kark tego, iż było to pierwsze tego typu wystąpienie w moim wykonaniu i nie mam doświadczenia. Obiecuję, następnym razem będzie lepiej Cieszę się natomiast z pozytywnego odbioru prezentacji i samego tematu.

Testy z dozą losowości (Randomized Continous Testing: Solr & Lucene Use Case, Dawid Weiss)

Po krótkim odpoczynku udaliśmy się posłuchać jak Dawid Weiss opowiada o testach z wykorzystaniem czynnika losowego podczas prezentacji „Randomized Continous Testing: Solr & Lucene Use Case” (slajdy). Jeżeli interesuje Was temat testów automatycznych (a powinien) to zdecydowanie polecam slajdy, jak również film, jak tylko będzie dostępny. Dawid zaczął od teorii i tego gdzie można wprowadzić losowy czynnik w testach (oczywiście wszystko w kontekście Solr i Lucene). Następnie dostaliśmy sporą dozę informacji technicznych, czyli w jaki sposób zaimplementować element losowy w testach (oczywiście na przykładach). Nie zabrakło także informacji na temat testowania wielowątkowości.

Testowanie silników wyszukiwania (Better Search Engine Testing, Eric Pugh)

Pozostając w temacie testowania, postanowiliśmy udać się na ostatnią prezentację w ramach Lucene Eurocon 2011, czyli w naszym wypadku „Better Search Engine Testing” (slajdy), którą poprowadził Eric Pugh. Kolejna, z mojego punktu widzenia, ciekawa prezentacja. Eric zaczął od tego, iż wyszukiwanie, a szczególnie dobre wyszukiwanie jest coraz ważniejsze w dzisiejszym świecie. Co więcej, przechowywanie danych jest tanie, ale zarządzanie nimi tanie już nie jest i dlatego wyszukiwanie będzie pełnić coraz większą rolę w dzisiejszym świecie. Następnie Eric skierował naszą uwagę na problematykę testowania silników wyszukiwania i co powinno być testowane oraz w jaki sposób możemy automatycznie testować silniki wyszukiwania. Ciężko napisać skrót tej prezentacji, ze względu na dużą ilość informacji jaką Eric przekazał.

Commiter panel

Ostatnią atrakcją w ramach Lucene Eurocon 2011 był tzw. „Commiter panel”, czyli spotkanie uczestników z osobami, które na co dzień rozwijają projekty Apache Lucene i Solr. Po krótkim przedstawieniu się, nastąpiła seria pytań i odpowiedzi. Jeżeli kogoś interesuje, przebieg tego spotkania będzie musiał poczekać na udostępnienie materiału video.

Inne prezentacje

Osoby zainteresowane innymi prezentacjami, niż te, które opisaliśmy w tym i poprzednim wpisie zapraszam na następujące strony:

• http://2011.lucene-eurocon.org/
• http://2011.lucene-eurocon.org/pages/program
• http://www.lucidimagination.com/devzone/events/conferences/ApacheLuceneEurocon2011

Podsumowując

Moim zdaniem Lucene Eurocon 2011 był konferencją zdecydowanie lepiej zorganizowaną, niż Lucene Eurocon 2010, pomimo tego, że do Eurocon’u w 2010 roku trudno było się przyczepić. Widać, iż organizatorzy nabierają doświadczenia Podczas konferencji można było zapoznać się z tematami stricte technicznymi, jaki i tymi, które skupiają się na użytkowniku. Ze względu na trzy równoległe sesje nie sposób było nie znaleźć w danej chwili prezentacji dla Siebie i za to organizatorom należą się podziękowania i gratulacje – po prostu bardzo dobra robota. Mam nadzieję, że spotkamy większość tegorocznych uczestników na Lucene Eurocon 2012, czego nam i Wam życzę

Keynote (Search + Big Data: It’s (still) All About the User”, Grant Ingersoll)

Dzień pierwszy rozpoczął się o godzinie 8:30, czyli porze dnia, o której Hiszpanie mówią „noc” Na pierwszy ogień poszedł Grant Ingersoll ze swoją prezentacją zatytułowaną „Search + Big Data: It’s (still) All About the User” (slajdy, video). Grant przypomniał nam, iż pomimo wszystkich rewelacyjnych technologii, którymi zajmujemy się na co dzień, na końcu zawsze jest użytkownik. Dlatego też powinniśmy robić wszystko, aby użytkownicy byli zadowoleni z aplikacji, której jesteśmy twórcami. Grant pokazał, że pomimo to, że developerzy mają coraz to bardziej zaawansowane technologicznie narzędzia, to jednak dalej wszystko sprowadza się do tego do tego samego – najważniejszy jest użytkownik. Zdecydowanie warto o tym pamiętać.

Keynote #2 (Architecting the Future of Big Data & Search, Eric Baldeschwieler)

Kolejną prezentacją w której uczestniczyła większość, jeżeli nie wszyscy, uczestnicy konferencji była „Architecting the Future of Big Data & Search” Eric’a Baldeschwieler (slajdy, video). W trakcie prezentacji Eric starał się odpowiedzieć m.in. na pytanie, czy Lucene i Hadoop są w stanie sprawnie współpracować w ramach jednego systemu. Na początku dostaliśmy sporą dawkę informacji na temat Map/Reduce, Hadoop oraz HBase. Druga część prezentacji to studium przypadku wdrożenia Apache Hadoop w Yahoo oraz jak Map/Reduce pomaga w realizacji codziennych zadań stawianych przed systemem. Sam koniec prezentacji to integracja Hadoop’a oraz Lucene. Dużo ciekawych informacji, jak tylko dostępny będzie film, to polecam obejrzenie.

Rzecz o strukturze indeksu (Portable Lucene Index Format & Applications, Andrzej Białecki)

W tym momencie konferencja podzielona została na trzy równoległe sesje, a my zdecydowaliśmy się na prezentację Andrzeja Białeckiego pod tytułem „Portable Lucene Index Format & Applications” (slajdy, video). Andrzej zaczął od informacji na temat struktury indeksu Lucene oraz dlaczego wsteczna kompatybilność jest trudna do zrealizowania. Następnie prezentacja skupiła się nad tym, co jest jej tytułem, czyli dlaczego przenośny format indeksu Lucene jest potrzebny, jakie się cele stawiane przed tym formatem oraz jak w tym momencie prezentuje się szkic implementacji wraz z PortableCodec. Słuchacze mogli zobaczyć ciekawy przykład wykorzystania SimpleTextCodec i jak wyglądają dane zapisane w formie tekstowej Polecam video w celu zapoznania się z całością prezentacji.

Pierwszy temat o Solr (Improving Solr’s Update Chain, Jan Høydahl)

Zmieniliśmy salę, aby posłuchać, jak Jan Høydahl mówi o „Improving Solr’s Update Chain” (slajdy). Podczas prezentacji Jan pokazał jak wykorzystać możliwości definiowania komponentów rozszerzających Update Chain Solr’a i jak wpiąć w ten proces własne elementy. Okazuje się, iż prosta modyfikacja pliku XML pozwala na rozbudowanie i dostosowanie procesu indeksacji danych do naszych własnych potrzeb. Dodatkowo, można było zapoznać się z technicznymi informacjami dotyczącymi implementacji własnych komponentów umożliwiających wpływ na proces indeksacji. Duża cześć prezentacji to pokazanie w jaki sposób wykorzystano opisane możliwości w realnym projekcie dla uniwersytetu w Oslo. Na koniec uczestnicy konferencji dostali informacje na temat planów i elementów projektu, które zostały przekazane Apache Software Fundation jako patch’e do Solr.

Obserwuj swoich użytkowników (Search Analytics: Business Value & BigData NoSQL Backend, Otis Gospodnetic)

Kolejna prezentacja skupiająca się na tym, co powinno być w przypadku wyszukiwania najważniejsze – czyli użytkowniku, prowadzona przez Otisa Gospodnetic pod tytułem „Search Analytics: Business Value & BigData NoSQL Backend” (slajdy, video). Jeżeli korzystasz z Solr koniecznie obejrzyj co Sematext ma dla Ciebie do zaoferowania i co ważne, jak na razie kompletnie za darmo. Otis podczas prezentacji mówił o tym, iż analiza zachowania użytkownika i to jak korzysta z Twojego systemu, to nie możliwość, a konieczność. Bez tego nie da się stroić i udoskonalać wyszukiwania, bo nie wiemy jak, ani nie wiemy też gdzie. Dodatkowo, bez danych dotyczących zachowania użytkowników, nie możemy stwierdzić, czy zmiany, które robimy, idą w dobrym kierunku. Zdecydowanie polecam.

Solr i Hadoop (Scaling Search at Trovit with Solr & Hadoop, Marc Sturlese)

Po krótkiej przerwie zdecydowaliśmy się na posłuchanie o integracji Solr i Hadoop’a w ramach prezentacji „Scaling Search at Trovit with Solr & Hadoop” (slajdy), którą poprowadził Marc Sturlese. Autor skupił się na prezentacji w jaki sposób udało im się rozproszyć indeksację w oparciu o Apache Hadoop, czyli z wykorzystaniem Map/Reduce. W skrócie, prezentacja opowiadała o tym, jak całkiem wydajnie, korzystając z danych zgromadzonych w HDFS, utworzyć mniejsze indeksy, a następnie połączyć je w większe indeksy (lub jeden duży indeks, w zależności od potrzeb). Dodatkowo Marc pokazywał, co zrobili, aby skorzystać z funkcjonalności Solr, a dokładniej z części analizy danych oraz rozproszonego usuwania duplikatów, nie uruchamiając samego Solr.

Solr i UIMA (Natural language search in Solr, Tommaso Teofili)

Kolejna prezentacja w której uczestniczyliśmy to „Natural language search in Solr” (slajdy) poprowadzona przez Tommaso Teofili. Treść prezentacji to możliwości realizacji wyszukiwania opartego o język naturalny w Apache Solr w połączeniu z UIMA oraz pokazanie jak zostało to zrealizowanie w jednym z projektów. Trochę technicznych szczegółów, porównań wydajności i trochę o tym, że system należy „uczyć” zachowania. Ciekawy temat i dość ciekawa prezentacja. Polecam obejrzeć, jak tylko film zostanie udostępniony.

Nadchodzi nowe (Improved Search with Lucene 4, Robert Muir)

Podczas ostatniej przewidzianej na ten dzień prezentacji, zatytułowanej „Improved Search with Lucene 4” (slajdy, video), Robert Muir mówił zmianach jakie czekają Apache Lucene w wersji 4.0. Usłyszeliśmy także dużo na temat wydajności Lucene 4.0, zmian w API, NRT, czy wsparcia dla głębokiego stronicowania. Ciekawa techniczna prezentacja, mówiąca o tym, czego możemy się spodziewać po nadchodzącej wersji Lucene. Osoby zainteresowane tematem odsyłam do filmu z prezentacji.

Krótko i na temat (Lighting Talks)

Następnie konferencja znów została połączona w jeden strumień podczas sesji tzw. „Lighting talks”, czyli krótkich – kilku minutowych prezentacji. Ze względu na sporą dawkę humoru, najbardziej w pamięć zapadła mi krótka prezentacja prowadzona przez Uwe Schindler pod tytułem „Java 7 and Lucene: the story behind the story”, która moim zdaniem powinna się raczej nazywać „Don’t use Java 7 for anything” Szczere gratulacje za rozbawienie zgromadzonej publiki Sama sesja składała się z następujących prezentacji (ze względu na czas prezentowania pominę ich streszczenie):

• „Morphological Analysis and Named Entity Recognition for your Lucene/Solr Search Applications” (slajdy) – prezenter Christoph Goller
• „Java 7 and Lucene: the story behind the story” (slajdy) – prezenter Uwe Schindler
• „Navigating Subdocuments with Solr” (slajdy) – prezenter Mikhail Khludnev
• „Powered by Lucene: IBM Content Analytics with Enterprise Search” (slajdy) – prezenter Wolfgang Jung
• „Solr performance monitoring” – prezenter Otis Gospodnetic
• „Searching in more than 140 years newspaper articles” (slajdy) – prezenter Nicola Provenzano

Stump the chump (Chris Hostetter)

Sesja na wesoło i na luzie podczas której można było na dodatek dostać parę euro na drobne wydatki (100, 50 i 25 jak dobrze pamiętam). Całość polegała na tym, żeby zadać Chrisowi (aka Hoss) pytanie, na które nie będzie w stanie odpowiedzieć. Streszczanie tej części nie ma sensu, polecam film, który dostępny jest pod adresem: http://www.lucidimagination.com/devzone/events/conferences/ApacheLuceneEurocon2011/apache-lucene-eurocon-2011-stump-chump.

Koniec pierwszego dnia

Tym samym skończyliśmy część konferencyjną dnia pierwszego. Niektórzy z uczestników wybrali się następnie na mecz FC Barcelony z FC Viktoria Plzeň, niewielka część oddaliła się w kierunku swoich hoteli, a cała reszta, w tym my, udała się do klubu Shoko na „cavę” i coś do zjedzenia.

Lucene Eurocon 2011

Pierwszym tematem jest przygotowanie do  zbliżającej się konferencji Lucene Eurocon 2011 w Barcelonie gdzie  drugiego dnia pojawi się nasza prezentacja. Po więcej szczegółów zapraszamy tutaj. Pełny plan zbliżającej się konferencji znajduje się tutaj. Zapraszamy.

Explain.solr.pl

Drugi temat, powiązany zresztą z pierwszym, to nowa funkcjonalność na solr.pl. Często podczas pracy z Solr zachodzi potrzeba sprawdzenia, dlaczego dany wynik pojawił się lub nie na liście oraz skąd wynika taka a nie inna wartość score, będącego miarą tego, jak bardzo dokument jest odpowiedzią na operację wyszukiwania. Solr dostarcza tu pewnych narzędzi, jednak informacje te nie są zbyt czytelne i przy trochę bardziej skomplikowanych zapytaniach mogą skutkować bólem głowy  Funkcjonalność o której mowa, ma na celu zaprezentowanie tych informacji w bardziej czytelnej formie i  mamy nadzieję, że ułatwi Wam pracę z Solr Więcej informacji pojawi się podczas prezentacji podczas drugiego dnia Lucene Eurocon 2011 oraz po premierze explain.solr.pl.