Graph your Stream
Sie sehen sich vor einem Berg kryptisch formulierter Log-Daten stehen, aus denen Informationen nur schwer zu extrahieren sind? Sie haben eine Idee zur Optimierung Ihrer Systeme, aber wissen nicht, wie Sie diese verifizieren und präsentieren können? Oder wollen Sie einfach mal herausfinden, welche Features Sie in Ihren Online-Shop einbauen könnten? Dann schnappen Sie sich eine Banana, springen Sie in den Zeppelin, browsen Sie durch Graphen und sehen Sie Garbage aus einer anderen View! Wie das geht, was das bringt und wem das hilft, erfahren Sie hier.
Seit Solr in der Version 6 verfügbar ist, werden die sogenannten Streaming Expressions mehr und mehr weiterentwickelt und verbessert. Sie ermöglichen eine Vielzahl an verschiedenen Operationen auf den in Solr gespeicherten Daten. Das reicht von einer einfachen Suche bis hin zu komplexen Verknüpfungen und Aggregationen.
Die Aufteilung nach Stream Sources, Stream Evaluators und Stream Decorators unterteilt die verfügbaren Streaming Expressions in drei große Kategorien. Die Eingabeparameter der diversen Streaming Expressions reichen von ein paar wenigen Operatoren bis hin zu weiteren, komplexen Streaming Expressions. Das führt unter Umständen zu einer tiefen Verschachtelung der Ausdrücke und macht das Gesamtkonstrukt gegebenenfalls unübersichtlich und damit fehleranfällig. So ist eine einfache Suche mittels der Ausdrücke noch recht überschaubar, wohingegen ein Join mehrerer Suchanfragen durchaus an Übersichtlichkeit verlieren kann. Um das zu veranschaulichen, vergleichen Sie die beiden Ausdrücke, welche beide jeweils als eine einzelne Streaming Expression erkannt werden können:
• (A) Einfache Suchanfrage über Streaming Expression:
search(mitarbeiter,q=“*:*“,fl=“id,gehalt_f“, sort=“id desc“)
• (B) Join über mehrere Collections und Suchanfragen:
select(innerJoin(search(abteilungen,q=*:*,fl=“id,beschreibung_s,jahresumsatz_f“,sort=“id desc“), search(mitarbeiter,q=*:*, fl=“id,abteilung_s,title_s,gehalt_f“, sort=“abteilung_s desc“), on=“id=abteilung_s“),title_s as Titel,beschreibung_s as Bezeichnung,div(gehalt_f,jahresumsatz_f) as Prozent_Umsatz)
Da diese beispielhafte Verzahnung bei Weitem nicht das Ende der Fahnenstange darstellt, bedarf es Methodiken, um der Verwirrung dieser Verschachtelung Herr zu werden. Die Solr-Administrationsoberfläche bietet mittlerweile eine zusätzliche Funktionalität für die Eingabe und Ausführung von Streaming Expressions. Als Entwirrungshilfe wird unter dem Menüpunkt „Stream“ (nach Auswahl einer Collection über das Dropdown-Menü) nicht nur das Eingabefeld für den eigentlichen Ausdruck, sondern zudem die Visualisierung der unter Umständen stark verschachtelten Streaming Expressions in Form eines Graphen angezeigt.
Diese Form der Visualisierung veranschaulicht zwar nicht direkt die in Solr gespeicherten Daten, aber kann bei der Planung für die Verarbeitung dieser Daten enorm hilfreich sein. So ist die Struktur der Streaming Expression aus Beispiel (B) in einer Visualisierung wie in der obigen Grafik sehr viel deutlicher zu erkennen als in dem Ausdruck selbst. Diese in Solr integrierte Funktionalität zeigt, dass auch die Entwickler der Suchmaschine Visualisierung für ein wichtiges Werkzeug halten. Graph your Stream – and let Solr visualize itself!
Die in dieser Blogreihe vorgestellten Visualisierungs-Möglichkeiten und -Werkzeuge sind natürlich nur ein Auszug an Möglichkeiten, Ihre Daten nicht nur optisch ansprechender, sondern vor allem verständlicher darzustellen. Genauso wie die Suchmaschine selbst, werden auch die zu Solr passenden Tools stetig weiterentwickelt und an neue technologische Möglichkeiten angepasst.
Ich hoffe, unser fruchtiger Ausflug mit einem etwas altmodischen Fluggerät konnte Ihnen helfen, Ihre Daten in anderen Farben zu erkennen und sowohl die digitale Abfallbeseitigung als auch komplexe, verzahnte Funktionen erscheinen Ihnen nun etwas weniger grau.
Thanks for reading – and visualize your Solr!
Weiterführende Links
Visualize your Solr (1) – Grab a banana!
Visualize your Solr (2) – Jump into the Zeppelin
Visualize your Solr (3) – Browse around
Visualize your Solr (4) – Recycle your Garbage
