„Daten sind wie Rohöl!“ – Es steckt viel Potenzial in ihnen, aber man muss es erst herausholen.
Heutzutage wird für die „Veredlung“ von Daten oft auf Software wie Splunk oder Nagios zurückgegriffen. Mit solchen Tools können Daten, wie beispielsweise Log Dateien, verarbeitet und vor allem visualisiert werden, d.h. mit Diagrammen, Charts usw. können beispielsweise Trends besser dargestellt werden.
In diesem Blog werde ich kurz erläutern, wie die neue, kürzlich veröffentlichte Version von Lucidworks Fusion dabei helfen kann Dateien zu visualisieren.
Aber Halt!!! „Log“ Visualisierung gab es in den vergangenen Versionen von Fusion auch schon bereits. Das Framework SiLK (Solr integrated Logstash & Kibana) war bereits seit der ersten Version direkt von der Startseite aufrufbar. Hierbei handelt es sich primär um die Visualisierungskomponente Banana, die in einem separaten Fenster geöffnet wird. Mit dieser integrierten Komponente konnten und können auch weiterhin beispielsweise die Daten der Collections bzw. die Log Events innerhalb der Collections mittels Charts, Histogragrammen etc. Visualisiert werden. Die nachfolgenden Screenshots zeigt die bisherige Integration von SiLK.
Mit der kürzlich veröffentlichten Version Fusion 1.4 wurde nun auch der noch fehlende Teil von SiLK – Logstash – in Fusion integriert. Lucidworks Fusion hat ebenfalls seit der ersten Version ein mächtiges Connector Framework, mit dem die unterschiedlichsten Datenquellen in Apache Solr indexiert werden können. Es war nur eine Frage der Zeit, bis Lucidworks hier auch einen Connector für Logstash anbietet. Dies ist nun mit der der aktuellen Version so weit.
Dem Anwender wird nun ermöglicht seine Logstash Konfigurationen in Fusion abzulegen und die volle Funktionsvielfalt von Fusion zu nutzen. Beispielsweise kann man den Scheduler nutzen, um regelmäßig die Log Dateien zu indexieren oder man kann die Skalierungsmöglichkeiten von Fusion nutzen. Bisher musste dies alles manuell durchgeführt werden.
Der obige Screenshot zeigt den neuen Connector in Fusion. Wie immer ist die Konfiguration simple. Der „output“ muss nicht mit der Logstash Konfiguration beschrieben werden, da der Connector die Daten automatisch in die Lucidworks Indexing Pipeline indexiert.
Fazit
Wer ein Visualisierungs-Tool für Log Dateien braucht ist mit Lucidworks Fusion gut beraten. Aber Fusion kann noch mehr. Genau genommen handelt es sich bei Fusion um ein Framework für die Erstellung mächtiger Such-Applikationen. Aus einer BI-Sicht jedoch lassen sich mit den Bordmitteln nahezu jede Datenquellen – nicht nur Log Dateien –indexieren, durchsuchen, visualisieren uvm.
Weiterführende Links
- SHI Blog – Flexibles Connector Framework – https://shi-gmbh.com/wissen/blog/search/fcf-in-solr-integrieren-fusion/
- SHI Blog – Log File Analyse mit Solr – https://shi-gmbh.com/wissen/blog/search/monitoring-logstash-to-solr/
- Fusion Dokumentation – https://docs.Lucidworks.com/display/fusion/Lucidworks+Fusion+Documentation
- Fusion Download – https://Lucidworks.com/fusion/download/
- Lucidworks SiLK – https://Lucidworks.com/fusion/silk/
- Lucidworks Blog – https://lucidworks.com/post/noob-notes-log-analytics-fusion/
