Blog
Wie bekommt man in einem Big-Data Szenario seine Daten in Apache Solr? Eine gute Frage, denn Apache Solr bringt zwar im Standardumfang die Möglichkeit mit, Daten aus dem Dateisystem zu indexieren, aber Apache Solr kann beispielsweise kein HDFS crawlen. Verschärft wird das Problem noch durch die Tatsache, dass in Big Data Szenarien Daten oft unstrukturiert […]
Weiterlesen
Erstmalig in der Geschichte von Apache NiFi ist ein Major Release veröffentlicht worden, sodass ab sofort die Version 1.0.0 zum Download bereitgestellt wird. Im Rahmen erster Tests der neuen Version fallen sofort die Änderungen an der Nutzeroberfläche auf, die nun sehr viel eleganter gestaltet ist. Eine weitere fundamentale Änderung betrifft das Clustermanagement. Während ältere Versionen […]
Weiterlesen
Die Qualität einer Suche hängt von der Trefferliste ab. Selbstverständlich erwartet der Anwender das „richtige“ Dokument an erster Stelle. Aber auch die Informationen, die in der Trefferliste je Dokument angeboten werden, sind wichtig. Bisher musste man alle Informationen, die man in der Trefferliste anzeigen möchte, auch im Index ablegen. Dies führt zu einem größeren Index, […]
Weiterlesen
Veröffentlicht am 09.09.2016 von Markus Klose Vor circa einer Woche, am 25. August 2016, wurde die neue Version 6.2 von Apache Solr veröffentlicht. Enthalten ist wie immer eine Reihe von Verbesserungen, Bugfixes und neuen Features. Eine der Neuerungen im neuen Release ist der Upgrade der Apache Tika Version von 1.7 nach 1.13. Somit unterstützt Apache […]
Weiterlesen
Veröffentlicht am 30.08.2016 von Markus Klose Apache NiFi MiNiFi. Hierbei handelt es sich nicht um einen Tippfehler, sondern um den Namen eines Unterprojektes von „Apache NiFi“, welches am 10.06.2016 in der Version 0.0.1 veröffentlicht worden ist. Mit Apache NiFi MiNiFi werden sogenannte Agenten für die Daten-Extraktion möglich. Agenten sind leichtgewichtige Programme mit der Aufgabe Daten […]
Weiterlesen
Am 12. Juli 2016 wurde die Version 0.7.0 von Apache NiFi veröffentlicht, das auf Grund seiner einfachen Bedienbarkeit, seiner Performanz und seiner Datensicherheit zunehmend im Big Data Kontext und darüber hinaus Verwendung findet. Apache NiFi ermöglicht es, Workflows zu generieren, um Daten zu extrahieren, zu transformieren und weiterzuschicken. Darüber hinaus eignet sich NiFi, zum Monitoren […]
Weiterlesen
Ausfallsicherheit ist eines der wichtigsten Kriterien für die Wahl einer SolrCloud-Lösung statt der Nutzung der Solr-Single-Core-Variante. Durch das Hinzufügen von Replikas lassen sich die Indizes der einzelnen Shards einer Collection duplizieren und sichern damit die Daten für den Fall, dass ein Solr-Knoten ausfällt. Doch was, wenn gezielt ein bestimmter Zustand der SolrCloud gesichert werden soll, […]
Weiterlesen
Solr 6.1 Feature-Test – Mehr Toleranz bei Updateprozessoren TolerantUpdateProcessor Seit Mitte Juni steht Solr in der Version 6.1.0 zum Download bereit. Da es sich nur um ein Minor Release handelt, halten sich die Neuerungen in Grenzen. Ein zusätzliches Feature verdient es dennoch, erwähnt zu werden – die TolerantUpdateProcessorFactory. Wie der Name schon verrät handelt es […]
Weiterlesen
Wie bereits in vorangegangenen Blogbeiträgen vorgestellt, bietet Solr 6 einige neue Features. Außer der neuen SQL-Suchsyntax, dem neuen Scoring-Algorithmus und der Möglichkeit zur Graphentraversierung wurde auch die Streaming API um einige Befehle erweitert. Hinzugekommen sind unter anderem verteilte Joins und ein Ausdruck update zum Aktualisieren einer Collection in der SolrCloud. Funktionalität und Vorteile Über https://host:port/solr/stream?update(destCollection, […]
Weiterlesen
In diesen Tagen wird ein neues Minor-Release von Lucidworks Fusion veröffentlicht. Dieses bietet neben allgemeinen Verbesserungen natürlich auch einige Ansätze, die widerspiegeln was aktuelle Trends im Bereich Search und Big Data im Allgemeinen sind: Datenmodellierung, Indexierung von zeitbasierten Daten (Log-Events, von Usern generierte Daten, Tweets etc.) und bessere Integration von Tools im Bereich Machine Learning. […]
Weiterlesen