Bereits in den den letzten Artikel habe ich mich mit dem Installieren von Elasticsearch und Kibana beschäftigt. Heute will ich mir mal anschauen, wie man Daten in Elasticsearch importieren kann. Ziel ist es das ganze mit Python zu realisieren.
Als Datensatz nehme ich Sensordaten von luftdaten.info. Hier habe ich mir aus dem Archiv die Daten für den SDS011 un den DHT22 Sensor heruntergeladen und entpackt. Das sind in Summe ungefähr 11 GB.
WeiterlesenIn einem der letztem Artikel habe ich bereits gezeigt, wie man Elasticsearch auf einem CentOS System installiert. Heute möchte ich einen Schritt weitergehen und zeigen wie man das ganze mit Ansible automatisieren kann.
WeiterlesenVon Elasticsearch haben die meisten von euch bestimmt schon mal gehört. Wahrscheinlich im Zusammenhang mit der Analyse von Daten im speziellen von Log Daten. Ich will heute in diesem Artikel zeigen, wie man eine Installation unter CentOS durchführt.
Elasticsearch ist eine verteilte Echtzeit-, Such- und Analyseplattform. Das hört sich jetzt erstmal so an, als ob man alle gerade interessanten Themen unterbringen will. Aus diesem Grund hier noch mal etwas genauer. Elasticsearch ist ein verteiltes System, weil die Information in Knotencluster organisiert werden, die verteilt auf mehreren Servern laufen. Es ist Echtzeit, da die Daten indiziert sind und man dadurch sehr schnell Antworten auf die Entsprechenden Fragen bekommt. Und zu guter letzt, es ist eine Recherche- und Analyseplattform da wir mit diesem System Daten untersuchen können.
WeiterlesenIm letzten Artikel habe ich ja gezeigt, wie man Elasticsearch unter CentOS7 installiert. Heute will ich damit weiter machen, wie nun Kibana auf dem Elasticsearch Server installiert wird.
Wir starten damit, dass Repository für Kibana zu hinterlegen. Dafür wird unter /etc/yum.repos.d/ eine Datei mit dem Namen kibana.repo
1 | touch /etc/yum.repos.d/kibana.repo |
In viele Unternehmen steht man irgendwann vor dem Problem, dass man eine große Datenquelle hat und diese Daten gerne in unterschiedlichen Formen auswerten will. Ein Beispiel dafür wären die Daten eines Ticketsystems oder Monitoring.
Die Grundlage für die Datenanalyse kann zum Beispiel Elasticsearch bieten. Aus diesem Grund schaue ich mir heute mal an, wie man Elasticsearch auf einem CentOS 7 Server installiert.