Steckbrief KISS-LogMiner Steckbrief KISS-LogMiner

Scope Beschreibung Bemerkung
1.0 Allgemein Projektname KISS LogMiner
  Programm KISS LogMining Operations Suite
Projekttyp Product
Audience Private/Customer Projects
Projektkurzbeschreibung Applikation Framework zur Operativen und Strategischen LogfileAuswertung
Projektstatus Production
Technologie JAVA/J2EE
Projektstart 10.01.2013
2.0 Details Projektdetailbeschreibung
 

Software Suite zur Auswertung, Monitoring von LogDaten in Verteilten Systemen mit

Key Features:

  • Automatisierte Kollektion / Aggregation von Logdaten in einer Datensenke
  • Auswertung der Logdaten auf numerischer und textueller Ebene
  • Erstellung/Unterstützung von Benchmarkanalysen und Repports
  • Benutzerfreundlicher Zugang und Suche zu LogDaten in Verteilten System ohne Unix-Knowhow
Projekt Ziel

Infrastruktur für LogDatenmanagement im verteilten Systemumfeld

- Serviceorientierte Architektur

- Verarbeitung von BigData / Logdaten im Massendatenumfeld (20 Mrd. LogEvents)

- Suche, Rechcherche, Auswertung und Reporting für Normale Endanwender für große Datenbmengen

- Automatische Erkennung von Systemfehlern
Projekt Meilensteine/Roadmap
M00 Prototype, Projektsetup
M01 Implementierung Collector, Core Layer Datamodel
M02 Implementierung Datenbanken, Volltextsuche Retrieval Services
M03 Implementierung WebFrontend für Retrieval Services
M04 Implementierung Reporting Componente für Benchmark und Systemtests
M05 Erweiterung Componenten SAR-File Parse (System Activity Report)
M06 Prototyp - Implementierung Log4J Appender (Beta)
M07 Implementierung / Erweiterung DB-Systel - LogFileauswertung
M08 Erweiterung Anforderungen DB-Systel für Benchmarking
Projekt Anforderungen / High Level
  • JAVA / J2EE basierende Architektur
  • Massendatenfähig (<2Terabyte)
  • Verteilte Architektur
  • Web-Userinterface
Usecases/Examples:

UC001 - Konzentration von Logdaten über mehrere Hosts und Umgebungen

UC002 - Aggreagation der LogDaten in Datenbank

UC003 - Volltextindizierung und Volltextsuche innerhalb der Logdaten

UC004 - Auswertung und Aggregation numerischer Daten (Performance/Durchsatz)
3.0 Examples/Screenshots/Architektur
  Big Picture / Architektur
 
 
  Screenshots - Frontend Tools  
 
  Screenshots WebFrontends  
 
 
 
4.0 Projekt Resourcen    
  Projekt Webseite only for Internal
Projekt Relases  
R1-0-4 Preview Release - Prototypes
R1-1-0 First Public Release - DB-Systel LogFile Monitoring
R1-2-0 Release for DB-Systel Lasttest Auswertung
R1-3-3 Release Advanced System (Sar) CPU Reporting
R1-5-0 Release for Reporting and Research Functionality
Projekt Dokumente n/a
5.0 Projekt Management    
  Management Website n/a
Change Management n/a
Prozesse n/a
Projektprofil Java/JAVA EE
6.0 Sonstige Dokumente/Resourcen / Links
  Verwendete Open Source Projekte Apache Lucene, Apache Commons, ZKOSS, Jasper Reports
Dokumentation only Internal
7.0 Projekt-Log/Events
  01.10.2012 KickOff - Project Initiated
  20.11.2012 Project Archichtechture Draft / Prototypes and Analysis
  20.01.2013 Prototype Presentaton
  15.03.2013 Primery Delivery of Release Candidate Core Featues
  20.05.2013 Delivery DB-Systel Features - LogFileMonitoring
  15.08.2013 Delivery DB-Systel Features - Frontend Access Component
  20.10.2013 Extensions for Benchmark und Lasttestanalye
  15.01.2014 Extensions for Lasttest Features Teil 2
  20.04.2014 Delivery Sar File Component
9.0 Misc.    
  Referenzen  
  DB-Systel Projekt ISTP Operative Logfileanalyse in verteilten Umgebungen
  DB-Systel Projekt ISTP Reporting und Auswertung von Benchmarks
10.0 Links and Docs    
  Präsentation LogMiner /documents/22587/29190/P%C3%A4sentation+LogMiner/6f60f7de-6f4d-43c2-9ec2-32b7a0646ad1