Techniques for network-based intrusion detection have been evolving for years, and the focus of most research is on detection algorithms, although networks are distributed and dynamically managed nowadays. A data processing framework is required that allows to embed multiple detection techniques and to provide data with the needed aggregation levels. Within that framework, this work concentrates on methods that improve the interoperability of intrusion detection techniques and focuses on data preprocessing stages that perform data evaluation and intelligent data filtering. After presenting a survey of the chain of processes needed for network-based intrusion detection, I discuss the evaluation of TCP connection states based on aggregated flow data. I develop classifiers that interpret flow data in regard of failed and successful connections. These classifiers are especially relevant for anomaly-based intrusion detection techniques like port scan or malware detection, and enable many of these techniques to operate on flow-level data instead of packet-level data. The second part focuses on the filtering of payload data for IDSs that use signatures for detection. I perform a detailed analysis of the IDS Snort that locates specific patterns within connections. This analysis led to the first approach, FPA (Front Payload Aggregation), which captures data that is transferred at the beginning of connections. Unfortunately, interleaved communication patterns cannot be captured well using this aggregation technique. Therefore I propose DPA (Dialog-based Payload Aggregation) in the next part, which divides bidirectional communication into dialog segments. For each direction change in the communication, a certain amount of transferred data is kept, and the rest is dropped. This way, bulk data is dropped using a very lightweight method that only relies on network and transport header information. The filter achieved very good results in combination with the IDS Snort, as 89% of the original events could be retained, whereas only 4% of the original amount of data was analyzed by the IDS. To exploit the multi-core architecture of today's CPUs, IDSs are executed in parallel and a load balancer distributes data to the systems. As payload-based analysis is not able to cope with current network speeds even with parallelization, I develop an approach to perform intelligent selection of the captured network data and to distribute selected data to multiple IDSs. The selection algorithm is based on a priority system that keeps track of each host's monitored time and the system controls data losses by monitoring the load of every IDS. My evaluation revealed that the system showed up to 40% better detection results compared to an overloaded system that dropped the same amount of packets in an uncontrolled way due to overload.

Eine steigende Anzahl an Einbrüchen und Schadanwendungen im Internet zeigt, dass nicht alle verbundenen Rechensysteme ausreichend durch Sicherheitsmaßnahmen geschützt werden. Deswegen ist es nötig, in Netzwerken verdächtige Datenströme zu erkennen welche Teil eines Angriffs sind oder zu Schadanwendungen gehören. Diese Dissertation schlägt ein System vor, das für diese Aufgabe ein Rahmenwerk zur Datenverarbeitung bereitstellt. Dieses Rahmenwerk ist fähig, Information auf verschiedenen Aggregationsstufen für diverse Erkennungstechniken zur Verfügung zu stellen. Dabei konzentriere ich mich auf die Verbesserung der Zusammenarbeit unterschiedlicher Techniken der Angriffserkennung und behandle vor allem die Vorverarbeitung und intelligente Filterung von Daten. Im ersten Teil der Arbeit gebe ich einen Überblick über die gesamte Prozesskette der netzwerkbasierten Angriffserkennung. Anschließend wird die Auswertung von Verbindungszuständen auf Basis flowbasierter Daten behandelt. Ich entwerfe Klassifikatoren, welche aggregierte Flowdaten hinsichtlich fehlgeschlagener und erfolgreicher Verbindungen auswerten. Diese Klassifikatoren sind besonders relevant für anomaliebasierte Methoden zur Angriffserkennung und erlauben es, dass viele dieser Methoden nicht nur mit Hilfe detaillierter Paketdaten angewendet werden können, sondern auch mit aggregierten Flowdaten. Weiterhin wird die Vorfilterung von Paketinhalten für Angriffserkennungssysteme in dieser Arbeit behandelt. Ich führe eine detaillierte Analyse des Angriffserkennungssystems Snort durch, welches Mustererkennung auf Paketinhalten durchführt. Diese Analyse führt zum ersten Ansatz, der FPA (Front Payload Aggregation). Diese Technik extrahiert Daten, die sich am Anfang von Verbindungen befinden. Leider werden verschachtelte Kommunikationsmuster nur unzureichend durch diese Filterungsmethode erfasst. Deswegen erweitere ich FPA zur DPA (Dialog-based Payload Aggregation), welche bidirektionale Kommunikation in Dialogsegmente unterteilt. Bei jedem Richtungswechsel in der Kommunikation wird dabei eine definierte Menge an Payloaddaten aufgezeichnet, und der Rest wird verworfen. DPA erreichte sehr gute Ergebnisse in Kombination mit dem Angriffserkennungssystem Snort, welches 89% aller vorhandenen Ereignisse erkannte, obwohl 96% der originalen Datenmenge von DPA ausgefiltert wurden. Um Mehrkernarchitekturen von neuen Prozessoren auszunutzen, werden mittlerweile netzwerkbasierte Angriffserkennungssysteme parallel ausgeführt, und ein Lastverteiler leitet Daten zu diesen Systemen. Da auf Paketinhalten basierende Erkennungssysteme für aktuelle Netzwerkgeschwindigkeiten zu langsam arbeiten, entwerfe ich eine Methode für die intelligente Auswahl von empfangenen Netzwerkpaketen. Nur ein Teil der empfangenen Pakete wird dabei zu Angriffserkennungssystemen weitergeleitet, und das System kontrolliert Datenverluste, indem Überlast in den Erkennungssystemen vermieden wird. Für eine ausgeglichene Auswahl ist ein Prioritätsmodell im System integriert, das die Beobachtungszeit einzelner Rechnern im lokalen Netzwerk verfolgt. Die Auswertung zeigte, dass das System bis zu 40% bessere Erkennungsraten hatte als ein überlastetes System, das die gleiche Datenmenge wegen Überlast unkontrolliert verlor.