Zum Inhalt springen

Sinabis veröffentlicht verschiedene Datensätze für das End-to-End-Testing von E-Discovery-Software.

Millionen synthetische Dokumente, vier komplexe Rechtsfälle und eine zu 100 Prozent bekannte Ground Truth: Die Sinabis GmbH stellt auf Hugging Face ein umfassendes Ökosystem frei verfügbarer Großdatensätze bereit. Unter der offenen Lizenz CC BY 4.0 können Entwickler, Forensiker und Legal-Tech-Teams erstmals komplette E-Discovery-, OCR- und Document-AI-Pipelines unter realistischen Bedingungen bis an ihre Belastungsgrenzen testen.

Sinabis, , 8 Minuten Lesezeit

Wer Software für E-Discovery, digitale Forensik, Technology Assisted Review (TAR) oder Document AI entwickelt und evaluiert, stößt unweigerlich auf dasselbe fundamentale Problem: Echte Verfahrens- und Unternehmensdaten dürfen aus Datenschutz- und Geheimhaltungsgründen nicht weitergegeben werden.

Doch selbst dort, wo intern mit anonymisierten Beständen gearbeitet wird, fehlt der entscheidende Maßstab für belastbare Benchmarks: Niemand weiß bei einem gewachsenen Datenbestand von mehreren hunderttausend Dateien mit absoluter Sicherheit, welche Dokumente tatsächlich fallrelevant sind, welche Anhänge dem Anwaltsgeheimnis (Legal Privilege) unterliegen, wo versteckte personenbezogene Daten (PII) schlummern oder welche Dateien als Near-Duplicates zusammengehören. Ohne diese Ground Truth lassen sich zentrale Qualitätsmetriken wie Recall und Precision nur schätzen, aber niemals exakt messen. Gleichzeitig sind öffentliche Klassiker wie der Enron-Datensatz über zwanzig Jahre alt und bilden weder moderne Chat-Formate noch komplexe mehrsprachige Konzernstrukturen ab.

Um diese Lücke zu schließen, hat die Sinabis GmbH auf Hugging Face (huggingface.co/sinabis-group) eine ganze Familie synthetischer Großdatensätze veröffentlicht – angeführt von einem speziell konstruierten End-to-End-Testset für E-Discovery-Software mit über einer Million Dokumenten.

Das Herzstück: 1 Million Dokumente, 4 Rechtsfälle, alle Antworten bekannt

Das neue E-Discovery-Testset bildet den digitalen Fußabdruck eines fiktiven internationalen Konzerns für erneuerbare Energien (Sinabis Green Energy) mit 160 Custodians – darunter Geschäftsführung, Rechtsabteilung sowie 15 bereits ausgeschiedene Mitarbeitende – über den Zeitraum von 2016 bis 2026 ab.

Statt isolierter Einzeldateien liefert der Datensatz ein organisch zusammenhängendes Geflecht aus Kommunikations- und Geschäftsdaten:

  1. 1.005.254 Dokumente: über alle relevanten Unternehmensquellen hinweg: Dateiablagen (Fileshares), E-Mail-Postfächer (.eml), moderne Kurzmitteilungen und Chats (RSMF 2.0, Microsoft Teams-JSON, Slack-Exporte mit insgesamt rund 1,52 Millionen Einzelnachrichten) sowie Kalendereinträge (.ics inkl. Serien, Zu-/Absagen und Zeitzonen).
  2. Komplexe Dokumentfamilien & Threading: E-Mails samt verschachtelten Anhängen (Word, Excel, PowerPoint, PDF) sowie 57.372 E-Mail-Threads, inklusive Weiterleitungen, Reply-All-Verzweigungen (Thread Forks) und klar identifizierbarer inklusiver Mails.
  3. 4 realistische Rechtsfälle (Matters): Eingebettet in das Grundrauschen des Geschäftsalltags sind vier konkrete Untersuchungsgegenstände – von Wechselrichter-Bränden über Förderbetrug und Geheimnisverrat bis hin zu Schmiergeldvorwürfen in Dubai. Insgesamt enthält das Korpus über 81.000 responsive Dokumente und 1.075 „Hot Docs“.
  4. Konzeptuelle Treffer & Keyword-Köder: Um moderne semantische Suchverfahren und TAR-Modelle wirklich zu fordern, sind relevante Dokumente in drei Schwierigkeitsgrade unterteilt: klassische Keyword-Treffer, konzeptuelle Treffer (die den Sachverhalt ohne offensichtliche Schlagworte umschreiben) sowie gezielte Keyword-Köder (Decoys) – Dokumente, die zwar verdächtige Begriffe enthalten, inhaltlich aber völlig harmlos sind.
  5. Privilege, PII & Dubletten-Ketten: 23.217 privilegierte Dokumente (Attorney-Client Privilege und Work Product, jeweils ganz oder teilweise), 34.216 Dokumente mit fiktiven personenbezogenen Daten (PII) wie IBANs, Steuer-IDs, Ausweisnummern oder Gesundheitsdaten sowie exakt gesteuerte Dubletten: bitgenaue Duplikate, dieselbe Nachricht in mehreren Postfächern (Cross-Custodian Duplicates) und Near-Duplicate-Versionsketten über mehrere Bearbeitungsstände hinweg.

Härtetest für Processing-Engines: Scans und absichtlich defekte Dateien

Eine E-Discovery-Plattform beweist ihre Qualität nicht erst im Review, sondern bereits beim Ingestion und Processing. In der Praxis scheitern Pipelines regelmäßig an beschädigten Archiven oder unerwarteten Dateiformaten. Das Testset enthält deshalb gezielte Stolpersteine:

  1. 90.143 gescannte PDFs ohne Textlayer, die eine optische Zeichenerkennung (OCR) zwingend erfordern.
  2. Rund 50.000 „Exception Files“ (absichtlich kaputte oder schwierige Dateien): Passwortgeschützte Dokumente (wobei sich das zugehörige Passwort forensisch realistisch in einer anderen E-Mail desselben Custodians finden lässt), abgeschnittene Streams, beschädigte Bytes, 0-Byte-Dateien, manipulierte Dateiendungen, Zeitanomalien sowie tief verschachtelte Container (ZIP-in-ZIP, EML-in-EML) und eingebettete OLE-Objekte.

Geliefert wird das Testset praxisnah mit Concordance-DAT- und Opticon-Loadfiles (.dat / .opt) sowie einem Parquet-Manifest inklusive MD5- und SHA-256-Prüfsummen.

Strikte Trennung von Testdaten und Ground Truth

Damit KI-gestützte Review-Systeme und Processing-Pipelines im Test nicht „spicken“ können, liegt die Ground Truth in einem separaten Hugging-Face-Repository. Während das öffentliche Manifest lediglich jene Metadaten enthält, die ein echtes System beim Dateieingang extrahieren kann, verzeichnet die Ground Truth für jede einzelne Dokument-ID den exakt beim Generieren gesetzten Status (label_origin: seeded).

Ein mitgeliefertes Evaluationsskript (evaluate.py) gleicht die Ergebnisse einer getesteten Software automatisch mit der Ground Truth ab und berechnet objektive Kennzahlen für:

  1. Relevanz & TAR-Ranking
  2. Privilege-Erkennung
  3. PII-Detektion
  4. Exakte und Near-Deduplizierung
  5. E-Mail-Threading & Inklusivität
  6. Exception-Handling beim Processing

Für den schnellen Einstieg, für Live-Demos oder für automatisierte Tests in CI/CD-Pipelines stehen neben der 1-Million-Version auch identisch aufgebaute Teilmengen mit 1.000 und 10.000 Dokumenten (jeweils mit eigener Ground Truth) bereit. Container-Ausgaben im forensischen AD1- und AFF4-Format folgen in Kürze.

1.005.254Dokumente im E-Discovery-Testset: 160 Custodians, 2016 bis 2026, jede Antwort bekannt.

Ein Kästchen steht für rund 1.000 Dokumente. Vereinfacht: Im echten Datensatz überschneiden sich die Kategorien.

  1. 1Testset laden1.000, 10.000 oder 1 Million Dokumente mit DAT- und Opticon-Loadfiles.
  2. 2Software arbeiten lassenProcessing, OCR, Deduplizierung, Threading und Review wie im echten Verfahren.
  3. 3Mit der Ground Truth abgleichenevaluate.py vergleicht jede Dokument-ID mit dem separaten Ground-Truth-Repository.
  4. 4Exakte KennzahlenRecall und Precision für Relevanz, Privilege, PII, Dubletten, Threading und Exceptions.
Datensätze auf Hugging Face

Das gesamte Portfolio auf Hugging Face: Von Office-Dokumenten bis zu 1 Million E-Rechnungen

Über das E-Discovery-Komplettpaket hinaus hat Sinabis unter huggingface.co/sinabis-group spezialisierte Einzeldatensätze veröffentlicht, die in gestaffelten Größen von 1.000 bis zu 1 Million Dokumenten (bei E-Mails sogar bis zu 10 Millionen) verfügbar sind:

1. 1 Million Geschäftsdokumente (PDF) sowie Word-, Excel- und PowerPoint-Korpora

Für das Training und Benchmarking von Document-AI-, Klassifikations- und OCR-Modellen stellt Sinabis über 1.006.000 PDFs (71,8 GB) aus dem Geschäftsalltag von Sinabis Green Energy bereit – ergänzt durch eigenständige Großdatensätze für Word (.docx), Excel (.xlsx) und PowerPoint (.pptx):

  1. 20 Dokumenttypen im PDF-Korpus: Darunter Rechnungen, Gutschriften, Angebote, Gehaltsabrechnungen, Kontoauszüge, Mahnungen, Frachtbriefe, Behördenbescheide, Wartungsprotokolle und Kassenbons.
  2. Internationale Vielfalt: 1.777 fiktive Unternehmen aus 33 Ländern in 24 Sprachen (inklusive kyrillischer und CJK-Schriften) mit 178.099 individuellen visuellen Identitäten.
  3. 360.543 realistische Scans: Über ein Drittel der PDFs durchläuft eine künstliche Alterung mit Eingangsstempeln, Kugelschreiber-Notizen, Abhak-Markierungen, leichter Schräglage und Sensorrauschen.
  4. Reiche Office-Strukturen: Von mehrseitigen Verträgen, NDAs, SOPs und Besprechungsprotokollen in Word über Excel-Arbeitsmappen mit echten Berechnungsformeln, KPI-Dashboards und Diagrammen bis hin zu kompletten Management-Präsentationen in PowerPoint.

2. 1 Million deutsche E-Rechnungen (XRechnung 3.0 + ZUGFeRD)

Seit 2025 müssen Unternehmen in Deutschland E-Rechnungen empfangen können; ab 2027 wird auch der elektronische Versand schrittweise zur Pflicht. Da echte Buchhaltungsdaten streng vertraulich sind und offizielle Beispielsammlungen meist nur wenige Dutzend Musterfälle umfassen, veröffentlicht Sinabis zwei Datensätze mit 100.000 (5,6 GB) und 1.000.000 E-Rechnungen (68,5 GB):

  1. Hybrides Format: Jede Rechnung liegt als PDF/A-3b mit eingebettetem UN/CEFACT CII-XML (XRechnung 3.0, ZUGFeRD-Profil XRECHNUNG) sowie zusätzlich als separate .xml-Datei vor.
  2. Hohe steuer- und handelsrechtliche Komplexität: 15 Praxisszenarien zwischen 523 Ausstellern und 847 Kunden – darunter 148.478 B2G-Rechnungen mit Leitweg-ID, 80.000 Reverse-Charge-Fälle nach § 13b UStG, 452.341 Rechnungen mit Skonto, 50.000 Gutschriften, Abschlagsrechnungen am Bau, Einspeisevergütungen, innergemeinschaftliche Lieferungen, Kleinunternehmer-Rechnungen nach § 19 UStG sowie Hotelrechnungen mit gemischten Steuersätzen (7 % / 19 %).
  3. Centgenaue Ground Truth & Validierung: Visuelles PDF und eingebettetes XML stimmen in Netto-, Steuer-, Skonto- und Bruttobeträgen centgenau überein. Stichproben wurden gegen den offiziellen KoSIT-Validator, Mustangproject und veraPDF validiert.

Blick unter die Haube: Wie generiert man Millionen konsistente Dokumente?

Die Erzeugung mehrerer Millionen Dokumente stellt eine besondere architektonische Herausforderung dar: Würde man jedes einzelne PDF oder jede E-Rechnung vollständig von einem Large Language Model (LLM) schreiben lassen, wäre die Generierung nicht nur unbezahlbar langsam – die Dokumente würden auch unter typischen LLM-Schwächen leiden: Rechenfehler bei Mehrwertsteuer und Zwischensummen, inkonsistente Datumsfolgen oder unbemerkte inhaltliche Wiederholungen (unwanted Near-Duplicates).

Sinabis setzt deshalb auf eine zweistufige Hybrid-Architektur aus KI-gestütztem Weltbau und deterministischer Rendering-Engine.

1. KI für den Weltbau, Determinismus für die Zahlen

Sprachmodelle (wie Qwen und Gemma) kommen gezielt dort zum Einsatz, wo sprachliche Vielfalt und Domänenwissen gefragt sind: beim Entwurf der fiktiven Unternehmenswelt, der Branchen-Taxonomie (Wer kauft realistischerweise was bei wem? – der Elektriker beim Elektrogroßhandel, das Restaurant beim Lebensmittelgroßhandel), mehrsprachigen Produktkatalogen sowie individuellen Dokument-Bauplänen für Office-Dateien und E-Mail-Konversationen.

Im E-Discovery-Datensatz erhält beispielsweise jede Office-Datei ihren eigenen, per LLM entworfenen Struktur- und Textbauplan, sodass selbst bei hunderttausenden Dateien keine künstlichen Template-Dubletten entstehen, wo keine sein sollen.

Sobald diese Welt und ihre Kataloge stehen, übernimmt ein deterministischer Generator:

  1. Positionen, Mengen, Rabatte, Steuersätze, Skonti, Lohnabzüge und Excel-Formeln werden regelbasiert berechnet. Jede Summe auf einer Rechnung oder in einer Bilanz lässt sich aus den Einzelpositionen exakt nachrechnen.
  2. Prozedurale Design-DNA: Jedes fiktive Unternehmen erhält eine aus seiner Firmen-ID abgeleitete, unverwechselbare Corporate Identity – bestehend aus prozedural erzeugten Vektorlogos, Farbpaletten, Typografie, Kopfzeilen-Archetypen sowie Tabellen- und Fußzeilenstilen. Dabei unterscheidet sich jede Firma in mindestens vier von zwölf Hauptmerkmalen von allen anderen, bleibt über alle eigenen Dokumente hinweg aber visuell zu 100 Prozent konsistent.

2. Synthetischer „Büroalltag“ und Privacy-by-Design

Damit OCR-Engines und Forensik-Tools auf realistische Bedingungen treffen, durchläuft ein definierter Anteil der Vektor-PDFs eine mehrstufige Scan-Pipeline: Vor dem Rastern werden prozedurale Eingangsstempel, handschriftliche Kugelschreiber-Notizen, Paraphen und Haken aufgebracht; anschließend simuliert die Engine typische Artefakte von Büroscannern wie leichte Rotation, Kontrastverschiebungen und Sensorrauschen.

Gleichzeitig ist sichergestellt, dass keinerlei Verwechslungsgefahr mit realen Personen oder Firmen besteht:

  1. Alle generierten Unternehmensnamen werden automatisiert gegen Sperrlisten mit über 5.000 echten Marken, Behörden und Organisationen geprüft.
  2. E-Mail- und Web-Domains nutzen konsequent reservierte .example-Endungen, Telefonnummern liegen in fiktiven Nummernblöcken, und Bankverbindungen verwenden synthetische Bankleitzahlen bei gleichzeitig mathematisch gültigen IBAN-Prüfsummen.

3. High-Speed-Streaming für hunderte Gigabyte Daten

Um Millionen Kleindateien mit einem Gesamtvolumen von mehreren hundert Gigabyte effizient zu erzeugen, nutzt die Produktions-Pipeline ein Hybrid-Staging-Verfahren: Multiprocessing-Worker rendern mit einer Geschwindigkeit von 40 bis 100 Dokumenten pro Sekunde und Kern zunächst auf eine schnelle lokale NVMe-SSD. Ein nachgelagerter RollingZipPackager-Thread bündelt fertige Blöcke im laufenden Betrieb sequentiell in handliche ZIP-Archive (z. B. 4- bis 10-GB-Pakete für den direkten Download auf Hugging Face), berechnet parallel MD5- und SHA-256-Hashes, schreibt die Ground-Truth-Manifeste und gibt den lokalen Zwischenspeicher sofort wieder frei.

Frei verfügbar unter CC BY 4.0 – auch für kommerzielle Zwecke

Alle Datensätze der Sinabis GmbH stehen ab sofort auf Hugging Face zum kostenlosen Download bereit. Um sowohl der akademischen Forschung als auch kommerziellen Softwareherstellern, Beratungshäusern und Kanzleien maximale Freiheit bei der Nutzung zu bieten, erfolgt die Veröffentlichung unter der Lizenz Creative Commons Attribution 4.0 International (CC-BY-4.0):

This dataset is released under the Creative Commons Attribution 4.0 International (CC-BY-4.0) license. You are free to share and adapt the material for any purpose, including commercial applications, provided appropriate credit is given.

Ob für das End-to-End-Benchmarking von E-Discovery- und Forensik-Plattformen, das Training eigener Document-AI- und Extraktionsmodelle, Lasttests von E-Rechnungs-Workflows oder realistische Produkt-Demos ohne Datenschutzrisiko: Mit den synthetischen Datenwelten von Sinabis steht der Community erstmals ein offener, reproduzierbarer Maßstab im Millionen-Maßstab zur Verfügung.

Weiterführende Links

  1. Alle Datensätze & Repositories auf Hugging Face: huggingface.co/sinabis-group
  2. Sinabis GmbH auf LinkedIn: linkedin.com/company/sinabis-gmbh