Filterung von Evidenzräumen

Suche als Einschränkung der Attribute von Evidenzobjekten in DuckDB

TippDie Filterung in einem Satz

Eine Famulus-Frage sucht nicht nach Zeichenketten. Sie schränkt die Evidenzobjekte einer Collection (Briefe, Seiten, Absätze, Sätze, Fußnoten), die mit ihren Attributen in DuckDB liegen, durch einen hierarchischen Attributbaum ein. Eine einzige Anweisung gibt die Objekte zurück, die ihn erfüllen, jedes mit seinem Grund.

Ein Beispiel vorweg

In welchen Briefen erwähnt Theodor von Kármán die Person Adolf Hitler?

Die Frage legt zwei Attribute fest, die auf verschiedenen Ebenen liegen. Kármán ist der Absender: ein Attribut des Briefkopfs, das der Briefdatensatz verzeichnet (letter-head/sender). Hitler ist eine Nennung: ein Attribut des Textes, das ein Satz trägt oder nicht trägt. Wer beides auf dieselbe Weise behandelt, bekommt eine falsche Menge (siehe Geschichte).

kopf/korrespondenz/absender = Theodor von Kármán → P000224

text/nennung/person = Adolf Hitler → P007304, Lemmaklassen Hitler|de, Hitler|en

Einheit der Konjunktion: Brief

Die Filterung geht den Ebenen nach:

Schritt	Briefe	was entschieden wird
alle Briefe	15.976	der Körper karman-nachlass
nach dem Kopf	9.413	2.514 belegt: Kármán ist als Absender verzeichnet; 6.899 offen: kein Absender verzeichnet, unentschieden; 6.563 hat ein anderer geschrieben
nach dem Text	175	1 belegt: ein Brief trägt einen Satz, in dem Hitler als Person steht; 174 offen: 174 dieser Briefe haben keinen Text und bleiben unentschieden

Das Ergebnis ist ein Evidenzobjekt, ein Satz:

S:10-6_fromm_carl_1921_1937#52.8, Brief 10-6_fromm_carl_1921_1937/035, Kármán an Carl Fromm, 26. November 1934.

There are many flags on the streets and people mumble something which sounds like ” Heil Hitler ” , but except for this you will find your old friends about the same as they were before .

Kanäle: ner_linked (NER am Einzelding P007304), lexical (Wortform hitler). Lesart: als die Person gelesen.

WichtigDer Raum ist keine Trefferzahl

Der Raum (175) ist die Vereinigung der belegten Briefe, die jedes Blatt mit einem verzeichneten Wert erfüllen, und der offenen, die nur bleiben, weil ein Wert fehlt. Die Antwort liest die belegten. Welche Briefe schrieb Ludwig Prandtl? hat einen Raum von 6.908 Briefen, aber 9 belegte: 6.899 Briefe haben überhaupt keinen verzeichneten Absender. → Raum, belegt, offen

Die Anweisung läuft in weniger als 200 ms. Acht weitere Briefe nennen Hitler als Person, Kármán hat sie nicht geschrieben; jeder steht im Ausschlussbuch mit dem Blatt, das ihn ausschließt, und seinem Grund. Briefe, in denen der Name nur als Beiwort oder Eponym steht („Adolf - Hitler - Str.“, „Hitler-Zeit“), zählen nicht als Nennung (Lesart des Gebrauchs). Zwei Briefe mit „Hitlers Machtergreifung“ und „In Hitlers Zeiten“ fehlen: Stanza führt Hitlers unter einem eigenen Lemma, das das Register noch nicht der Person zuordnet. Der Raumbeweis famulus-raum/1 hält: jeder der 15.976 Briefe ist verbucht.

Die Begriffe

Evidenzobjekt. Eine adressierbare Einheit einer Collection, die Beleg einer Antwort sein kann: ein Satz, ein Absatz, eine Fußnote, eine Abbildung, eine Seite (Segment), ein Brief (Gliederungseinheit), ein Dokument (Verbund). Ein Evidenzobjekt hat eine Art, einen Schlüssel, eine Herkunft in der DTD und seinen Platz in der Gliederung. Jedes Evidenzobjekt liegt in DuckDB; was dort nicht steht, ist kein Evidenzobjekt, sondern eine Lücke der Bereitschaft. → Evidenzobjekte

Attribut. Eine Eigenschaft, die einem Evidenzobjekt zukommt oder nicht: Kármán ist der Absender dieses Briefs; dieser Satz nennt Hitler; dieser Brief ist im März 1933 datiert. Jedes Attribut hat eine Herkunft (DTD-Element, Tabelle), die Objektart, an der es hängt, einen Klassifikator und eine Regel, wann sein Wert unbekannt ist.

Fast Index. Die Klassifikation der Ausdrücke einer Frage auf Schlüssel, bevor gesucht wird. Ein Name in jeder Schreibweise wird eine Personen-Id, eine Jahresangabe ein Intervall („1543“ ist wahr für jedes Datum, dessen Intervall in 1543 liegt), eine Wortform ihr Lemma, ein Fachterminus eine Bedeutung im Wörterbuch. Danach arbeitet die Suche nur noch auf Schlüsseln. Die Liste der Attribute, einschließlich ähnlicher Ausdrücke, steht unter Was sich filtern lässt. → Attribute

Attributbaum. Die hierarchische Zergliederung in Kategorie, Unterkategorie und Aspekt (kopf/korrespondenz/absender). Ein Suchbaum über diesen Blättern ist eine minimale Theorie: eine Disjunktion von Clustern, jeder Cluster eine Konjunktion von Blättern, jedes Blatt wahlweise negiert, jeder Cluster mit mindestens einem positiven Blatt. Als Hypergraph gelesen ist ein Cluster eine Hyperkante, die ihre Blätter an dieselbe Einheit bindet, denselben Satz oder denselben Brief.

Kontextbaum, Fragebaum, Suchbaum. Der Kontext einer Frage (die Vorfrage der Sitzung, das Gedächtnis der Collection) ist selbst ein Teilbaum von Einschränkungen, keine Umgangssprache. Die Frage legt einen zweiten Teilbaum fest. Beide werden zum Suchbaum zusammengeführt.

Träger. Die Objektart, an der der Raum verbucht wird: in einer Korrespondenz der Brief, in einer Sammlung von Büchern, Diaserien und Karteien das Dokument. Jeder Träger liegt im Raum oder ist mit Grund ausgeschlossen; das beweist das Zertifikat. Ein Träger, über den der Datensatz nichts sagt, bleibt als unentschieden im Raum, ist aber kein Evidenzobjekt.

Evidenzobjektmenge. Was die Anweisung zurückgibt: die Objekte, die den Suchbaum erfüllen, mit dem Grund je Objekt. Mit dieser Menge arbeitet die Begründung weiter (Validitätsbaum).

Drei Werte, je Ebene eine Regel

Jedes Blatt entscheidet für jeden Brief: erfüllt, verletzt oder unentschieden. Nur verletzt schließt aus, immer mit Grund. Wann ein Brief unentschieden bleibt, hängt an der Ebene des Blatts:

Kopf und Inhalt. Was der Briefdatensatz verzeichnet. Ein verzeichneter anderer Wert schließt aus. Ist kein Wert verzeichnet, bleibt der Brief: das Register sagt nichts über ihn.

Text. Was auf den Briefseiten steht. Hat der Brief Text der Objektart und trägt kein Objekt den Wert, ist er ausgeschlossen: der Text ist selbst die Evidenz. Nur ein Brief ohne Text bleibt. Eine Personennennung trägt den Wert nur, wenn die Lesart des Gebrauchs das Vorkommen als Bezug auf die Person liest, nicht schon, weil die Wortform passt.

Die Unterscheidung kostet nichts an Recall und trennt, was die erste flache Fassung vermischte: dort blieb jeder Brief ohne Nennungszeile im Raum, 4.824 statt rund einem Dutzend.

Der Ablauf

flowchart TD
  raum["1 Evidenzraum: Collection, Objekte, Gate"]
  schema["2 Schemabaum aus DTD und Schemakarte"]
  kontext["3 Kontextbaum"]
  frage["4 Fragebaum: Klassifikation und Fast Index"]
  merge["5 Suchbaum"]
  sqlStep["6 eine SQL-Anweisung"]
  ausf["7 Evidenzobjektmenge mit Gruenden"]
  bewert["8 Bewertung"]
  verf["Rueckfrage: Verfeinerung"]
  beweis["9 Raumbeweis"]
  raum --> schema --> kontext --> frage --> merge --> sqlStep --> ausf --> bewert
  bewert -->|"zu gross, unspezifisch, leer, widerspruechlich"| verf
  verf --> merge
  bewert -->|"brauchbar"| beweis

Die neun Stufen sind die Partitur famulus_constraint_raum_agent (goal_path: famulus/evidenz/constraint); jede Stufe ist eine Operation famulus:evidenz_filter_*. → Ablauf

Was gemessen ist

Am Kármán-Nachlass (8. Oktober 2026):

1.206.532 Evidenzobjekte (663.972 Sätze, 482.693 Absätze, 38.213 Seiten, 15.976 Briefe, 4.612 Fußnoten, 1.066 Dokumente, 0 Abbildungen), 20.196.883 Postings, 1.242.958 Zeilen Enthaltensein.

Für die vier Nennungsfragen der Messreihe tragen die Evidenzobjekte 1, 2, 34 und 218 Briefe (Hitler, Weinstein, Einstein, Prandtl). Der ältere Entscheidungsbaum behielt 1, 6, 44 und 279: er zählte jede Wortform, die mit dem Namensschlüssel beginnt, auch Beiwort, Eponym und Literaturangabe. Jetzt ist ein Token Kandidat nur durch sein Stanza-Lemma, und es zählt nur, wenn die Lesart des Gebrauchs es als Bezug auf die Person liest. Der Recall gegen das Gold sinkt dadurch für Einstein auf 0,793 und für Prandtl auf 0,87; die meisten verfehlten Goldbriefe tragen eine Schreibung, die Stanza unter ein eigenes Lemma gestellt hat und die das Register noch nicht kennt („Prandtls“, „Prandl“). Die vier Attributfragen behalten jeden Goldbrief; ihre Mengen sind zu groß, weil viele Briefe keinen verzeichneten Absender haben, und eine Rückfrage verkleinert sie. Die Goldzeilen haben den Status vorgeschlagen.

Dieselbe Filterung läuft auf Hevelius, Euler IVA, Pirckheimer, Wäfler, Kepler und Copernicus, mit derselben Vorlage für Korrespondenzen und einer zweiten für Dokumente (Evidenzobjekte). Die Anweisung liegt dort zwischen 35 und 70 ms. Zahlen und Tabellen stehen in Ablauf.