Dateigrößenlimits
Wenn Sie eine Datei zu einem Space hinzufügen — durch Hochladen oder automatisch über S3 AutoSync oder Confluence Sync — teilt Smartchat die Datei in kleine Chunks auf und indexiert diese, damit sie in Chats gefunden werden können. Sehr große Dateien erzeugen eine enorme Anzahl an Chunks, was langsam zu verarbeiten und speicherintensiv ist. Damit die Ingestion für alle zuverlässig bleibt, darf eine einzelne Datei nur eine gewisse Größe haben.
Die Limits
Abschnitt betitelt „Die Limits“| Limit | Gilt für | Maximum |
|---|---|---|
| Seiten | PDF-Dateien | 500 Seiten |
| Dokumentgröße | Jede Datei (einschließlich PDFs) | ungefähr 2.000 Chunks (sehr grob 2 Millionen Tokens bzw. einige tausend Seiten reiner Text) |
Ein Chunk ist ein Ausschnitt des Dokuments von etwa 1.000 Tokens (ein Token entspricht ungefähr ¾ eines Wortes). Die genaue Chunk-Größe hängt von der Konfiguration Ihres Spaces ab, daher variiert die entsprechende Wort- oder Seitenzahl.
Ein PDF muss beide Limits einhalten.
Überschreitet eine Datei eines der beiden Limits, wird sie nicht eingelesen: Die Datei wird abgelehnt und steht im Space nicht zur Verfügung.
Warum es ein hartes Limit gibt
Abschnitt betitelt „Warum es ein hartes Limit gibt“Das Größenlimit ist eine bewusste Sicherheitsgrenze. Die Server, die die Ingestion verarbeiten, haben eine begrenzte Menge an Arbeitsspeicher, und eine beliebig große Datei könnte diesen vollständig aufbrauchen und die Verarbeitung anderer Dateien und Spaces destabilisieren. Da die Verarbeitung innerhalb dieses Speichers bleiben muss, muss eine Datei bei irgendeiner Größe abgelehnt werden, um das System stabil zu halten — die genaue Grenze ist daher, ehrlich gesagt, etwas willkürlich. Sie ist weit über dem angesetzt, was reale Dokumente benötigen: Die große Mehrheit der Dateien (weit über 99 %) ist deutlich kleiner als das Limit und ist nie betroffen.
Große Dateien brauchen länger
Abschnitt betitelt „Große Dateien brauchen länger“Eine große Datei braucht schlicht länger zum Einlesen, weil es mehr Inhalt aufzuteilen und zu indexieren gibt. Diese Langsamkeit rührt von der Größe der Datei selbst her, nicht davon, wie Smartchat sie verarbeitet.
Damit diese langlaufenden Jobs kleinere Dateien nicht aufhalten, verarbeitet Smartchat große Dateien (grob ab 100 Seiten oder rund 400 Chunks) auf einer separaten Warteschlange. Diese Warteschlange ist nicht langsamer oder leistungsschwächer; sie hat dieselben Ressourcen wie die Haupt-Warteschlange. Sie hält große Dateien lediglich aus dem Weg, damit schnelle Dateien nicht dahinter feststecken, und gibt einem Job die längere Zeit, die er zum Abschließen braucht. Sie müssen nichts tun; große Dateien werden einfach später fertig.
Dateien, die automatisch über S3 AutoSync hereinkommen, verwenden immer diese separate Warteschlange, sodass große synchronisierte Dateien nie andere Ingestion aufhalten. Die obigen Größenlimits sind für synchronisierte Dateien exakt dieselben wie für hochgeladene.
Wenn eine Datei zu groß ist
Abschnitt betitelt „Wenn eine Datei zu groß ist“- Teilen Sie sie in kleinere Dateien auf. Zerlegen Sie zum Beispiel ein großes PDF in Seitenbereiche oder ein langes Dokument in Dateien pro Abschnitt. Jeder Teil wird separat eingelesen.
- Entfernen Sie Inhalte, die nicht durchsuchbar sein müssen (zum Beispiel große, reine Bild-Anhänge), bevor Sie die Datei einlesen.