PlanMaker NX öffnet eigene große CSV-Datei mit deutlich zu wenigen Zeilen

[Rinax]

Hallo zusammen,

ich habe unter PlanMaker NX für Linux ein Problem beim erneuten Öffnen einer zuvor mit PlanMaker NX erzeugten CSV-Datei festgestellt.

Die ursprüngliche XLSX-Datei enthält 193.410 Datenzeilen zuzüglich einer Kopfzeile. Für den aktuellen Test wurde eine zuvor auffällige Datenzeile manuell entfernt. Die anschließend getestete Datei enthält daher noch 193.409 Datenzeilen.

Rahmendaten:

* Ausgangsformat: XLSX
* Datenzeilen der Testdatei: 193.409
* CSV-Dateigröße: ungefähr 60 MB
* Feldtrennzeichen: Semikolon
* Betriebssystem: Linux
* Anwendung: PlanMaker NX

Beim erneuten Öffnen der mit PlanMaker NX erzeugten CSV-Datei zeigt PlanMaker nur ungefähr 91.960 Tabellenzeilen an.

Die Daten sind in der CSV-Datei jedoch weiterhin vorhanden:

* Microsoft Excel erkennt beim Öffnen derselben PlanMaker-CSV über 193.000 Zeilen.
* Eine von mir entwickelte PHP-Importfunktion liest aus derselben Datei 193.409 Datensätze.
* Davon wurden 193.406 in die Datenbank übernommen und drei aufgrund separater SQL-/Inhaltsprobleme abgefangen. Die Summe beträgt damit exakt 193.409 gelesene Datensätze.

Es liegt daher offenbar kein tatsächlicher Verlust der Daten beim CSV-Export vor. PlanMaker NX interpretiert die selbst erzeugte CSV-Datei beim erneuten Öffnen jedoch anders als Microsoft Excel und PHP.

An den auffälligen Stellen befinden sich gerade Anführungszeichen innerhalb normaler Textfelder, beispielsweise als Zollzeichen:

`Beispieltext mit Bauteil 19"`

Beim Öffnen der CSV mit PlanMaker NX werden ab solchen Stellen zahlreiche nachfolgende Datensätze in einer einzigen Zelle beziehungsweise einem einzigen Datensatz zusammengefasst. Dadurch reduziert sich die sichtbare Anzahl von über 193.000 auf ungefähr 91.960 Tabellenzeilen.

Zum Vergleich habe ich die ursprüngliche XLSX-Datei außerdem mit Microsoft Excel als CSV gespeichert. Diese CSV wird mit 193.411 Zeilen angezeigt, also 193.410 Datenzeilen zuzüglich der Kopfzeile.

Zusammenfassung:

* Ursprüngliche XLSX: 193.410 Datenzeilen
* Aktuelle Testdatei nach manueller Entfernung einer Zeile: 193.409 Datenzeilen
* PlanMaker-NX-CSV durch PHP gelesen: 193.409 Datensätze
* PlanMaker-NX-CSV mit Microsoft Excel geöffnet: über 193.000 Zeilen
* PlanMaker-NX-CSV mit PlanMaker NX geöffnet: ungefähr 91.960 Zeilen
* Mit Microsoft Excel erzeugte CSV: 193.411 Zeilen einschließlich Kopfzeile

Es sieht so aus, als würden gerade Anführungszeichen innerhalb eines Textfeldes beim CSV-Import durch PlanMaker NX als Textkennungszeichen fehlinterpretiert. Dadurch werden große Bereiche der Datei beim Öffnen optisch zu einzelnen Datensätzen zusammengefasst, obwohl die Daten weiterhin in der CSV vorhanden sind.

Ist dieses Verhalten bereits bekannt? Gibt es beim CSV-Import eine Einstellung, mit der gerade Anführungszeichen innerhalb eines Textfeldes zuverlässig als normaler Inhalt behandelt werden?

Aus Datenschutzgründen kann ich die verwendete Originaldatei leider nicht bereitstellen.

Viele Grüße
Rinax