Datenverlust bei großen Tabellen

rollovanoyten
Beiträge: 83
Registriert: 06.12.2014 09:14:51

Datenverlust bei großen Tabellen

Beitrag von rollovanoyten »

Hallo.

Ich führe eine PlanMaker-Datei im xlsx-Format mit 3 Arbeitsblättern, die jeweils 17.000 bis 26.000 Zeilen und 14 Spalten beinhalten. Es handelt sich um alphanumerische Daten und einfache Formeln innerhalb des Arbeitsblatts. Mein Rechner arbeitet mit Windows 7 und SM Office 2018 Rel. 946-0211 64 bit. Bei (gefühlt) jedem 2. bis 3. Speichern wird die Datei statt im xlsx-Format im alten xls-Format gespeichert.
Das bedeutet, dass alle Datensätze jenseits von Zeile 16384 einfach gelöscht werden.
Auch werden alle, dem alten Excel-Format noch nicht bekannten, Formatierungen zurückgesetzt. Besonders unangenehm ist, dass das beim Weiterarbeiten auf dem Bildschirm nicht erkennbar ist, dort wird weiterhin das xlsx-Format gezeigt.

Das geschieht sowohl beim manuellen als auch beim 'Fortgeschrittenen' Automatischen Sichern.


Bei den Sicherungs-Versionen 12 und 13 erkennt man schon an der Dateigröße das falsche Format. Daraufhin habe ich die Datei explizit mit 'Speichern unter' gespeichert; darauf erfolgt die Speicherung wieder im richtigen Format (Version 14).

10.04.2019 18:09 4.763.442 nach NAME.xlsx.10.pmbak
10.04.2019 18:21 4.934.878 nach NAME.xlsx.11.pmbak
10.04.2019 18:38 13.652.480 nach NAME.xlsx.12.pmbak
10.04.2019 18:39 13.652.480 nach NAME.xlsx.13.pmbak
10.04.2019 18:41 4.934.888 nach NAME.xlsx.14.pmbak
10.04.2019 18:41 585 pmbak.index

Bei einem Fehler dieses Kalibers habe ich den Fehler zuerst bei mir selbst vermutet und vor dem Speichern zunächst stets mit 'Speichern unter' das eingestellte Format geprüft. Selbst bei voreingestelltem xlsx-Format wurde die Datei im xls-Format gespeichert.
Wenn das aber auch beim automatischen Speichern geschieht, kann es wohl kaum mein Fehler sein.

Meine Vermutung ist, dass PlanMaker beim Speichern die xls-Grenze zwar abgeprüft, wird, aber der falsche Schluss daraus gezogen wird. Was die Sache etwas unübersichtlich macht, ist die Unregelmäßigkeit, mit der sie vorkommt.

Eine Beispieldatei kann ich Ihnen leider nicht geben, weil es sich um personenbezogene Daten handelt.
Die üblichen guten Vorschläge, wie man das Problem umgehen kann, interessieren mich herzlich wenig.
Bei einem Problem dieser Art wäre es wohl angebracht, dass sich die Kompetenten damit befassen.

Mit freundlichem Gruß
rollovanoyten
Njörd
Beiträge: 165
Registriert: 14.03.2014 14:21:34

Re: Datenverlust bei großen Tabellen

Beitrag von Njörd »

rollovanoyten hat geschrieben: 10.04.2019 20:42:09 ... SM Office 2018 Rel. 946-0211 64 bit.
Ich kann zwar zu dem Problem nicht wirklich was beitragen, da ich PlanMaker wegen der bislang fehlenden ODS-Unterstützung praktisch nicht genutzt habe. Aber seit gestern ist Version 960 draußen. Da hier nun auch das Excel-2019-Format unterstützt wird, bedeutet das, dass definitiv an den Import-/Export-Filtern gearbeitet wurde. Daher wäre es mit Sicherheit sinnvoll, das problematische Szenario erst nochmal mit Version 960 zu testen.
rollovanoyten
Beiträge: 83
Registriert: 06.12.2014 09:14:51

Re: Datenverlust bei großen Tabellen

Beitrag von rollovanoyten »

Zunächst bin ich sehr beeindruckt von der Resonanz auf meine Meldung.
Außer einem gut gemeinten Hinweis von Njörd ist nicht eine einzige
Reaktion - vor allem nicht von SoftMaker - zu verzeichnen.
Meinen Beitrag hat wohl niemand ernst genommen.-

Ich wollte mich davon nicht entmutigen lassen und habe das nach wie vor
bestehende Problem inzwischen ein wenig einkreisen können:

1. Für Massen-Änderungen exportiere ich die Tabellen im txt-Format,
bearbeite sie mit einem Programm und gebe die Daten wieder im
selben Format aus.

2. Nach dem Änderungslauf öffne ich die txt-Datei mit PlanMaker
und lese die Daten so in eine neue leere Tabelle ein.

3. Ich kopiere die Daten und füge sie als unformatierten Text
(um die Formatierung in den Zellen zu erhalten)
in die vorher entleerte Ursprungstabelle ein.

Wenn ich dann die Datei speichere, wird automatisch das xls-Format
verwendet. Auch der * hinter dem Dateinamen, der eine geänderte Datei
anzeigen soll, bleibt nach dem Speichern bestehen.
Der Fehler muss also im Gefolge der importierten Daten entstehen.
Benutzeravatar
greifenklau
SoftMaker Volunteers
SoftMaker Volunteers
Beiträge: 4148
Registriert: 03.10.2007 13:58:39

Re: Datenverlust bei großen Tabellen

Beitrag von greifenklau »

rollovanoyten hat geschrieben: 24.04.2019 13:31:30 Zunächst bin ich sehr beeindruckt von der Resonanz auf meine Meldung.
Außer einem gut gemeinten Hinweis von Njörd ist nicht eine einzige
Reaktion - vor allem nicht von SoftMaker - zu verzeichnen.
Meinen Beitrag hat wohl niemand ernst genommen.-
Liegt wohl hieran:
Eine Beispieldatei kann ich Ihnen leider nicht geben, weil es sich um personenbezogene Daten handelt.
Die üblichen guten Vorschläge, wie man das Problem umgehen kann, interessieren mich herzlich wenig.
Bei einem Problem dieser Art wäre es wohl angebracht, dass sich die Kompetenten damit befassen.
System
macOS immer aktuelle Version
Mac mini M2
RAM: 16 GB
--------------------------------------------------------
iPad Pro - iPadOS immer aktuelle Version
--------------------------------------------------------
Laptop Medion Akoya i5
Linux Mint immer aktuelle Version
--------------------------------------------------------

Cogito ergo bum - oder so ähnlich.
Kuno
SoftMaker Volunteers
SoftMaker Volunteers
Beiträge: 2961
Registriert: 02.03.2004 12:31:01
Wohnort: Osnabrück

Re: Datenverlust bei großen Tabellen

Beitrag von Kuno »

Unter Einstellungen/Dateien ist aber schon xlsx als Standard-Dateiformat eingetragen ??
Systeme
Home: Core i5-4590T @ 2.0 GHz/Turbo 3.0 GHz 8Gb Ram - Intel HD Graphics 4400
Debian Bookworm / Openbox - Linux 6.5.0-4-amd64
--------------------------------------------------------
rollovanoyten
Beiträge: 83
Registriert: 06.12.2014 09:14:51

Re: Datenverlust bei großen Tabellen

Beitrag von rollovanoyten »

Selbstverständlich.
Kuno
SoftMaker Volunteers
SoftMaker Volunteers
Beiträge: 2961
Registriert: 02.03.2004 12:31:01
Wohnort: Osnabrück

Re: Datenverlust bei großen Tabellen

Beitrag von Kuno »

rollovanoyten hat geschrieben: 25.04.2019 21:17:41 Selbstverständlich.
Dann ist es ein Bug, wenn bei der Sicherung (un-)willkürlich das Datei-Format geändert wird. Da wäre es interessant, ein Statement von den Entwicklern zu erhalten...

PS..1: Um auf den Kommentar von Njörd zurückzukommen, passiert der Fehler auch mit der neuesten Revision - inzwischen 962 ?

PS..2: Wegen Beispieldokument - wäre es denn möglich, die personenbezogenen Daten per angesprochenem txt-Programm zu anonymisieren..?
Systeme
Home: Core i5-4590T @ 2.0 GHz/Turbo 3.0 GHz 8Gb Ram - Intel HD Graphics 4400
Debian Bookworm / Openbox - Linux 6.5.0-4-amd64
--------------------------------------------------------
rollovanoyten
Beiträge: 83
Registriert: 06.12.2014 09:14:51

Re: Datenverlust bei großen Tabellen

Beitrag von rollovanoyten »

Hallo Kuno,

mit der Version 962 ist es noch genauso.

Ich habe eine Testdatei mit 24.000 Zeilen und 9 Spalten erstellt und wollte sie beifügen.
Leider wird mir dann angezeigt, dass die Datei (sie umfasst 1.136 KB) zu groß ist.-
Da das Problem mit der Datenmenge zusammenhängt, ist die Dateigröße leider unvermeidbar.
Oder gibt es eine andere Möglichkeit, die Datei zu übersenden?

Sie können das Problem aber relativ einfach nachvollziehen, wenn Sie sich eine Tabelle
mit den oben genannten Parametern erstellen. Der Text in den Tabellen ist dabei unerheblich.

Dann bitte ich Sie, wie folgt vorzugehen:
1. Exportieren Sie die Datei im txt-Format. Die Export-Datei braucht gar nicht bearbeitet zu werden.
2. Laden Sie die gerade exportierte Datei zurück. Die Formate können auf 'Standard' belassen werden.
3. Kopieren Sie alle 24.000 Sätze in die Ursprungsdatei.
4. Speichern Sie die Ursprungsdatei und achten Sie auf den * im Dateinamen.
5. Beenden Sie das Programm und laden Sie die Datei neu.
6. Schauen Sie nach, wieviel Zeilen noch vorhanden sind. Bei mir fehlen fast 8.000 Zeilen.

Fehler können immer und Jedem passieren. Wenn es jedoch um mögliche Datenverluste geht,
müssten eigentlich die Alarmglocken schrillen, denn schlimmere Fehler gibt es nicht.
Insofern beeindruckt mich die Gelassenheit der Software-Entwickler.
rollovanoyten
Beiträge: 83
Registriert: 06.12.2014 09:14:51

Re: Datenverlust bei großen Tabellen

Beitrag von rollovanoyten »

Hier ist die Testdatei!
(Bei 745 KB klappt die Übersendung ja noch!)

Ich habe die Inhalte in den Zeilen 2 - 23.999 gelöscht.
Wer meine Fehlermeldung testen möchte, kann sich den Inhalt von Zeile 1
ganz einfach bis zum Ende der Tabelle kopieren.
Da die letzte Zeile noch ausgefüllt ist, kommt man ganz einfach
mit [Str + Ende] dorthin.
Dateianhänge
ErrGanzKurz.xlsx
(744.94 KiB) 155-mal heruntergeladen
rollovanoyten
Beiträge: 83
Registriert: 06.12.2014 09:14:51

Re: Datenverlust bei großen Tabellen

Beitrag von rollovanoyten »

Für alle, die zwar interessiert sind, aber den Test-Aufwand scheuen,
habe ich einen leichteren und schnelleren Weg gefunden.
Sie brauchen dafür die 64-Bit-Version von SoftMaker Office
und eines der letzten 3 Releases.

Ich habe ein kleines Programm (13.312 Bytes) geschrieben, das eine
schlichte Textdatei mit 24.000 Sätzen erzeugt. Jeder Satz enthält 9 Felder,
als Trennzeichen habe ich den Tabulator-Code genommen.
Das Programm heißt "MakeTestFile.exe" und ist garantiert "sauber".

Weil der Upload von exe-Files offensichtlich abgeblockt wird,
habe ich die Extension auf ".pmv" geändert. Wer will, kann das
einfach auf ".exe" ändern und sich damit die Testdatei erstellen.

Und so geht es dann:

1. Kopieren Sie das Programm in einen Ordner Ihrer Wahl und starten Sie es.
Der Ordner kann auch auf einem USB-Stick sein. Die Ausgabe-Datei wird
in den selben Ordner geschrieben und hat den Namen "Import.txt".

2. Öffnen Sie die Datei "Import.txt" mit PlanMaker und
speichern Sie sie mit dem "einfachen" Speichern-Command.
Überzeugen Sie sich von der Anzahl der Datensätze.
Beenden Sie PlanMaker. Sie haben die Datei "Import.xlsx" erstellt.

3. Laden Sie die Datei "Import.xlsx" mit PlanMaker.
Die Datei hat jetzt nur noch 16.384 Zeilen.
7.616 Datensätze sind einfach verschwunden!

Es muss doch irgend Jemanden geben,
der sich für Fehler der Kategorie "Hammer" zuständig fühlt!
Dateianhänge
MakeTestFile.pmv
(13 KiB) 155-mal heruntergeladen
martin-k
SoftMaker Team
SoftMaker Team
Beiträge: 6133
Registriert: 03.12.2003 14:32:06
Kontaktdaten:

Re: Datenverlust bei großen Tabellen

Beitrag von martin-k »

Ich kann davon leider überhaupt nichts nachvollziehen.

1. Ich kann keinen Fall produzieren, beim dem ein einfaches Strg+S einer XLSX-Datei plötzlich eine XLS-Datei mit XLSX-Namenserweiterung produziert.

2. Ich kann keinen Fall produzieren, bei dem die Daten nach 16384 Sätzen abgeschnitten wären. Ich habe dazu mit dem Testprogramm die Import.txt erzeugt, geöffnet, gepeichert, geschlossen und wieder geöffnet. Alle Datensätze da.

Die Grenze 16384 Zeilen hat auch nichts mit dem XLS-Format zu tun, denn dessen Grenze liegt bei 65536 Zeilen.

Haben Sie einen zweiten PC, auf dem Sie das Problem nachstellen könne?
Martin Kotulla
SoftMaker Software GmbH
rollovanoyten
Beiträge: 83
Registriert: 06.12.2014 09:14:51

Re: Datenverlust bei großen Tabellen

Beitrag von rollovanoyten »

Ich habe diesen Vorgang immer und immer wieder getestet:

auf vier verschiedenen Rechnern (2 Desktop, 2 Notebooks),
auf zwei Versionen von Windows 7 (Home Premium und Professional)
mit zwei Prozessortypen (32 bit und 64 bit)
und drei unterschiedlichen Programmversionen (Rev. 942, 946 und 962).

Das Abschneiden erfolgt ausnahmslos, nicht nur manchmal, wie ich anfangs vermutete.

Der Import der Datei scheint vollständig zu sein, alle 24.000 Sätze werden eingelesen.
Die Ausgabe erfolgt immer im xls-Format, auch wenn die Datei-Extension .xlsx lautet.
Warum der Schnitt bei 16.384 Zeilen erfolgt, ist mir nicht klar.

Ich habe die auf 16384 Sätze verkürzte Datei "Import.xlsx" anschließend problemlos mit
einer alten Version des Excel 2000 einlesen können, die das .xlsx-Format noch gar nicht kennt.
PlanMaker erstellt also trotz der Voreinstellung .xlsx also definitiv eine Datei im xls-Format.

Es ist mir derzeit einfach nicht vorstellbar, welche und wieviele Fehler ein Mensch machen müsste,
um den PlanMaker zu einem solchen Verhalten zu veranlassen.
martin-k
SoftMaker Team
SoftMaker Team
Beiträge: 6133
Registriert: 03.12.2003 14:32:06
Kontaktdaten:

Re: Datenverlust bei großen Tabellen

Beitrag von martin-k »

Laden Sie mal die erzeugte Datei hoch.
Martin Kotulla
SoftMaker Software GmbH
rollovanoyten
Beiträge: 83
Registriert: 06.12.2014 09:14:51

Re: Datenverlust bei großen Tabellen

Beitrag von rollovanoyten »

Hallo martin-k,

die erzeugte Datei "Import.xlsx" ist 3.441 KB groß und lässt sich leider nicht hochladen.
Die mit "Speichern unter" erzeugte xlsx-Datei ist nur 794 KB groß, nützt Ihnen aber nichts.

Als "Sofortmaßnahme" habe ich den Text in der "Import.xlsx" bis auf die
ersten 100 und die letzten 100 Sätze gelöscht, die leeren Zeilen natürlich drin gelassen.
Das hat die Größe auf unter 1 MB reduziert und die Datei kann hochgeladen werden.

Da ich annehme, dass der Datenbereich zusammenhängend gespeichert ist,
hoffe ich, dass Sie schon etwas damit anfangen können.
Ansonsten sagen Sie mir bitte, auf welchem Weg ich Ihnen die große Datei senden kann.

mfg / rollovanoyten
Dateianhänge
Import.xlsx
(852.5 KiB) 162-mal heruntergeladen
msteinborn
Beiträge: 429
Registriert: 28.02.2010 20:15:20

Re: Datenverlust bei großen Tabellen

Beitrag von msteinborn »

Wenn die Testdateien zu groß sind, kleiner Tipp: Auf imagenetz.de hochladen und hier verlinken.

Grundsätzlich tut es natürklich jeder Sharehoster, der zuvor genannte nervt die Benutzer beim Herunterladen jedoch nicht mit Wartezeiten und anderen Quälereien, was die Bereitschaft, das herunterzuladen, förern dürfte.
Antworten

Zurück zu „PlanMaker 2018 für Windows“