Grafik Jahresbericht: Fehlerhafte Zählung in Auswertungs-Diagramm

[rebeccakurz]

Es scheint wohl ein Problem im Jahresbericht - PDF mit den Diagrammen bei den Arten zu geben insbesondere bei «Pflanzen total nach Population». Teilweise werden die ausgepflanzten Pflanzen einer bereits ausgestorbenen Tpop noch mit zur Zählung der gesamten Pop summiert oder trotz vorhandener Nullkontrolle, die vorgängige Zählung verwendet. Damit ergeben sich höhere Werte als tatsächlich.

Im Vorliegenden Falls (Viola persicifolia) sind dies die Zahlen aus dem Export: 

Pop	Pop Name	Pflanzen
56	Wettswil Filderen nord	25
49	Maschwanden, Hasplen	80
51	Obfelden, Lunner Allmend	80
57	Mettmenstetten, Chreienriet	403
20	Zürich, Katzensee, angesiedelt	499

Und hier die Zahlen im Diagramm:

Da wir die Jahresbericht morgen (oder spätestens bis Ende Woche) der FNS abgeben müssen, ist das leider ziemlich dringend und ich hoffe, du kannst es dir trotz Skiferien anschauen.

[barbalex]

Teilweise werden die ausgepflanzten Pflanzen einer bereits ausgestorbenen Tpop noch mit zur Zählung der gesamten Pop summiert

Hast du ein konkretes Beispiel?

oder trotz vorhandener Nullkontrolle, die vorgängige Zählung verwendet

Bitte um ein konkretes Beispiel

(ist für mich schwierig, weil ich die Arten und ihre Daten nicht kenne und immer damit rechnen muss, die Frage nicht ganz richtig verstanden zu haben)

[barbalex]

Noch eine Frage: Ist die Auswertung bzw. das Diagramm auf Ebene der entsprechenden Populationen auch falsch? Es wird einfacher, das zuerst zu korrigieren und erst danach einen Ebene hoch zu gehen.

[barbalex]

Ich habe jetzt eine kitzekleine Änderung, die wir von drei Wochen auf Ebene Population angewandt haben auch auf Ebene AP angewandt (das hatte ich damals offenbar nicht). Nun sehen die Daten ganz schön anders aus. Hasplen hat jetzt 80. Ist das besser?

[rebeccakurz]

Bitte schau dir einmal bei Viola persicifolia Population 51 an: laut Diagramm "Anzahl Pflanzen pro Population", im Jahresbericht 2025 der Art, sollen in Pop 51 87 Individuen sein. Tpop 51.1 und 51.2 sind erloschen. Tpop 51.3 hat nur eine Ansiedlung mit 80 Pflanzen. Woher kommen die 7 zusätzliche Individuen? Wenn ich es richtig erkannt habe, wird bei Tpop 51.1 noch die Kontrolle von 2024 (7 Pflanzen) mit aufsummiert, obwohl diese Tpop erloschen ist und zusätzlich noch eine Nullkontrolle in 2025 vorhanden ist.

[barbalex]

Das Problem ist: (soweit ich es anhand dieses Beispiels verstehe)

• Wenn in einem Jahr keine Zählung existiert, soll der Wert aus der letzten in einem Vorjahr erfolgten Zählung verwendet werden
• Wenn eine TPop in einem Jahr aber als erloschen gilt, soll dies NICHT passieren

Letzteres ist nicht passiert. Und nicht ganz einfach zu implementieren.

[barbalex]

Ich hab jetzt sichergestellt, dass nur Zählungen berücksichtigt werden, die zu einer TPop gehören, die im auszuwertenden Jahr einen der drei gewünschten Stati hat. Siehe hier:

apf2/sql/apflora/functions/ap_ausw_pop_menge.sql

Lines 54 to 59 in ed57068

	-- ensure that only zaehlungen are considered,
	-- which belong to a tpop that in the year of the kontr has status 100, 200 or 201
	INNER JOIN apflora.tpop_history tpop_of_jahr ON
	tpop_of_jahr.id = kontr.tpop_id
	AND tpop_of_jahr.year = $2
	AND tpop_of_jahr.status IN(100, 200, 201)

Bitte prüfe, ob das richtig(er) ist.

[barbalex]

Bei den Massnahmen habe ich diese Bedingung nicht eingeführt. Theoretisch könnte ja in einer erloschenen TPop eine neue Anpflanzung erfolgen, und die müsste dann ja berücksichtigt werden. Oder?

[barbalex]

Hm. Meine Bemerkung oben macht keinen Sinn. Wir müssen verhindern, dass in der Auswertung frühere Anpflanzungen berücksichtigt werden, wenn die TPop heute erloschen ist. Also muss ich dort die gleiche Bedingung einfügen und ihr müsst den Status einer TPop ändern, wenn ihr neu anpflanzt.

[barbalex]

Das Problem ist:

• Grundsätzlich müssen wir für jedes auszuwertende Jahr (Jahre, für die Historien existieren) und für jede TPop die jüngste Zählung und Massnahme (Anpflanzung) verwenden, um die Anzahl in diesem Jahr darzustellen
• Aber nur, wenn sie Werte enthalten und zielrelevante Einheiten verwenden
• Zu berücksichtigen sind dabei aber auch die Relevanz der TPop und der Kontrolle (bei der Kontrolle werden nur nicht-relevante markiert)
• Nicht in jedem Jahr fand eine Anpflanzung oder Kontrolle statt. Daher müssen Vorjahre berücksichtigt werden
• Wenn im auszuwertenden Jahr aber die TPop nicht den "richtigen" Status hat, muss die Auswertung frühere Jahre ignorieren. Vermutlich sogar das auszuwertende Jahr, und einfach 0 anzeigen?
• Massnahmen müssen aber auch ignoriert werden, wenn seither eine Zählung stattgefunden hat. Ist das richtig?
• Für welchen der 6 Stati gilt was? Bisher wurden für Zählungen die Stati 100, 200 und 201 vorausgesetzt. Heisst das, dass bei allen anderen Stati frühere Massnahmen und Zählungen zu ignorieren sind und die Anzahl 0 zu verwenden ist? Oder gilt das nur für erloschene TPop (zwei der 6 Stati)?
• Bei Massnahmen haben wir nur solche von TPop mit den Stati 200 und 201 berücksichtigt. Müssen bei den Massnahmen also Stati anders berücksichtigt werden oder sollten sie einfach beim Status 100 nicht vorkommen?
• Darüber hinaus müssen wir für die Auswertung auf Ebene Art die ausgewerteten Informationen aus der Ebene der TPop auf der nächsthöheren Ebene der Pop gruppiert auswerten. Ist das einfach die Summe der auf Ebene TPop berechneten Werte oder ist dabei der Status der Pop zu berücksichtigen?
• Nicht zu vergessen: Was passiert mit Massnahmen und Kontrollen, die vor der ältesten Historie gemacht wurden? Muss das in den Abfragen noch explizit ausgeschlossen werden? Dann wäre das ist noch ein Fall, für den Vorjahre nicht zu berücksichtigen sind.

Die Logik, wann welche früheren Massnahmen und oder Zählungen auszuwerten sind, ist somit VIEL schwieriger und aufwändiger als bisher implementiert.

Ich bringe es glaube ich +- hin für die Auswertung einer einzelnen Population, siehe Beispiel hier: https://apflora.ch/Daten/Projekte/e57f56f4-4376-11e8-ab21-4314b6749d13/Arten/6c52d30b-4f62-11e7-aebe-73528305a058/Populationen/70c3bd85-4f62-11e7-aebe-4b408432ef1c/Auswertung. Stimmt das für dich so? An solchen Beispielen sollten wir beginnen, um die Logik eindeutig zu definieren.

Bei der Anzeige für eine ganze Art ist die CPU aber mit dieser Berechnung völlig überfordert und die App stürzt ab. Geschweige denn für alle Arten. Wir müssen das Problem richtig definieren (was muss wann wie ausgewertet werden). Und dann eine technische Möglichkeit finden, das so zu implementieren, damit die App bei dieser riesig aufwändigen Auswertung nicht abstürzt. Das setzt wohl mehrere Zwischenschritte voraus, um die CPU-Last zu verteilen. Was wiederum eine aufwändige Orchestration der nacheinander ablaufenden Auswertungen voraussetzt. Es ist sogar möglich, dass wir die Berechnungen (z.B. für den Jahresbericht über alle Arten) auf einen anderen Server auslagern müssen, um die App nicht lahm zu legen.

Ganz grobe Abschätzung der Berechnungen: 92 AP-Arten * 400 TPop * 12 Jahre * 2 (Kontrollen und Massnahmen) * 2 (Stufe Pop): ca. 1.6 Millionen Berechnungen - wenn sie maximal effizient durchgeführt werden. Viele davon beanspruchen viel Arbeitsspeicher, was bei dieser Anzahl rasch alle Grenzen überschreitet.

Ich bin jetzt nach ca. 9 Stunden Arbeit zu müde und mache morgen weiter. Bitte versuche du mal zu definieren, was unter welchen Umständen zu summieren ist. Vielleicht kann meine Liste oben und die aktuelle Berechnung auf Ebene Population anhand einiger Populations-Beispiele als Ausgangslage dienen.

[rebeccakurz]

Hoi Alex
Ich hatte gestern leider keine Zeit mehr, mir das alles anzuschauen. Also wenn ich dich richtig verstehe, dann war unsere ursprüngliche Meldung gar kein Fehler, sondern etwas, das uns einfach noch nicht aufgefallen ist, da es nur bei wenigen Arten vorgekommen ist oder?
Das Problem ist jetzt etwas, dass wir heute oder morgen den Gesamtjahresbericht abgeben sollten und dass die Auswertungen jetzt "noch schlimmer" aussehen. Das Hauptproblem scheint mir, dass nun auch Populationen in der Grafik erscheinen, die nicht relevant für den Jahresbericht sind, also auch historische, ausserkantonale etc..

Da das Ganze sehr kompliziert zu sein scheint, wäre die Frage, ob wir nochmals zum Stand vor unserer Meldung zurückkönnten, um die Jahresberichte abgeben zu können. Dann wären bei wenigen Arten kleine Fehler drin, das scheint mir besser als bei allen Arten komische Auswertungen (und scheinen wir ja auch in den letzten Jahren so abgegeben zu haben).
Würde das gehen?

Dann könnten wir zu einem späteren Zeitpunkt die Auswertungen nochmals genau anschauen und wo möglich optimieren (vielleicht können wir das sogar noch in die Offerte für die geplanten Arbeiten aufnehmen, wenn ich Anna und Judith frage).

[rebeccakurz]

Das hatte mir Anna Wunderli letzte Woche noch gemeldet, es geht hier ebenfalls um die Grafiken/Auswertungen. Vielleicht hilft dieses Beispiel dabei nachzuvollziehen, was die Auswertung berücksichtigt.

"Habe mir heute die Tpops der ursprünglichen Hypochaeris maculata in Bachs Hohflue (Population 1) angeschaut.
Gemäss EK-Planung nehme ich an, dass es total 72 Pfl. sind.
In der Auswertung über die ganze Art werden jedoch 94 Pfl. angezeigt (vermutlich inkl. der letzten Pflanzung/EK ohne 0 bei 1.5+1.6)?
In der Auswertung der Pop. dann wird nochmals mehr Pflanzen pro Tpop. Angezeigt, dort rechnet es vermutlich für alle letzte Massnahmen plus letzte EK?

Ich dachte nur, ich melde das mal, da es etwas verwirrend ist…
Evtl. kann Alex etwas an der Berechnung ändern, dass nur die letzte EK angezeigt wird, wenn sie neuer ist als die letzte Ansiedlung?"

[barbalex]

dass nur die letzte EK angezeigt wird, wenn sie neuer ist als die letzte Ansiedlung?

Das ist Teil des Problems, siehe meine Problem Liste oben.

Wenn wir Inhaltlich weiter machen wollen, müssen wir wohl diese Liste ergänzen und anhand vieler Beispiele testen. Zuerst auf Ebene Population, dann Art.

Zurücksetzen kann ich. Welchen Zeitpunkt willst du genau?

[barbalex]

dann war unsere ursprüngliche Meldung gar kein Fehler, sondern etwas, das uns einfach noch nicht aufgefallen ist, da es nur bei wenigen Arten vorgekommen ist oder?

Richtig, wenn du mit Fehler meinst, dass sich etwas verändert hat in der Berechnung. Das war kein Seiteneffekt einer Modernisierung.

Falsch, wenn du meinst, dass die Berechnung genau das gewünschte Resultat liefert. Dafür sollten wir meine Liste oben ausbauen.