Oktober-2021-Inkrement an co2online liefern und in deren Testumgebung testen
Milestone ID: 968
Vor der Urlaubswoche soll folgendes für eine Testinstanz bei co2online ankommen:
-
Neu trainierte Modelle inkl. deren Evaluation (im Vergleich zum Stand der Beta, April 2021)
(smarthec/backlog-and-documentation#1,smarthec/backlog-and-documentation#9(Wiedervorlage wg. Rücksprache)) -
Angepasste OCR-D-Prozessoren wurden integriert, nutzt (weiterhin) unseren Mask-R-CNN-Fork -
Dadurch wird die bisherige Smart_HEC Webservice-Komponente obsolet (und archiviert), -
relevante Teile zur Steuerung der Pipeline werden in das Smart_HEC-Backend integriert.
(smarthec/backlog-and-documentation#3)
-
-
Ein aktualisiertes Docker-Image mit diesen Änderungen wird an co2online übergeben
(smarthec/backlog-and-documentation#12) -
Ein besonderes Augenmerk liegt auch auf den Antwortzeiten
(smarthec/backlog-and-documentation#15)
Ergebnisse:
Ad 1. Es sind Verbesserungen, aber auch (wenige) Verschlechterungen aufgetreten. Ein Nachtrainieren bzgl. der Verschlechterungen (8 Klassen) wurde durchgeführt und evaluiert - musste allerdings aufgrund weiterer dadurch auftretender Verschlechterungen verworfen werden.
Die neuen Modelle bieten eine Verbesserung in der Erkennungsleistung gegenüber der Beta-Version aus April 2021, d.h.
exemplarisch getestet an 3 Bildern: 44 Kennwerte statt zuvor 35 erkannt (Anteil an GT??)
Die Performanz ist vergleichbar mit letzten Tests, d.h. exemplarisch:
"auf dem GPU-Server bei einem 3-Seiten Dokument ca. 1:40min."
Co2online wird evaluieren, was das für die Praxis bedeutet.