Dobrý večer, jsem autor jádra databáze a přednášky, ze které tento článek pravděpodobně čerpá.
Máte pravdu, ale tento fakt jsme brali v potaz. Nechtěli jsme platit náklady na dedikovanou infrastrukturu a proto jsme pro každý běh výkonnostních testů nakoupili infrastrukturu a po jejich skončení ji zase uvolnili. Nicméně všechny tři implementace běžely sekvenčně za sebou na stejném dropletu. Ačkoliv se tedy absolutní čísla mezi dvěma běhy výkonnostních testů mohly lišit kvůli různé HW specifikaci, relativní srovnání všech tří implementací v rámci jednoho běhu srovnatelné bylo, protože ty běžely v rámci stejného dropletu na stejném HW. Zároveň jsme na závěr projektu provedli testy i na fyzickém HW na straně Univerzity Hradec Králové, které nám potvrdilo, že relativní srovnání implementací naměřené na DO odpovídá realitě. On-demand alokovaná infrastruktura na DO nám také umožnila také celkem jednoduše provést testy vertikálního škálování, kdy jsme testovali výkon na různě vertikálně nasizovaném HW.
Testovací procedura včetně konstrukce všech testovacích scénářů je jednak zdokumentována a jednak je i stále dostupná na GitHubu.
Pokud byste měl další dotazy, bude lepší je řešit na našem Discordu. Konstruktivní kritiku vítáme.
Trošku mě překvapilo to testovaní.
"vybereme odpovídající Digital Ocean General Purpose Droplet. Aby bylo možné získat opakovatelné a srovnatelné výsledky, testovací prostředí, bude využito dropletu s vyhrazeným CPU"
Při tomto výběru vůbec nevíte, jaké CPU vám DO přidělí. Není to opakovatelné.
Dost to sráží důvěryhodnost celého projektu.