A VGASpeed.hu tesztmódszere, a tesztelt játékok
Site tartalom - 2008/12/29, frissítve 2009/04/06
Megjegyzés: a cikk a P1 és P2 konfigurációkkal készült tesztekhez érvényes.
A tesztmódszerről
Ahogy azt a célkitűzéseinkről szóló cikkben kifejtettük, mi csak videokártyákkal foglalkozunk, ezért a tesztelési módszereink is azt célozzák, hogy az alanyként szolgáló hardverek a lehető legjobban meg tudják mutatni a tudásukat, abban a környezetben, amelyben legtöbb Olvasónk várhatóan használni fogja őket. Ezért a következő kereteket tűztük le a teszteléshez:- A játékok vizuális opcióit lehetőség szerint mindig a legmagasabbra állítjuk be - ez alól csak akkor teszünk kivételt, ha a legmagasabb beállítások irreális extra terhet rónak az aktuálisan elérhető VGA-kra, és ezáltal a mérések használhatóságát rontják. Amelyik játéknál ez a helyzet, ott a legmagasabb beállítások csak a felső középkategóriában és felette kerülnek elő - erről bővebben később.
- Mivel a játékokban használt preferrált felbontást mind a videokártya lehetőségei, mind a játékos egyéni igényei befolyásolják, az összes mérésünket elvégezzük a három legnépszerűbb felbontásban: 1280x1024-ben, 1680x1050-ben és 1920x1200-ban
- Az élsimítást külön esetként kezeljük, mert ez az egyetlen olyan látványjavító, amely szinte minden játékra nézve általános, és többnyire komoly erőforrás-igénye van. Jelenleg két esettel foglalkozunk: ha nincs élsimítás (0xAA), vagy ha 4x-es mintavételezést állítunk be (4xAA). Az élsimítás típusa a legtöbb esetben MSAA (Multisample Anti-aliasing), a kivételekre külön kitérünk. Mind élsimítás nélkül, mind 4x élsimítás mellett tesztelünk mind a három felbontásban, így alapesetben játékonként 6 eredmény születik.
- A legerősebb VGA-k esetében a fenti 6 eseten túl további teszteket végzünk, hogy a kártyák olyan terepen is meg legyenek mérve, ahol a legelszántabbak fogják használni őket. Ezeket az extrém beállítású teszteket mindhárom felbontásban elvégezzük - ha a játék már eredetileg is a maximális beállításokon fut, akkor itt 8x élsimítást kapcsolunk be, ha pedig még lehet izmosítani a beállításokon, akkor itt mindent feltolunk maximumra, és mind 0xAA, mind 4xAA mellett mérünk. Ahol a magasabb beállítás mellett a 8xAA sem elérhető (pl. Bioshock), ott extrém beállítású tesztek nem készülnek.
- A platform általi limitációt (tipikusan a CPU vagy a memória sebessége tud kevés lenni) igyekszünk minél jobban elkerülni - mind a tesztgép elemei által, mind a beállítások hangolásával
- Igyekszünk minél pontosabb eredményekkel szolgálni - ezért minden egyes tesztesetet háromszor mérünk le, és az eredményt csak akkor tekintjük véglegesnek, ha a három mérés eredménye összecseng, és korábbi méréseinknek sem mond számottevően ellent - ha a fentiek nem teljesülnek, akkor újramérünk
- Az nVidia ForceWare és az AMD Catalyst drivereit igyekszünk úgy beállítani, hogy minél több beállítás az alkalmazások fennhatósága legyen - ezeken túl a legjobb minőséget részsítük előnyben. A Catalyst AI-t "Normal" beállításon üzemeltetjük.
Teszt-platformok
Bár a haladás szörnyű és elítélendő dolog, időnként mi sem ússzuk meg az elmozdulás biztosnak hitt
terepünkről - akár új játékok, akár új hardver-elemek hatására időnként változtatnunk kell a megszokott
felálláson. Mivel a VGASpeed.hu egyik fő pillére az összevethető tesztadatbázis, a sok apró
változás elvén nem tudunk működni, mert az irdatlan mennyiségű újrateszteléssel járna. Ezért inkább a
változásokat "tömbösítjük", egyben csinálunk meg sokat, és így minden átalakításkor tiszta lappal, új platformmal
indulunk: platformnak hívjuk a tesztgép hardver-elemeinek, beállításainak, a használt játékoknak és azok
beállításainak összességét. Jelenleg kétféle platformon készült tesztek találhatók az adatbázisunkban:
- P1 vagy P1_Vista: az első felállás a 3.0GHz-es E6700-zal és az eredeti 11 játékkal
- P2 vagy P2_Vista: a CPU lecserélése (Q9550 @3.2GHz) mellett két játék (F.E.A.R., World in Conflict) nyugdíjba vonult, érkezett három új (Call of Juarez benchmark, Mirror's Edge, Stormrise), és három esetben kerültek fel patch-ek, ill. változtak a beállítások vagy a tesztútvonal (Far Cry 2, STALKER: Clear Sky, Unigine Tropics). Emellett a P2-vel bejöttek az extrém beállítások, amelyeket a HD4870 vagy nála erősebb kártyák esetén futtatunk - az eredeti eseteken túl. Ez minden játéknál más lehet, de a legjellegzetesebb példa, hogy a Crysis esetében az extrém beállíások a Very High minőségi szint használatát jelentik.
A játékok ismertetőiben a platformok közötti különbségekre kitérünk.
Eszközeink
- Kis rabszolgákat ültetünk a gép elé, akik éjjel-nappal a teszteket futtatják
- Heves automatizálásba fogunk
- (a harmadik megoldás, miszerint kézzel futtatjuk a rengeteg tesztet, és rövid úton beleőrülünk, nem támogatott)
Mivel a rabszolgatartás nem túlzottan szép dolog (meg állítólag illegális is),
maradtunk a második megoldásnál. Abból az elvből kiindulva, hogy a játékok irányítása végső soron csak a
billentyűk nyomogatásából és az egér ráncigálásából áll, valószínűsítettük, hogy mindegyik játék tesztelését
lehet automatizálni - a legtöbb esetben igazunk is lett, a Bioshock pedig #@#$^&^!#. A játékok ismertetésénel
szerepelni fog, mikor milyen módszert alkalmazunk.
Itt szeretnénk köszönetet mondani azon eszközök készítőinek, akik nélkül ezek a tesztek nem jöhetnének létre:
- A tesztautomatizálás lényegi részét az AutoIt3 névre hallgató kiváló csomaggal oldjuk meg
- A mérések nagy részét a Fraps 2.9.1-es verziójával végezzük
- Az eredmények feldolgozásában (meg általában, az összes idegesítő kézimunka kiváltásában) az ActivePerl 5.10-es verziója nyújt segítséget
- Végül a weblapok előállítása közben minden bizonnyal kitörne minket a frász a sok ismételgetéstől, ha nem lenne a PHP
A következő oldalakon pedig jöjjön a játékok bemutatása!