Bioinformatik Benchmark System er et forsøg på at opbygge en rimelig test rammer, tests, og data, for at gøre det muligt for slutbrugere og leverandører til at undersøge effektiviteten af deres systemer.
Det, vi forsøger at gøre, er at skabe en ramme til test, og et centralt sæt af tests, alle kan downloade og bruge til at undersøge specifikke elementer af systemerne performance.
Desuden kilden til disse tests er tilgængelige under GPL, og er vært på Bioinformatics.org og skalerbar Informatik LLC Ideen er at gøre det muligt for slutbrugere, forbrugere, systemudviklere og andre til nemt at opbygge og bruge meningsfulde test for måling og tuning grunde .
Joe Landman fra Scalable Informatik LLC undfanget ideen og skrev den oprindelige koder. Vi er på udkig efter yderligere benchmark kode forslag, tests, datasæt osv
Aktuelle baseline tests er flere NCBI BLAST kører flere HMMER kørsler, og en række andre. Vi planlægger at inkludere ClustalW, X! Tandem, diverse kemi, dynamik, og relaterede tests, samt flere andre.
Tests såsom Linpack eller HPL simpelthen ikke give meningsfulde resultatindikatorer eller prædiktive modeller for højtydende informatik. Desværre, heller ikke en række nyere og fokuserede tests.
Dette er et problem, som Linpack og HPL specifikt teste performance på forskellige matrix operationer, hvor du har effektivt regelmæssige hukommelse adgang mønstre og specifikke matematiske operationer.
Disse koder er mest nyttige til sammenligning med koder med tunge operationer med flydende komma, og sammenflettet hukommelse trafik. Disse koder blev ikke designet til omfattende systemer benchmarking, hvor disk I / O, memory latency og andre faktorer bidrager alle til de problemer med ydeevnen.
De bedste tests er dem, der er mest ligner de koder, vil køre på maskinen. Testene selv bør være rimelige tilnærmelser til en reel gennemførelse af din kode, ved hjælp af reelle data. Du kan få brug for at studse den tilbage for at få realistiske køre tider.
Du bør have en rimelig delmængde af data størrelser. En enkelt test ikke fortælle dig, hvordan dit system skalaer, og en af årsagerne til eksistensen af denne test er specielt at give dig mulighed for at teste ydeevne, mens du øger forskellige aspekter af arbejdsbyrden.
Du får sjældent en hvilende system, i en klynge, så vi vil anbefale, at du forsøger at køre i så realistiske et driftsmiljø som muligt. En baseline i en hvilende system er fint, men det kan sætte dine forventninger urimeligt.
top
Kommentarer ikke fundet