Modeling Efficient Classification as a Process of Confidence Assessment and Delegation

In visual object detection and recognition, classifiers have two interesting characteristics: accuracy and speed. Accuracy depends on the complexity of the image features and classifier decision surfaces. Speed depends on the hardware and the computational effort required to use the features and decision surfaces. When attempts to increase accuracy lead to increases in complexity and effort, it is necessary to ask how much are we willing to pay for increased accuracy. For example, if increased computational effort implies quickly diminishing returns in accuracy, then those designing inexpensive surveillance applications cannot aim for maximum accuracy at any cost. It becomes necessary to find trade-offs between accuracy and effort. We study efficient classification of images depicting real-world objects and scenes. Classification is efficient when a classifier can be controlled so that the desired trade-off between accuracy and effort (speed) is achieved and unnecessary computations are avoided on a per input basis. A framework is proposed for understanding and modeling efficient classification of images. Classification is modeled as a tree-like process. In designing the framework, it is important to recognize what is essential and to avoid structures that are narrow in applicability. Earlier frameworks are lacking in this regard. The overall contribution is two-fold. First, the framework is presented, subjected to experiments, and shown to be satisfactory. Second, certain unconventional approaches are experimented with. This allows the separation of the essential from the conventional. To determine if the framework is satisfactory, three categories of questions are identified: trade-off optimization, classifier tree organization, and rules for delegation and confidence modeling. Questions and problems related to each category are addressed and empirical results are presented. For example, related to trade-off optimization, we address the problem of computational bottlenecks that limit the range of trade-offs. We also ask if accuracy versus effort trade-offs can be controlled after training. For another example, regarding classifier tree organization, we first consider the task of organizing a tree in a problem-specific manner. We then ask if problem-specific organization is necessary.

Tässä työssä käsitellään kuvien automaattista luokittelua tehokkuuden näkökulmasta. Luokittelulla tarkoitetaan sitä, että kuville annetaan otsikoita ennalta sovitusta otsikoiden joukosta. Esimerkiksi kasvojen etsinnässä kuvia voidaan luokitella kasvokuviksi tai taustakuviksi. Luokittelussa käytettävillä ohjelmilla, eli luokittelijoilla, on kaksi mielenkiintoista ominaisuutta: tarkkuus ja nopeus. Tarkkuudella tarkoitetaan todennäköisyyttä ennustaa kuvan luokka oikein. Tarkkuus riippuu kuvista etsittävien piirteiden ja luokittelijan käyttämien päätössääntöjen monimutkaisuudesta. Nopeus puolestaan riippuu käytettävästä laitteistosta ja luokittelijan laskennallisesta vaativuudesta. Kun tarkkuuden kasvattaminen johtaa monimutkaisuuden ja laskennallisen vaativuuden kasvuun, on tarpeen harkita johtaako muutos haluttuun lopputulokseen. Jos esimerkiksi vaativuuden annetaan kasvaa merkittävästi, mutta tarkkuus paranee vain vähän, niin ei ole mahdollista tavoitella mahdollisimman tarkkoja ja samalla halpoja sovelluksia. Tällöin tarvitaan hallittuja vaihtokauppoja tarkkuuden ja nopeuden välillä. Tässä työssä luokittelua sanotaan tehokkaaksi silloin, kun luokittelija voidaan säätää saavuttamaan haluttu vaihtokauppa tarkkuuden ja nopeuden välillä. Työssä ehdotetaan tiettyä mallinnuskehystä tehokkaan luokittelun mallintamiseksi ja ymmärtämiseksi. Luokittelua mallinnetaan puun kaltaisena prosessina, jossa kuvat kulkeutuvat juurisolmusta lehtisolmuihin päin. Puun säädettävistä parametreista riippuu kuinka syvälle puuhun kuvat kulkeutuvat. Syvyys on eräs nopeuteen ja tarkkuuteen vaikuttavista tekijöistä. Puun rakenne voi mukailla esimerkiksi luokkien hierarkiaa. Työn kokonaiskontribuutio on kaksitahoinen. Ensiksi mallinnuskehys esitetään ja osoitetaan kokeellisesti tyydyttäväksi. Toiseksi työssä kokeillaan tiettyjä epätavallisia lähestymistapoja osaongelmiin. Jälkimmäisen takia saadaan selville mitä mallinnuskehyksessä tarvitaan ja mitä ei. Työssä tarkastellaan muun muossa laskennallisten pullonkaulojen muodostumista puihin, vaihtokauppoihin vaikuttavien parametrien säätöä luokittelijan koulutuksen jälkeen, sekä puun rakenteen muodostamiseen liittyviä kysymyksiä.