Open problems in the security of learning

Machine learning has become a valuable tool for detecting and preventing malicious activity. However, as more applications employ machine learning techniques in adversarial decision-making situations, increasingly powerful attacks become possible against machine learning systems. In this paper, we present three broad research directions towards the end of developing truly secure learning. First, we suggest that finding bounds on adversarial influence is important to understand the limits of what an attacker can and cannot do to a learning system. Second, we investigate the value of adversarial capabilities-the success of an attack depends largely on what types of information and influence the attacker has. Finally, we propose directions in technologies for secure learning and suggest lines of investigation into secure techniques for learning in adversarial environments. We intend this paper to foster discussion about the security of machine learning, and we believe that the research directions we propose represent the most important directions to pursue in the quest for secure learning.

Promoting law student well-being through the curriculum

The Australian tertiary sector is becoming increasingly concerned about the psychological well-being of its students.Empirical research in Australia indicates that more than one-third of law students suffer from psychological distress, and the competitive, isolated, adversarial learning environment at law school has been suggested as partly responsible (Brain and Mind Research Institute, 2009). This fellowship program has mobilised strategic change to improve the psychological health of law students. It has lead and stimulated advancement in the legal curriculum, its pedagogy, and assessment practice to better engage, motivate and support student learning of law, focussing on the potential of non-adversarial legal practice. A new conceptual framework for legal education has been developed, demonstrating the pursuit of excellence in the teaching of law, and raising the profile of learning and teaching in Australian law schools. In addition the fellowship has created a national community of practice around this issue through the Wellness Network for Law, and made significant contributions to research and scholarship in the field.

Optimal online prediction in adversarial environments

In many prediction problems, including those that arise in computer security and computational finance, the process generating the data is best modelled as an adversary with whom the predictor competes. Even decision problems that are not inherently adversarial can be usefully modeled in this way, since the assumptions are sufficiently weak that effective prediction strategies for adversarial settings are very widely applicable.

Open problem : adversarial multiarmed bandits with limited advice

Adversarial multiarmed bandits with expert advice is one of the fundamental problems in studying the exploration-exploitation trade-o. It is known that if we observe the advice of all experts on every round we can achieve O(√KTlnN) regret, where K is the number of arms, T is the number of game rounds, and N is the number of experts. It is also known that if we observe the advice of just one expert on every round, we can achieve regret of order O(√NT). Our open problem is what can be achieved by asking M experts on every round, where 1 < M < N.

One practical algorithm for both stochastic and adversarial bandits

We present an algorithm for multiarmed bandits that achieves almost optimal performance in both stochastic and adversarial regimes without prior knowledge about the nature of the environment. Our algorithm is based on augmentation of the EXP3 algorithm with a new control lever in the form of exploration parameters that are tailored individually for each arm. The algorithm simultaneously applies the “old” control lever, the learning rate, to control the regret in the adversarial regime and the new control lever to detect and exploit gaps between the arm losses. This secures problem-dependent “logarithmic” regret when gaps are present without compromising on the worst-case performance guarantee in the adversarial regime. We show that the algorithm can exploit both the usual expected gaps between the arm losses in the stochastic regime and deterministic gaps between the arm losses in the adversarial regime. The algorithm retains “logarithmic” regret guarantee in the stochastic regime even when some observations are contaminated by an adversary, as long as on average the contamination does not reduce the gap by more than a half. Our results for the stochastic regime are supported by experimental validation.

An enforced cooperation : understanding scientific assessments in adversarial polities through Quebec shale gas policymaking, 2010-2014

Les biotechnologies, le réchauffement climatique, les ressources naturelles et la gestion des écosystèmes sont tous représentatifs de la “nouvelle politique de la nature” (Hajer 2003), un terme englobant les enjeux marqués par une grande incertitude scientifique et un encadrement réglementaire inadapté aux nouvelles réalités, suscitant de fait un conflit politique hors du commun. Dans l'espoir de diminuer ces tensions et de générer un savoir consensuel, de nombreux gouvernements se tournent vers des institutions scientifiques ad hoc pour documenter l'élaboration des politiques et répondre aux préoccupations des partie-prenantes. Mais ces évaluations scientifiques permettent-elles réellement de créer une compréhension commune partagée par ces acteurs politiques polarisés? Alors que l'on pourrait croire que celles-ci génèrent un climat d'apprentissage collectif rassembleur, un environnement politique conflictuel rend l'apprentissage entre opposant extrêmement improbable. Ainsi, cette recherche documente le potentiel conciliateur des évaluation scientifique en utilisant le cas des gaz de schiste québécois (2010-2014). Ce faisant, elle mobilise la littérature sur les dimensions politiques du savoir et de la science afin de conceptualiser le rôle des évaluations scientifiques au sein d'une théorie de la médiation scientifique (scientific brokerage). Une analyse de réseau (SNA) des 5751 références contenues dans les documents déposés par 268 organisations participant aux consultations publiques de 2010 et 2014 constitue le corps de la démonstration empirique. Précisément, il y est démontré comment un médiateur scientifique peut rediriger le flux d'information afin de contrer l'incompatibilité entre apprentissage collectif et conflit politique. L'argument mobilise les mécanismes cognitifs traditionnellement présents dans la théorie des médiateurs de politique (policy broker), mais introduit aussi les jeux de pouvoir fondamentaux à la circulation de la connaissance entre acteurs politiques.

An enforced cooperation : understanding scientific assessments in adversarial polities through Quebec shale gas policymaking, 2010-2014

Les biotechnologies, le réchauffement climatique, les ressources naturelles et la gestion des écosystèmes sont tous représentatifs de la “nouvelle politique de la nature” (Hajer 2003), un terme englobant les enjeux marqués par une grande incertitude scientifique et un encadrement réglementaire inadapté aux nouvelles réalités, suscitant de fait un conflit politique hors du commun. Dans l'espoir de diminuer ces tensions et de générer un savoir consensuel, de nombreux gouvernements se tournent vers des institutions scientifiques ad hoc pour documenter l'élaboration des politiques et répondre aux préoccupations des partie-prenantes. Mais ces évaluations scientifiques permettent-elles réellement de créer une compréhension commune partagée par ces acteurs politiques polarisés? Alors que l'on pourrait croire que celles-ci génèrent un climat d'apprentissage collectif rassembleur, un environnement politique conflictuel rend l'apprentissage entre opposant extrêmement improbable. Ainsi, cette recherche documente le potentiel conciliateur des évaluation scientifique en utilisant le cas des gaz de schiste québécois (2010-2014). Ce faisant, elle mobilise la littérature sur les dimensions politiques du savoir et de la science afin de conceptualiser le rôle des évaluations scientifiques au sein d'une théorie de la médiation scientifique (scientific brokerage). Une analyse de réseau (SNA) des 5751 références contenues dans les documents déposés par 268 organisations participant aux consultations publiques de 2010 et 2014 constitue le corps de la démonstration empirique. Précisément, il y est démontré comment un médiateur scientifique peut rediriger le flux d'information afin de contrer l'incompatibilité entre apprentissage collectif et conflit politique. L'argument mobilise les mécanismes cognitifs traditionnellement présents dans la théorie des médiateurs de politique (policy broker), mais introduit aussi les jeux de pouvoir fondamentaux à la circulation de la connaissance entre acteurs politiques.