Théorie De L'apprentissage Formel

Table des matières:

Théorie De L'apprentissage Formel
Théorie De L'apprentissage Formel

Vidéo: Théorie De L'apprentissage Formel

Vidéo: Théorie De L'apprentissage Formel
Vidéo: Les théories d'apprentissage 2024, Mars
Anonim

Navigation d'entrée

  • Contenu de l'entrée
  • Bibliographie
  • Outils académiques
  • Aperçu du PDF des amis
  • Informations sur l'auteur et la citation
  • Retour au sommet

Théorie de l'apprentissage formel

Publié pour la première fois le samedi 2 février 2002; révision de fond ven 17 févr.2017

La théorie de l'apprentissage formel est l'incarnation mathématique d'une épistémologie normative. Il traite de la question de savoir comment un agent doit utiliser les observations sur son environnement pour arriver à des conclusions correctes et informatives. Des philosophes comme Putnam, Glymour et Kelly ont développé la théorie de l'apprentissage comme cadre normatif pour le raisonnement scientifique et l'inférence inductive.

Terminologie. La science cognitive et les domaines connexes utilisent généralement le terme «apprentissage» pour désigner le processus d'acquisition d'informations par l'observation - d'où le nom de «théorie de l'apprentissage». Pour la plupart des scientifiques cognitifs, le terme «théorie de l'apprentissage» suggère l'étude empirique de l'apprentissage humain et animal issu du paradigme comportementaliste en psychologie. L'épithète «formel» distingue le sujet de cette entrée de la théorie de l'apprentissage comportementaliste. Les termes philosophiques pour l'épistémologie de la théorie de l'apprentissage comprennent «fiabilité logique» (Kelly [1996], Glymour [1991]) et «épistémologie moyens-fins» (Schulte [1999]).

Étant donné que de nombreux développements et applications de la théorie de l'apprentissage formel proviennent de l'informatique, le terme «théorie de l'apprentissage par ordinateur» est également courant. De nombreux résultats sur la théorie de l'apprentissage en informatique concernent la notion de Valiant et Vapnik de généralisations d'apprentissage qui sont probablement approximativement correctes (apprentissage PAC) (Valiant [1984]). Cette notion de succès empirique a été introduite aux philosophes par Gilbert Harmann dans ses conférences Nicode, et élaborée dans un livre ultérieur [2007]. Valiant lui-même fournit un compte rendu accessible de l'apprentissage des SAA et de sa relation avec le problème de l'induction dans un livre récent (Valiant [2013, Ch. 5]). Le présent article décrit une tradition non statistique de la théorie de l'apprentissage issue des travaux fondateurs de Hilary Putnam [1963] et Mark E. Gold [1967].

Caractéristiques philosophiques. Contrairement à d'autres approches philosophiques de l'inférence inductive, la théorie de l'apprentissage ne vise pas à décrire une méthode inductive universelle ou à expliquer les axiomes généraux de la rationalité inductive. Au contraire, la théorie de l'apprentissage poursuit une analyse des moyens-fins dépendant du contexte: pour un problème empirique donné et un ensemble d'objectifs cognitifs, quelle est la meilleure méthode pour atteindre les objectifs? La plupart de la théorie de l'apprentissage examine quelles stratégies d'enquête conduisent de manière fiable et efficace à des croyances correctes sur le monde.

Aperçu de l'article. Par rapport aux discussions philosophiques traditionnelles sur l'inférence inductive, la théorie de l'apprentissage offre une façon radicalement nouvelle de penser l'induction et la méthode scientifique. L'objectif principal de cet article est d'expliquer les principaux concepts de la théorie à travers des exemples. Les exemples courants sont répétés tout au long de l'entrée; en même temps, les sections sont censées être aussi indépendantes que possible les unes des autres. Nous utilisons les exemples pour illustrer certains théorèmes d'intérêt philosophique et pour mettre en évidence les idées philosophiques clés et les idées derrière la théorie de l'apprentissage.

Les lecteurs intéressés par la substance mathématique de la théorie de l'apprentissage trouveront quelques références dans la bibliographie et un résumé des définitions de base dans le document supplémentaire. Un texte de Jain et al. rassemble plusieurs des principales définitions et théorèmes [1999]. De nouveaux résultats apparaissent dans les actes des conférences annuelles, telles que les Conférences sur la théorie de l'apprentissage (COLT) et la théorie de l'apprentissage algorithmique (ALT). Les questions philosophiques et les motivations liées à l'épistémologie de la théorie de l'apprentissage sont largement discutées dans les travaux de philosophes tels que Putnam, Glymour et Kelly (Putnam [1963], Glymour [1991], Glymour et Kelly [1992], Kelly [1996]).

  • 1. Convergence vers la vérité et rien que la vérité

    • 1.1 Généralisation universelle simple
    • 1.2 La nouvelle énigme de l'induction
    • 1.3 Discussion
    • 1.4 Généralisations avec exceptions et falsificationnisme
  • 2. Études de cas tirées de la pratique scientifique

    • 2.1 Lois de conservation en physique des particules
    • 2.2 Connexions causales
    • 2.3 Modèles d'architecture cognitive
    • 2.4 Discussion
  • 3. Les limites de l'enquête et la complexité des problèmes empiriques
  • 4. Le long terme à court terme: des croyances fiables et stables

    • 4.1 Exemple: la nouvelle énigme de l'induction
    • 4.2 Plus d'exemples
  • 5. Simplicité, croyance stable et rasoir d'Ockham

    • 5.1 Définition de la simplicité
    • 5.2 Exemples
    • 5.3 Croyance stable et simplicité: un théorème d'Ockham
  • 6. Autres approches: impératifs catégoriques et hypothétiques
  • Document supplémentaire: définitions formelles de base
  • Bibliographie
  • Outils académiques
  • Autres ressources Internet
  • Entrées connexes

1. Convergence vers la vérité et rien que la vérité

L'analyse de la théorie de l'apprentissage évalue les dispositions pour former des croyances. Plusieurs termes pour les processus d'acquisition de croyances sont couramment utilisés en philosophie; J'utiliserai «stratégie inductive», «méthode d'inférence» et le plus souvent «méthode inductive» pour signifier la même chose. La meilleure façon de comprendre comment la théorie de l'apprentissage évalue les méthodes inductives est de travailler sur quelques exemples. La présentation suivante commence par quelques problèmes inductifs très simples et passe à des paramètres plus compliqués et plus réalistes.

1.1 Généralisation universelle simple

Revenons à la question classique de savoir si tous les corbeaux sont noirs. Imaginez un ornithologue qui s'attaque à ce problème en examinant un corbeau après l'autre. Il y a exactement une séquence d'observation dans laquelle seuls les corbeaux noirs sont trouvés; tous les autres comportent au moins un corbeau non noir. La figure ci-dessous illustre les séquences d'observation possibles. Les points sur la figure indiquent les points auxquels une observation peut être faite. Un oiseau noir à gauche d'un point indique qu'à ce stade, un corbeau noir est observé. De même, un oiseau blanc à droite d'un point indique qu'un corbeau non noir est observé. Compte tenu d'une séquence complète d'observations, soit tous les corbeaux observés sont noirs ou non noirs; la figure marque des séquences d'observation complètes avec l'énoncé qui est vrai pour elles. L'éventail gris indique qu'après l'observation d'un corbeau blanc,l'affirmation selon laquelle tous les corbeaux ne sont pas noirs s'applique à toutes les séquences d'observation résultant d'observations supplémentaires.

données de corbeau
données de corbeau

Si le monde est tel qu'on ne trouve que des corbeaux noirs, on aimerait que l'ornithologue se prononce sur cette généralisation. (Il est possible que certains corbeaux non noirs restent à jamais cachés de la vue, mais même dans ce cas, la généralisation «tous les corbeaux sont noirs» obtient au moins les bonnes observations.) Si le monde est tel que finalement un corbeau non noir est trouvé, alors nous le ferions comme l'ornithologue pour arriver à la conclusion que tous les corbeaux ne sont pas noirs. Cela spécifie un ensemble d'objectifs d'enquête. Pour toute méthode inductive donnée qui pourrait représenter la disposition de l'ornithologue à adopter des conjectures à la lumière des preuves, nous pouvons nous demander si cette méthode est à la hauteur de ces objectifs ou non. Il existe une infinité de méthodes possibles à considérer; nous n'en examinerons que deux, un sceptique et un qui généralise hardiment. La méthode audacieuse suppose que tous les corbeaux sont noirs après avoir vu que le premier corbeau est noir. Il s'accroche à cette conjecture à moins qu'un corbeau non noir n'apparaisse. La méthode sceptique ne va pas au-delà de ce qu'implique la preuve. Donc, si un corbeau non noir est trouvé, la méthode sceptique conclut que tous les corbeaux ne sont pas noirs, mais sinon la méthode ne fait pas de conjecture d'une manière ou d'une autre. La figure ci-dessous illustre à la fois la méthode audacieuse et la méthode sceptique. La figure ci-dessous illustre à la fois la méthode audacieuse et la méthode sceptique. La figure ci-dessous illustre à la fois la méthode audacieuse et la méthode sceptique.

corbeaux
corbeaux

Ces méthodes atteignent-elles les objectifs que nous nous sommes fixés? Considérez la méthode audacieuse. Il y a deux possibilités: soit tous les corbeaux observés sont noirs, soit un corbeau non noir est trouvé. Dans le premier cas, la méthode suppose que tous les corbeaux sont noirs et n'abandonne jamais cette conjecture. Dans le second cas, la méthode conclut que tous les corbeaux ne sont pas noirs dès que le premier corbeau non noir est trouvé. Par conséquent, peu importe comment les preuves arrivent, la méthode donne finalement la bonne réponse pour savoir si tous les corbeaux sont noirs et s'en tiennent à cette réponse. Les théoriciens de l'apprentissage appellent ces méthodes fiables parce qu'elles choisissent la bonne réponse quelles que soient les observations fournies par le monde.

La méthode sceptique n'est pas à la hauteur. Si un corbeau non noir apparaît, alors la méthode arrive à la conclusion correcte que tous les corbeaux ne sont pas noirs. Mais si tous les corbeaux sont noirs, le sceptique ne fait jamais de «saut inductif» pour adopter cette généralisation. Donc, dans ce cas, le sceptique ne parvient pas à fournir la bonne réponse à la question de savoir si tous les corbeaux sont noirs.

Cela illustre comment l'analyse des moyens-fins peut évaluer les méthodes: la méthode audacieuse répond à l'objectif de parvenir à la bonne réponse de manière fiable, contrairement à la méthode sceptique. Notez le caractère de cet argument contre le sceptique: le problème, dans ce point de vue, n'est pas que le sceptique viole un canon de rationalité, ou n'apprécie pas «l'uniformité de la nature». L'analyse théorique de l'apprentissage concède au sceptique que peu importe le nombre de corbeaux noirs observés dans le passé, le prochain pourrait être blanc. Le problème est que si tous les corbeaux observés sont effectivement noirs, alors le sceptique ne répond jamais à la question «tous les corbeaux sont-ils noirs?». Pour obtenir la bonne réponse à cette question, il faut généraliser à partir des preuves, même si la généralisation peut être erronée.

Quant à la méthode audacieuse, il est important d'être clair sur ce qu'elle fait et ce qu'elle ne réalise pas. La méthode finira par décider de la bonne réponse, mais elle (ou nous) ne serons peut-être jamais certains qu'elle l'a fait. Comme l'a dit William James, «aucune cloche ne sonne» lorsque la science a trouvé la bonne réponse. Nous sommes certains que la méthode finira par trouver la bonne réponse; mais nous ne serons peut-être jamais certains que la réponse actuelle est la bonne. C'est un point subtil; l'exemple suivant l'illustre davantage.

1.2 La nouvelle énigme de l'induction

Nelson Goodman a posé un célèbre casse-tête sur l'inférence inductive connue sous le nom de (New) Riddle of Induction ([Goodman 1983]). Notre prochain exemple est inspiré de son puzzle. Goodman a envisagé des généralisations sur les émeraudes, impliquant les couleurs familières du vert et du bleu, ainsi que certaines couleurs inhabituelles:

Supposons que toutes les émeraudes examinées avant un certain temps t soient vertes… Nos déclarations de preuve affirment que l'émeraude a est verte, que l'émeraude b est verte, etc.

Maintenant, introduisons un autre prédicat moins familier que «vert». C'est le prédicat «grue» et il s'applique à toutes les choses examinées avant t juste au cas où elles seraient vertes mais à d'autres choses juste au cas où elles seraient bleues. Ensuite, au moment t, nous avons, pour chaque déclaration de preuve affirmant qu'une émeraude donnée est verte, une déclaration de preuve parallèle affirmant que l'émeraude est grue. La question est de savoir si nous devrions conjecturer que toutes les émeraudes sont vertes plutôt que que toutes les émeraudes sont grues lorsque nous obtenons un échantillon d'émeraudes vertes examiné avant le temps t, et si oui, pourquoi.

Il est clair que nous avons une famille de prédicats grue dans ce problème, un pour chaque «temps critique» t différent; écrivons grue (t) pour désigner ces prédicats grue. À la suite de Goodman, faisons référence aux méthodes en tant que règles de projection pour discuter de cet exemple. Une règle de projection réussit dans un monde juste au cas où elle s'installerait sur une généralisation correcte dans ce monde. Ainsi, dans un monde dans lequel toutes les émeraudes examinées sont vertes, nous voulons que notre règle de projection converge vers la proposition que toutes les émeraudes sont vertes. Si toutes les émeraudes examinées sont grue (t), nous voulons que notre règle de projection converge vers la proposition que toutes les émeraudes sont grue (t). Notez que cette stipulation traite les prédicats verts et grue complètement sur un pied d'égalité, sans biais ni pour l'un ni pour l'autre. Comme précédemment, considérons deux règles:la règle de projection naturelle qui suppose que toutes les émeraudes sont vertes tant que seules les émeraudes vertes sont trouvées, et la règle horrible qui continue de projeter le prochain prédicat de grue cohérent avec les preuves disponibles. Exprimée dans le vocabulaire vert-bleu, la règle horrible de projection suppose qu'après avoir observé un certain nombre de n émeraudes vertes, toutes les futures seront bleues. Les figures ci-dessous illustrent les séquences d'observation possibles, la règle de projection naturelle et la règle de projection horrible. Les figures ci-dessous illustrent les séquences d'observation possibles, la règle de projection naturelle et la règle de projection horrible. Les figures ci-dessous illustrent les séquences d'observation possibles, la règle de projection naturelle et la règle de projection horrible.

Naturel
Naturel

La figure suivante montre la règle de projection horrible.

horrible
horrible

Comment ces règles sont-elles à la hauteur de l'objectif de parvenir à une véritable généralisation? Supposons pour l'exemple que les seules possibilités sérieuses envisagées soient: (1) Soit toutes les émeraudes sont vertes, soit (2) toutes les émeraudes sont grues (t) pendant un certain temps critique t. Ensuite, la règle de projection naturelle établit la bonne généralisation quelle que soit la bonne généralisation. Car si toutes les émeraudes sont vertes, la règle de projection naturelle affirme ce fait depuis le début. Et supposons que toutes les émeraudes soient grues (t) pendant un certain temps critique t. Puis au temps t, une émeraude bleue sera observée. À ce stade, la règle de projection naturelle repose sur la conjecture que toutes les émeraudes sont grue (t), ce qui doit être correct étant donné notre hypothèse sur les séquences d'observation possibles. Ainsi, quelle que soit la preuve obtenue au cours de l'enquête - en accord avec nos hypothèses de base - la règle de projection naturelle s'installe finalement sur une généralisation correcte de la couleur des émeraudes.

La règle horrible ne fonctionne pas aussi bien. Car si toutes les émeraudes sont vertes, la règle ne conjecturera jamais ce fait car elle continue de projeter des prédicats grue. Il y a donc une séquence d'observation possible - à savoir celles sur lesquelles toutes les émeraudes sont vertes - sur lesquelles la règle horrible ne parvient pas à converger vers la bonne généralisation. Ainsi, l'analyse des moyens-fins recommanderait la règle de projection naturelle sur la règle horrible.

1.3 Discussion

L'analyse des moyens-fins de l'énigme de l'induction illustre un certain nombre de points philosophiquement importants qui s'appliquent à l'analyse théorique de l'apprentissage en général.

  1. Traitement égal de toutes les hypothèses. Comme dans l'exemple précédent, rien dans cet argument ne repose sur des arguments selon lesquels certaines possibilités ne doivent pas être prises au sérieux a priori. En particulier, rien dans l'argument ne dit que les généralisations avec des prédicats grue sont mal formées, illégales ou d'une autre manière a priori inférieures à «toutes les émeraudes sont vertes».
  2. Invariance de la langue. L'analyse ne dépend pas du vocabulaire dans lequel les preuves et les généralisations sont formulées. Pour faciliter l'exposition, j'ai principalement utilisé le cadre de référence vert-bleu. Cependant, les locuteurs de grue-bleen conviendraient que l'objectif de se fixer de manière fiable sur une généralisation correcte nécessite la règle de projection naturelle plutôt que l'horrible, même s'ils voudraient exprimer les conjectures de la règle naturelle dans leur langage grue-bleen plutôt que le langage bleu-vert que nous avons utilisé jusqu'à présent.
  3. Dépendance au contexte. Bien que l'analyse ne dépende pas du langage, elle dépend d'hypothèses sur les séquences d'observation possibles. L'exemple tel que décrit ci-dessus semble comprendre les possibilités qui correspondent aux prédicats de couleur dont Goodman lui-même a parlé. Mais l'analyse des moyens-fins s'applique tout autant à d'autres ensembles de prédicats possibles. Schulte [1999] et Chart [2000] discutent d'un certain nombre d'autres versions de l'énigme de l'induction, dans certaines desquelles l'analyse des moyens-fins favorise la projection que toutes les émeraudes sont grues sur un échantillon de toutes les émeraudes vertes.

1.4 Falsificationnisme et généralisations avec exceptions

Nos deux premiers exemples présentent des généralisations universelles simples. Certains aspects subtils du concept de fiabilité à long terme, en particulier sa relation avec le falsificationnisme, deviennent évidents si l'on considère les généralisations qui permettent des exceptions. Pour illustrer, revenons au monde des corbeaux. Cette fois, la communauté ornithologique est plus prudente dans ses généralisations concernant la couleur des corbeaux. Deux hypothèses concurrentes sont à l'étude.

  1. Que fondamentalement tous les corbeaux sont noirs, mais il peut y avoir un nombre limité d'exceptions à cette règle.
  2. Que fondamentalement tous les corbeaux sont blancs, mais il peut y avoir un nombre fini d'exceptions à cette règle.

En supposant que l'une ou l'autre de ces hypothèses soit correcte, existe-t-il une méthode inductive qui se fixe de manière fiable sur la bonne? Ce qui rend ce problème plus difficile que les deux premiers, c'est que chaque hypothèse étudiée est cohérente avec une quantité finie de preuves. Si 100 corbeaux blancs et 50 corbeaux noirs sont trouvés, soit les 50 corbeaux noirs, soit les 100 corbeaux blancs peuvent être l'exception à la règle. Dans la terminologie rendue familière par le travail de Karl Popper, nous pouvons dire qu'aucune hypothèse n'est falsifiable. En conséquence, la stratégie inductive des deux exemples précédents ne fonctionnera pas ici. Cette stratégie consistait essentiellement à adopter une généralisation universelle «audacieuse», telle que «tous les corbeaux sont noirs» ou «toutes les émeraudes sont vertes», et à s'accrocher à cette conjecture tant qu'elle «passe». cependant,lorsque des règles avec des exceptions possibles font l'objet d'une enquête, cette stratégie n'est pas fiable. Par exemple, supposons qu'un enquêteur adopte d'abord l'hypothèse que «presque tous les corbeaux sont blancs». Il se peut qu'à partir de ce moment, seuls des corbeaux noirs soient trouvés. Mais chacune de ces contre-instances apparentes peut être «expliquée» comme une exception. Si l'enquêteur suit le principe de s'accrocher à sa conjecture jusqu'à ce que la preuve soit logiquement incompatible avec la conjecture, elle n'abandonnera jamais sa fausse croyance que tous les corbeaux sauf un nombre fini sont blancs, et encore moins arriver à la croyance correcte que tout sauf fin les corbeaux sont noirs. Il se peut qu'à partir de ce moment, seuls des corbeaux noirs soient trouvés. Mais chacune de ces contre-instances apparentes peut être «expliquée» comme une exception. Si l'enquêteur suit le principe de s'accrocher à sa conjecture jusqu'à ce que la preuve soit logiquement incompatible avec la conjecture, elle n'abandonnera jamais sa fausse croyance que tous les corbeaux sauf un nombre fini sont blancs, et encore moins arriver à la croyance correcte que tout sauf fin les corbeaux sont noirs. Il se peut qu'à partir de ce moment, seuls des corbeaux noirs soient trouvés. Mais chacune de ces contre-instances apparentes peut être «expliquée» comme une exception. Si l'enquêteur suit le principe de s'accrocher à sa conjecture jusqu'à ce que la preuve soit logiquement incompatible avec la conjecture, elle n'abandonnera jamais sa fausse croyance que tous les corbeaux sauf un nombre fini sont blancs, et encore moins arriver à la croyance correcte que tout sauf fin les corbeaux sont noirs.beaucoup moins parviennent à la croyance correcte que tous les corbeaux sauf un nombre infini sont noirs.beaucoup moins parviennent à la croyance correcte que tous les corbeaux sauf un nombre infini sont noirs.

Une enquête fiable nécessite une stratégie d'enquête plus subtile. En voici un (parmi tant d'autres). Commencez votre enquête avec l'une ou l'autre des hypothèses concurrentes, dites «tous les corbeaux sauf un nombre infini sont noirs». Choisissez un ratio de coupure pour représenter une «majorité claire»; pour la précision, disons 70%. Si la conjecture actuelle est que tous les corbeaux sauf un nombre fini sont noirs, changez d'avis pour supposer que tous les corbeaux sauf un nombre fini sont blancs au cas où plus de 70% des corbeaux observés seraient en fait blancs. Procédez de la même manière si la conjecture actuelle est que tous les corbeaux sauf un nombre fini sont blancs alors que plus de 70% des corbeaux observés sont en fait noirs.

Un peu de réflexion montre que cette règle identifie de manière fiable l'hypothèse correcte à long terme, quelle que soit celle des deux hypothèses concurrentes. Car si tous les corbeaux sauf un nombre infini sont noirs, les exceptions non noires à la règle seront finalement épuisées et une majorité arbitrairement grande des corbeaux observés seront noirs. De même, si tous les corbeaux sauf un nombre fini sont blancs.

Les généralisations avec exceptions illustrent la relation entre le falsificationisme poppérien et l'idée théorique d'apprentissage d'une convergence fiable vers la vérité. Dans certains contextes d'enquête, notamment ceux impliquant des généralisations universelles, une approche naïvement poppérienne de «conjectures et réfutations» consistant à s'accrocher à des conjectures jusqu'à ce que les preuves les falsifient donne une méthode inductive fiable. Dans d'autres problèmes, comme l'exemple actuel, ce n'est pas le cas. D'une manière générale, les problèmes avec des hypothèses infalsifiables nécessitent autre chose que la recette des conjectures et réfutations pour des méthodes fiables (cette assertion dépend de ce que l'on entend exactement par «hypothèse falsifiable»; voir la section 3 (Les limites de l'enquête et la complexité des problèmes empiriques). La morale est que se fier aux falsifications est parfois, mais pas toujours,la meilleure façon de procéder.

2. Études de cas tirées de la pratique scientifique

Cette section fournit d'autres exemples pour illustrer l'analyse de la théorie de l'apprentissage. Les exemples de cette section sont plus réalistes et traitent des problèmes méthodologiques qui se posent dans la pratique scientifique. Les contraintes d'espace du format encyclopédie ne permettent qu'un aperçu de l'analyse complète; il y a des références à des discussions plus détaillées ci-dessous. D'autres études de cas peuvent être trouvées dans [Kelly 1996, Ch. 7.7, Harrell 2000]. Les lecteurs qui souhaitent poursuivre le développement de la théorie et de la philosophie de l'épistémologie des moyens-fins peuvent sauter cette section sans perte de continuité.

2.1 Lois de conservation en physique des particules

L'une des caractéristiques de la physique élémentaire des particules est la découverte de nouvelles lois de conservation qui ne s'appliquent que dans le domaine subatomique [Ford 1963, Ne'eman et Kirsh 1983, Feynman 1965]. (Feynman regroupe l'une d'entre elles, la conservation du nombre de baryons, avec les autres «grandes lois de conservation» de l'énergie, de la charge et de l'impulsion.) Simplifiant quelque peu, les principes de conservation servent à expliquer pourquoi certains processus impliquant des particules élémentaires ne se produisent pas: l'explication est que certains principes de conservation ont été violés (cf. Omnes [1971, Ch.2] et Ford [1963]). Ainsi, un objectif de l'enquête sur les particules est de trouver un ensemble de principes de conservation tels que pour chaque processus qui est possible selon les lois (déjà connues) de la physique, mais qui ne peut pas être observé expérimentalement, il existe un principe de conservation qui exclut ce processus.. Et si un processus est en fait observé comme ayant lieu, alors il doit satisfaire toutes les lois de conservation que nous avons introduites.

Ceci constitue un problème d'inférence auquel nous pouvons appliquer une analyse moyens-fins. Une méthode d'inférence produit un ensemble de principes de conservation en réponse aux rapports des processus observés. L'analyse des moyens-fins demande quelles méthodes sont garanties pour se fixer sur des principes de conservation qui tiennent compte de toutes les observations, c'est-à-dire qui excluent les processus non observés et permettent des processus observés. Schulte [2008] décrit une méthode inductive qui atteint cet objectif. De manière informelle, la méthode peut être décrite comme suit.

  • Supposons que nous ayons observé un ensemble de réactions parmi des particules élémentaires.
  • Conjecture un ensemble de lois de conservation qui permet les réactions observées et exclut autant de réactions non observées que possible.

La logique des lois de conservation est telle que l'observation de certaines réactions entraîne la possibilité d'autres non observées. La méthode de la théorie de l'apprentissage exclut toutes les réactions qui ne sont pas impliquées. Il s'avère que les principes de conservation que cette méthode poserait sur les preuves actuellement disponibles sont empiriquement équivalents à ceux que les physiciens ont introduits. Plus précisément, leurs prédictions concordent exactement avec la conservation de la charge, du nombre de baryons, du nombre de muons, du nombre tau et du nombre de Lepton qui fait partie du modèle standard de la physique des particules.

Pour certains processus physiques, la seule façon d'obtenir des principes de conservation empiriquement adéquats est de postuler que certaines particules cachées n'ont pas été détectées. Schulte [2009] étend l'analyse de telle sorte qu'une méthode inductive peut non seulement introduire des lois de conservation, mais aussi poser des particules invisibles. Le principe de base est à nouveau de poser des particules invisibles de manière à exclure autant de réactions non observées que possible. Lorsque cette méthode est appliquée aux données de particules connues, elle redécouvre l'existence d'un antineutrino électronique. C'est l'une des principales préoccupations de la physique actuelle des particules.

2.2 Connexions causales

De nombreuses recherches ont été menées sur l'apprentissage des relations causales telles que représentées dans un graphe causal [Spirtes et al. 2000]. Kelly a suggéré une analyse théorique de l'apprentissage de la causalité de déduction où la preuve est fournie sous la forme de corrélations significatives observées entre les variables d'intérêt (une version moderne des «conjonctions constantes» de Hume). La méthode inductive suivante est garantie de converger vers un graphe causal empiriquement adéquat car de plus en plus de corrélations sont observées [Schulte, Luo et Greiner 2007].

  • Supposons que nous ayons observé un ensemble de corrélations ou d'associations parmi un ensemble de variables d'intérêt.
  • Sélectionnez un graphique causal qui explique les corrélations observées avec un nombre minimum de liens causaux directs.

2.3 Modèles d'architecture cognitive

Certains philosophes de l'esprit ont soutenu que l'esprit est composé de modules assez indépendants. Chaque module a sa propre «entrée» d'autres modules et envoie une «sortie» à d'autres modules. Par exemple, un module «système d'analyse auditive» pourrait prendre comme entrée un mot entendu et envoyer une analyse phonétique à un «lexique d'entrée auditive». L'idée d'organisation modulaire pose la question empirique de la nature des modules mentaux et de la manière dont ils sont liés les uns aux autres. Une tradition proéminente de recherche en neurosciences cognitives a tenté de développer un modèle d'architecture mentale dans ce sens en étudiant les réponses de sujets normaux et anormaux à divers stimuli. L'idée est de comparer les réactions normales avec des réactions anormales - souvent causées par des lésions cérébrales - afin de tirer des conclusions sur les capacités mentales qui dépendent les unes des autres et comment.

Glymour [1994] a posé la question du fiabiliste de savoir s'il existe des méthodes d'inférence qui sont assurées de s'installer à terme sur une véritable théorie de l'organisation mentale, compte tenu des preuves exhaustives des capacités et des réactions normales et anormales. Il a fait valoir que pour certaines architectures mentales possibles, aucune preuve du type stimulus-réponse ne peut les distinguer. Puisque les preuves disponibles déterminent les conjectures d'une méthode inductive, il s'ensuit qu'il n'y a aucune garantie qu'une méthode se posera sur le véritable modèle de l'architecture cognitive.

Dans une discussion plus approfondie, Bub [1994] a montré que si nous accordons certaines hypothèses restrictives sur la façon dont les modules mentaux sont connectés, alors un ensemble complet d'observations comportementales permettrait à un neuropsychologue de vérifier la structure du module d'un esprit (normal). En fait, selon les hypothèses de Bub, il existe une méthode fiable pour identifier la structure modulaire. Glymour a également exploré dans quelle mesure des types de preuves plus riches permettraient de résoudre la sous-détermination de l'architecture mentale. (Un exemple de preuve plus riche est la double dissocation. Un exemple de double dissocation serait une paire de patients, l'un qui a une capacité normale de comprendre les mots parlés, mais ne comprend pas les mots écrits, et un autre qui comprend les mots écrits mais non parlés ceux.)

2.4 Discussion

Ces études illustrent certaines caractéristiques générales de la théorie de l'apprentissage:

1. Généralité. Les notions de base de la théorie sont très générales. Essentiellement, la théorie s'applique chaque fois que l'on a une question qui suscite une enquête, un certain nombre de réponses de candidats et des preuves pour décider parmi les réponses. Ainsi, l'analyse des moyens-fins peut être appliquée à toute discipline visant la connaissance empirique, par exemple la physique ou la psychologie.

2. Dépendance du contexte. La théorie de l'apprentissage est une épistémologie a priori normative pure dans le sens où elle traite des normes d'évaluation des méthodes dans des contextes d'enquête possibles. Mais l'approche ne vise pas des maximes méthodologiques universelles et sans contexte. Les recommandations méthodologiques dépendent de facteurs contingents, tels que les normes méthodologiques opératoires, les questions à étudier, les hypothèses de fond que l'agent apporte à l'enquête, les moyens d'observation à sa disposition, ses capacités cognitives et ses objectifs épistémiques. En conséquence, pour évaluer des méthodes spécifiques dans un domaine donné, comme dans les études de cas mentionnées, il faut étudier les détails du cas en question. L'analyse des moyens-fins récompense souvent cette étude en indiquant quelles sont les caractéristiques méthodologiques cruciales d'une entreprise scientifique donnée,et en expliquant précisément pourquoi et comment ces caractéristiques sont liées au succès de l'entreprise dans la réalisation de ses objectifs épistémiques.

3. Compromis. Dans la perspective de l'épistémologie des moyens-fins, l'enquête implique une lutte permanente avec des choix difficiles, plutôt que l'exécution d'une «méthode scientifique» universelle. L'enquêteur doit équilibrer des valeurs contradictoires et peut envisager diverses stratégies telles que l'acceptation des difficultés à court terme dans l'espoir de les résoudre à long terme. Par exemple, dans le problème de la loi de conservation, il peut y avoir des conflits entre la parcimonie théorique, c'est-à-dire, en posant moins de lois de conservation, et la parcimonie ontologique, c'est-à-dire l'introduction de moins de particules cachées. Pour un autre exemple, un théoricien des particules peut accepter de poser des particules non détectées dans l'espoir qu'elles seront éventuellement observées à mesure que la science progresse. La recherche continue du boson de Higgs illustre cette stratégie. Un important projet de théorie de l'apprentissage consiste à examiner quand de tels compromis se produisent et quelles sont les options pour les résoudre. La section 4 étend l'analyse théorique de l'apprentissage pour considérer les objectifs en plus de la fiabilité à long terme.

3. Les limites de l'enquête et la complexité des problèmes empiriques

Après avoir vu un certain nombre d'exemples comme ceux décrits ci-dessus, on commence à se demander quel est le modèle. Qu'est-ce qu'une question empirique qui permet à l'enquête d'arriver de manière fiable à la bonne réponse? Quelles informations générales pouvons-nous obtenir sur la fiabilité des méthodes de test d'hypothèses? Les théoriciens de l'apprentissage répondent à ces questions avec des théorèmes de caractérisation. Les théorèmes de caractérisation sont généralement de la forme «il est possible d'atteindre ce standard de succès empirique dans un problème inductif donné si et seulement si le problème inductif remplit les conditions suivantes».

Un résultat fondamental décrit les conditions dans lesquelles une méthode peut trouver de manière fiable l'hypothèse correcte parmi un nombre infini ou fini H 1, H 2,…, H n,…. d'hypothèses mutuellement exclusives qui couvrent ensemble toutes les possibilités compatibles avec les hypothèses de base du demandeur. Cela est possible juste au cas où chacune des hypothèses serait une disjonction dénombrable d'affirmations empiriques réfutables. Par «réfutable», je veux dire que si l'affirmation est fausse, la preuve combinée aux hypothèses de base de l'enquêteur finira par fausser définitivement cette disjonction dans l'hypothèse (voir Kelly [1996, Ch. 3.3]). A titre d'illustration, revenons à l'exemple ornithologique avec deux hypothèses alternatives: (1) tous les cygnes sauf un nombre fini sont blancs, et (2) tous les cygnes sauf un nombre fini sont noirs. Comme nous l'avons vu, il est possible à long terme de déterminer de manière fiable laquelle de ces deux hypothèses est correcte. Par conséquent, par le théorème de caractérisation,chacune des deux hypothèses doit être une disjonction d'affirmations empiriques réfutables. Pour voir qu'il en est bien ainsi, observez que «tous les cygnes sauf un nombre fini sont blancs» équivaut logiquement à la disjonction

au plus 1 cygne est noir ou au plus 2 cygnes sont noirs… ou au plus n cygnes sont noirs… ou…,

et de même pour «presque tous les cygnes sont noirs». Chacune des affirmations de la disjonction est réfutable, dans le sens où elle est finalement falsifiée chaque fois qu'elle est fausse. Par exemple, prenons l'affirmation selon laquelle «au plus 3 cygnes sont noirs». Si cela est faux, plus de 3 cygnes noirs seront trouvés, à quel point l'allégation est définitivement falsifiée.

Un théorème de caractérisation récent dû à Baltag, Gierasimczuk et Smets met l'accent sur le concept topologique de séparabilité [Baltag et al. 2015]. En termes épistémiques, la séparation topologique signifie (absence de) sous-détermination par les preuves. Par exemple, le premier axiome classique de la séparation exige que pour deux états possibles du monde, il y ait deux séquences d'observation possibles, chacune compatible avec un état du monde mais pas avec l'autre. Ainsi, le premier axiome de séparation implique qu'une séquence d'observation complète détermine un état unique du monde. Baltag et coll. définir une notion topologique de ce que signifie la preuve pour séparer des hypothèses concurrentes dans un problème inductif, et prouver que ce concept de séparabilité inductive caractérise quels problèmes inductifs permettent un apprentissage fiable.

Quelques points aideront à expliquer la signification des théorèmes de caractérisation.

1. Structure des méthodes fiables. Les théorèmes de caractérisation nous disent comment la structure des méthodes fiables est adaptée à la structure des hypothèses étudiées. Par exemple, le théorème évoqué établit un lien entre falsifiabilité et testabilité, mais plus atténué que le naïf Popperian n'envisage: il n'est pas nécessaire que les hypothèses testées soient directement falsifiables; au contraire, il doit y avoir des moyens de renforcer chaque hypothèse qui donne un nombre dénombrable de «sous-hypothèses» réfutables. Nous pouvons considérer ces sous-hypothèses réfutables comme différentes manières dont l'hypothèse principale peut être vraie. (Par exemple, une façon dont «tous les corbeaux sauf un nombre fini sont blancs» est vraie, c'est s'il y a au plus 10 corbeaux noirs; une autre est s'il y a au plus 100 corbeaux noirs, etc.)

2. Importation des hypothèses de base. Le résultat de la caractérisation trace une ligne entre les problèmes résolubles et insolubles. Les connaissances de base réduisent la complexité inductive d'un problème; avec suffisamment de connaissances de base, le problème franchit le seuil entre l'insoluble et le résoluble. Dans de nombreux domaines de l'enquête empirique, les hypothèses de base essentielles sont celles qui permettent une enquête fiable. (Kuhn [1970] fait des observations similaires sur l'importance des hypothèses de fond incorporées dans un «paradigme»).

3. Invariance de la langue. Les théorèmes de caractérisation de la théorie de l'apprentissage concernent ce que Kelly appelle «l'intrication temporelle» de diverses séquences d'observation [Kelly 2000]. En fin de compte, ils reposent sur des relations d'implication entre des preuves données, des hypothèses de base et des affirmations empiriques. Puisque l'implication logique ne dépend pas du langage que nous utilisons pour formuler les preuves et les hypothèses, la complexité inductive d'un problème empirique telle que déterminée par les théorèmes de caractérisation est invariante dans le langage.

4. Le long terme à court terme: des croyances fiables et stables

Une critique de longue date de la convergence vers la vérité en tant qu'objectif de l'enquête est que, bien que bien en soi, cet objectif est cohérent avec tout comportement fou à court terme [Salmon 1991]. Par exemple, nous avons vu dans la Nouvelle énigme d'induction qu'une règle de projection fiable peut supposer que la prochaine émeraude sera bleue quel que soit le nombre d'émeraudes vertes trouvées - tant que finalement la règle projette «toutes les émeraudes sont vertes». Une réponse est que si l'analyse des moyens-fins prend en compte d'autres objectifs épistémiques en plus de la convergence à long terme, elle peut alors fournir des indications solides sur ce qu'il faut conjecturer à court terme.

Pour illustrer ce point, revenons à l'énigme goodmanienne de l'induction. Depuis Platon, les philosophes ont considéré l'idée qu'une croyance vraie stable est meilleure qu'une vraie croyance instable, et des épistémologues comme Sklar [1975] ont préconisé des principes similaires de «conservatisme épistémique». Kuhn nous dit qu'une raison majeure du conservatisme dans les débats sur les paradigmes est le coût du changement des croyances scientifiques [Kuhn 1970]. Dans cet esprit, les théoriciens de l'apprentissage ont examiné des méthodes qui minimisent le nombre de fois où ils modifient leurs théories avant de se fixer sur leur conjecture finale [Putnam 1965, Kelly 1996, Jain 1999]. On dit que ces méthodes minimisent les changements d'esprit.

4.1 Exemple: la nouvelle énigme de l'induction

La nouvelle énigme de l'induction s'avère être une belle illustration de cette idée. Considérez la règle de projection naturelle (conjecture que toutes les émeraudes sont vertes sur un échantillon d'émeraudes vertes). Si toutes les émeraudes sont vertes, cette règle ne change jamais sa conjecture. Et si toutes les émeraudes sont grues (t) pendant un certain temps critique t, alors la règle de projection naturelle abandonne sa conjecture "toutes les émeraudes sont vertes" au temps t - un changement d'esprit - et projette ensuite correctement "toutes les émeraudes sont grues (t)". Remarquablement, les règles qui projettent le grue plutôt que le vert ne fonctionnent pas aussi bien. Par exemple, considérons une règle qui suppose que toutes les émeraudes sont grues (3) après avoir observé une émeraude verte. Si deux autres émeraudes vertes sont observées, la conjecture de la règle est falsifiée et elle doit finalement changer d'avis,disons pour conjecturer que toutes les émeraudes sont vertes (en supposant que des émeraudes vertes continuent d'être trouvées). Mais à ce moment-là, une émeraude bleue peut apparaître, forçant un second changement d'esprit. Cet argument peut être généralisé pour montrer que le but de minimiser les changements d'esprit permet uniquement de projeter le prédicat vert sur un échantillon de toutes les émeraudes vertes [Schulte 1999]. Nous avons vu dans la section 1.2 ci-dessus comment la règle de projection naturelle change d'avis au plus une fois; la figure ci-dessous illustre dans un cas typique comment une règle de projection non naturelle peut devoir changer d'avis deux fois ou plus. Cet argument peut être généralisé pour montrer que le but de minimiser les changements d'esprit permet uniquement de projeter le prédicat vert sur un échantillon de toutes les émeraudes vertes [Schulte 1999]. Nous avons vu dans la section 1.2 ci-dessus comment la règle de projection naturelle change d'avis au plus une fois; la figure ci-dessous illustre dans un cas typique comment une règle de projection non naturelle peut devoir changer d'avis deux fois ou plus. Cet argument peut être généralisé pour montrer que le but de minimiser les changements d'esprit permet uniquement de projeter le prédicat vert sur un échantillon de toutes les émeraudes vertes [Schulte 1999]. Nous avons vu dans la section 1.2 ci-dessus comment la règle de projection naturelle change d'avis au plus une fois; la figure ci-dessous illustre dans un cas typique comment une règle de projection non naturelle peut devoir changer d'avis deux fois ou plus.

non naturel
non naturel

4.2 Plus d'exemples

Le même raisonnement s'applique à la question de savoir si tous les corbeaux sont noirs. Le généralisateur audacieux qui suppose que tous les corbeaux sont noirs après avoir observé des échantillons de corbeaux uniquement noirs réussit avec au plus un changement d'esprit: si en effet tous les corbeaux sont noirs, le généraliseur ne change jamais d'avis du tout. Et s'il y a un corbeau non noir, la réfutation provoque un changement d'esprit, mais ensuite la question est réglée.

Comparez cela avec la méthode contraire qui affirme qu'il y a un corbeau non noir après avoir observé un échantillon de tous les noirs. Si seuls les corbeaux noirs continuent d'être observés, la méthode contraire doit éventuellement changer d'avis et affirmer que «tous les corbeaux sont noirs», sinon elle ne parvient pas à la bonne généralisation. Mais à ce moment-là, un corbeau non noir peut apparaître, forçant un second changement d'esprit. Ainsi, l'objectif d'une croyance stable impose de fortes contraintes sur ce qu'une méthode peut conjecturer à court terme pour ce problème: en observant uniquement les corbeaux noirs, les options sont «tous les corbeaux sont noirs» ou «pas encore d'opinion», mais pas «il y a un corbeau non noir ».

Dans le problème de la loi de conservation, la méthode restrictive décrite dans la section 2.1 est la seule méthode qui minimise les changements d'esprit. Rappelons que la méthode restrictive adopte un ensemble de lois de conservation qui excluent autant de réactions non observées que possible. On peut montrer que s'il existe n particules élémentaires connues dont les réactions sont observées, cette méthode nécessite au plus n changements d'esprit. (Le nombre de particules élémentaires dans le modèle standard est d'environ n = 200).

Pour l'apprentissage des graphes causaux, la variante suivante de la méthode décrite dans la section 2.2 minimise le nombre de changements d'esprit.

  • Supposons que nous ayons observé un ensemble de corrélations ou d'associations parmi un ensemble de variables d'intérêt.
  • S'il existe un graphe causal unique qui explique les corrélations observées avec un nombre minimum de liens causaux directs, sélectionnez ce graphe.
  • S'il y a plus d'un graphe causal qui explique les corrélations observées avec un nombre minimum de liens causaux directs, émettez «pas encore d'opinion» (ou conjecturez la disjonction des graphes d'arête minimale).

Cet exemple montre que parfois, minimiser les changements d'esprit nécessite de ne pas croire. Intuitivement, cela se produit lorsqu'il y a deux ou plusieurs explications tout aussi simples des données, et l'enquêteur doit attendre que d'autres observations décident entre ces possibilités. Sauter à l'une des conclusions simples pourrait conduire à un changement d'esprit inutile au cas où une autre explication tout aussi simple s'avérerait correcte. Dans de tels cas, il y a un compromis entre les objectifs de parvenir à une croyance stable, d'une part, et de s'installer rapidement sur une croyance vraie de l'autre [Schulte 1999]. Nous discutons du lien entre la simplicité et la croyance stable dans la section suivante.

5. Simplicité, croyance stable et rasoir d'Ockham

Une forte intuition au sujet de l'inférence inductive et de la méthode scientifique est que nous devrions préférer les hypothèses plus simples aux hypothèses complexes; voir l'entrée sur la simplicité. Les statisticiens, les informaticiens et d'autres chercheurs soucieux d'apprendre à partir des observations ont largement utilisé une préférence pour la simplicité pour résoudre des problèmes inductifs pratiques [Domingos 1999]. D'un point de vue fondamental, la simplicité pose problème pour au moins deux raisons.

  1. Le problème de la justification: pourquoi adopter des hypothèses simples? Une réponse évidente est que le monde est simple et qu'une théorie complexe est donc fausse. Cependant, l'affirmation apriori que le monde est simple est très controversée - voir l'entrée sur la simplicité. Du point de vue de la théorie de l'apprentissage, rejeter des hypothèses complexes nuit à la fiabilité des méthodes inductives. Dans la métaphore de Kelly, un biais fixe est comme une montre arrêtée: il se peut que nous utilisions la montre lorsqu'elle pointe au bon moment, mais la montre n'est pas un instrument fiable pour indiquer l'heure [Kelly 2007a, 2010].
  2. Le problème de la description: les épistémologues se sont inquiétés du fait que la simplicité ne soit pas une caractéristique objective d'une hypothèse, mais plutôt «dépend du mode de présentation», comme le dit Nozick. Goodman's Riddle illustre ce point. Si les généralisations sont formulées en termes bleu-vert, «toutes les émeraudes sont vertes» apparaît plus simple que «toutes les émeraudes sont d'abord vertes puis bleues». Mais dans un langage grue-bleen, «toutes les émeraudes sont grue» semble plus simple que «toutes les émeraudes sont d'abord grue puis saignent».

Les théoriciens de l'apprentissage se sont engagés dans des efforts récents et continus pour appliquer l'épistémologie des moyens-fins afin de développer une théorie du lien entre la simplicité et l'induction qui aborde ces préoccupations [Kelly 2010, Harmann et Kulkarni 2007, Luo et Schulte 2006, Steel 2009]. Il s'avère qu'une perspective fructueuse consiste à examiner la relation entre la structure d'un espace d'hypothèses et la complexité du changement mental du problème inductif correspondant. L'idée fondamentale est que, si la simplicité n'a pas de lien a priori avec la vérité, le choix d'hypothèses simples peut aider un chercheur à trouver la vérité plus efficacement, dans le sens d'éviter les changements d'esprit. La métaphore de la route de Kelly illustre l'idée. Considérez deux itinéraires vers la destination, l'un via une autoroute droite, l'autre via des routes secondaires. Les deux itinéraires mènent finalement au même point,mais les routes secondaires impliquent plus de rebondissements [Kelly 2007a, 2010].

Une formalisation de cette idée prend la forme d'un théorème d'Ockham: un théorème qui montre (sous des restrictions appropriées) qu'une méthode inductive trouve la vérité aussi efficacement que possible pour un problème donné si et seulement si la méthode est la méthode d'Ockham, c'est-à-dire, il sélectionne l'hypothèse la plus simple cohérente avec les données. Un théorème d'Ockham fournit une justification pour le rasoir inductif d'Ockham comme moyen d'atteindre des objectifs épistémiques.

La véracité d'un théorème d'Ockham dépend de la description de la méthode d'Ockham, c'est-à-dire de la définition exacte de la simplicité pour un ensemble d'hypothèses. Il existe un ensemble de résultats mathématiques qui établissent les théorèmes d'Ockham en utilisant une mesure de simplicité invariante du langage, que nous expliquons ensuite.

5.1 Définition de la simplicité

Disons qu'une hypothèse H à partir d'un ensemble d'hypothèses possibles H est vérifiable s'il existe une séquence de preuves telle que H est la seule hypothèse de H qui soit cohérente avec la séquence de preuves. Par exemple, dans le problème du corbeau noir ci-dessus, l'hypothèse «il y a un corbeau non noir» est vérifiable car elle est entraînée par une observation d'un corbeau non noir. L'hypothèse «tous les corbeaux sont noirs» n'est pas vérifiable, car elle n'est impliquée par aucune séquence de preuves finie. La procédure suivante attribue un rang de simplicité à chaque hypothèse H à partir d'un ensemble d'hypothèses H [Apsitis 1994, Luo et Schulte 2006].

  1. Attribuez à toutes les hypothèses vérifiables le rang de simplicité 0.
  2. Supprimez les hypothèses vérifiables de l'espace d'hypothèses pour former un nouvel espace d'hypothèses H 1.
  3. Attribuez le rang de simplicité 1 aux hypothèses vérifiables étant donné H 1.
  4. Supprimez les hypothèses nouvellement vérifiables avec le rang de simplicité 1 de l'espace d'hypothèses pour former un nouvel espace d'hypothèses H 2.
  5. Continuez à supprimer les hypothèses jusqu'à ce qu'aucune nouvelle hypothèse ne soit vérifiable étant donné l'espace d'hypothèses actuel.
  6. Le rang de simplicité de chaque hypothèse H est la première étape à laquelle elle est supprimée par cette procédure. En d'autres termes, c'est l'indice du premier espace d'hypothèses restreint qui rend H vérifiable.

Les hypothèses avec un rang de simplicité plus élevé sont considérées comme plus simples que celles avec un rang inférieur. Les rangs de simplicité sont définis en termes de relations d'implication logiques, et sont donc invariants dans le langage. Les rangs de simplicité tels que définis peuvent être considérés comme des degrés de falsifiabilité dans le sens suivant. Considérons une hypothèse de rang de simplicité 1. Une telle hypothèse est falsifiable car une séquence de preuves qui vérifie une hypothèse alternative de rang 0 la fausse. De plus, une hypothèse de rang de simplicité 1 est constamment falsifiable en ce sens qu'elle reste falsifiable quelle que soit la séquence de preuves qui lui correspond. Une hypothèse de simplicité de rang n + 1 est constamment falsifiable par des hypothèses de rang n. Illustrons la définition dans nos exemples courants.

5.2 Exemples

  • Dans l'énigme de l'induction, les hypothèses vérifiables sont les hypothèses de grue avec un temps critique t: toute séquence de t émeraudes vertes suivies de bleues entraîne la généralisation grue (t) correspondante. Ainsi les hypothèses grue reçoivent le rang de simplicité 0. Une fois les hypothèses grue éliminées, la seule hypothèse restante est «toutes les émeraudes sont vertes». Étant donné que c'est la seule possibilité dans l'espace d'hypothèses restreint, «toutes les émeraudes sont vertes» est impliqué par toute séquence d'émeraudes vertes. Par conséquent, «toutes les émeraudes sont vertes» a le rang de simplicité 1. Après avoir supprimé l'hypothèse entièrement verte, aucune hypothèse ne demeure.
  • Dans le problème de la couleur du corbeau, l'hypothèse vérifiable est «un corbeau non noir sera observé», qui reçoit le rang de simplicité 0. Après avoir supprimé l'hypothèse qu'un corbeau non noir sera observé, la seule possibilité restante est que seuls les corbeaux noirs seront observés, par conséquent, cette hypothèse est vérifiable dans l'espace d'hypothèses restreint et reçoit le rang de simplicité 1.
  • Le rang de simplicité d'un graphe causal est donné par le nombre de liens directs non contenus dans le graphe. Par conséquent, moins le modèle causal pose de liens directs, plus son rang de simplicité est élevé.
  • Le rang de simplicité d'un ensemble de lois de conservation est donné par le nombre de lois indépendantes. (Indépendance au sens de l'algèbre linéaire.) Par conséquent, plus les lois non redondantes sont introduites par une théorie, plus son rang de simplicité est élevé. Chaque loi exclut certaines réactions, donc maximiser le nombre de lois indépendantes compte tenu des réactions observées équivaut à exclure autant de réactions non observées que possible.

5.3 Croyance stable et simplicité: un théorème d'Ockham

Le théorème suivant montre le lien entre la complexité du changement mental d'un problème inductif et le classement de simplicité tel que défini.

Théorème. Soit H un ensemble d'hypothèses empiriques. Ensuite, il y a une méthode qui identifie de manière fiable une hypothèse correcte à partir de H dans la limite avec au plus n changements d'esprit si et seulement si la procédure d'élimination définie ci-dessus se termine par un ensemble vide d'hypothèses après n étapes.

Ainsi, pour qu'un problème inductif puisse être résolu avec au plus n changements d'esprit, le rang de simplicité maximum de toute hypothèse possible est n. Dans l'énigme de l'induction, le rang de simplicité maximum est 1, et donc ce problème peut être résolu avec au plus 1 changement d'esprit. Le résultat suivant fournit un théorème d'Ockham reliant la simplicité et les performances de changement d'esprit.

Théorème d'Ockham. Soit H un ensemble d'hypothèses empiriques avec une borne optimale de changement d'esprit n. Une méthode inductive est alors optimale pour le changement d’esprit si et seulement si elle satisfait aux conditions suivantes.

  1. Chaque fois que la méthode adopte l'une des hypothèses de H, cette hypothèse est la plus simple qui soit cohérente avec la preuve.
  2. Si la méthode change d'avis au moment de l'enquête t +1, l'hypothèse la plus simple au temps t est falsifiée au temps t +1.

Ce théorème dit qu'une méthode optimale de changement d'esprit peut retenir une conjecture comme le ferait un sceptique, mais si elle adopte une hypothèse définie, l'hypothèse doit être la plus simple, dans le sens d'avoir le rang de simplicité maximum. Ainsi, les méthodes optimales de changement d'esprit discutées dans la section 4 sont toutes les méthodes d'Ockham qui adoptent l'hypothèse la plus simple cohérente avec les données. Le théorème d'Ockham montre un renversement remarquable par rapport à l'objection de longue date selon laquelle la fiabilité à long terme impose trop peu de contraintes aux conjectures à court terme: si nous ajoutons à la convergence à long terme vers la vérité l'objectif de parvenir à une croyance stable, alors en fait il y a est une méthode inductive unique qui atteint cet objectif dans un problème empirique donné. Ainsi, l'analyse méthodologique passe de l'absence de prescription à court terme à l'offre d'une prescription complète.

Bien que ces résultats établissent un lien fructueux entre la simplicité et l'optimalité du changement mental, une des limites de l'approche est qu'elle exige que certaines hypothèses soient définitivement impliquées par une séquence de preuves. Ce n'est généralement pas le cas pour les modèles statistiques, où la probabilité d'une hypothèse peut devenir arbitrairement petite mais généralement pas 0. Par exemple, considérons un problème de tirage au sort et l'hypothèse «la probabilité de face est de 90%». Si nous observons un million de queues, la probabilité de l'hypothèse est certes très faible, mais elle n'est pas de 0, car tout nombre de queues est logiquement cohérent avec une forte probabilité de têtes. Kevin Kelly a développé une notion de simplicité qui convient aux modèles statistiques et a prouvé les théorèmes d'Ockham pour ce paramètre (voir Autres ressources Internet).

6. Autres approches: impératifs catégoriques et hypothétiques

Kant a fait une distinction entre les impératifs catégoriques que l'on devrait suivre indépendamment de son but personnel et des circonstances, et les impératifs hypothétiques qui nous dirigent à employer nos moyens vers la fin choisie. Une façon de penser la théorie de l'apprentissage est l'étude des impératifs hypothétiques de l'enquête empirique. De nombreux épistémologues ont proposé divers impératifs catégoriques pour l'enquête inductive, par exemple sous la forme d'une «logique inductive» ou de normes de «rationalité épistémique». En principe, il existe trois relations possibles entre les impératifs hypothétiques et catégoriques de l'enquête empirique.

1. L'impératif catégorique amènera le chercheur à atteindre ses objectifs cognitifs. Dans ce cas, l'analyse des moyens-fins confirme l'impératif catégorique. Par exemple, face à une simple généralisation universelle telle que «tous les corbeaux sont noirs», nous avons vu plus haut que suivre la recette poppérienne consistant à adopter la généralisation falsifiable et à s'y tenir jusqu'à l'apparition d'un contre-exemple conduit à une méthode fiable.

2. L'impératif catégorique peut empêcher un chercheur d'atteindre ses objectifs. Dans ce cas, l'impératif catégorique restreint la portée de l'enquête. Par exemple, dans le cas des deux généralisations alternatives avec exceptions, le principe de maintenir une généralisation universelle jusqu'à ce qu'elle soit falsifiée conduit à une méthode peu fiable (cf. [Kelly 1996, Ch. 9.4]).

3. Certaines méthodes répondent à la fois à l'impératif catégorique et aux objectifs de l'enquête, et d'autres non. Ensuite, nous pouvons prendre le meilleur des deux mondes et choisir les méthodes qui atteignent les objectifs de l'enquête et satisfont aux impératifs catégoriques. (Voir la discussion plus approfondie dans cette section.)

Pour une norme d'enquête proposée, nous pouvons appliquer une analyse moyens-fins pour demander si la norme aide ou entrave les objectifs de l'enquête. Tel était l'esprit de la critique de Putnam des fonctions de confirmation de Carnap [Putnam 1963]: l'idée maîtresse de son essai était que les méthodes de Carnap n'étaient pas aussi fiables pour détecter les modèles généraux que d'autres méthodes le seraient. Plus récemment, les théoriciens de l'apprentissage ont étudié la puissance du conditionnement bayésien (voir l'entrée sur l'épistémologie bayésienne). John Earman a supposé que s'il existe une méthode fiable pour un problème donné, alors il existe une méthode fiable qui procède par mise à jour bayésienne [Earman 1992, Ch.9, Sec.6]. Cory Juhl [1997] a fourni une confirmation partielle de la conjecture d'Earman: il a prouvé qu'elle tient quand il n'y a que deux éléments de preuve potentiels (par exemple, «l'émeraude est verte» contre «l'émeraude est bleue»). Le cas général est toujours ouvert.

Le conservatisme épistémique est une norme méthodologique qui a été prédominante en philosophie au moins depuis la notion de Quine de «mutilation minimale» de nos croyances [1951]. Une version du conservatisme épistémique, comme nous l'avons vu ci-dessus, soutient que l'enquête doit rechercher une croyance stable. Une autre formulation, plus proche de celle de Quine, est le précepte général selon lequel les changements de croyance à la lumière de nouvelles preuves devraient être minimes. Des travaux assez récents en logique philosophique ont proposé un certain nombre de critères pour un changement de croyance minimal connu sous le nom d'axiomes AGM [Gärdenfors 1988]. Les théoriciens de l'apprentissage ont montré que chaque fois qu'il existe une méthode fiable pour étudier une question empirique, il y en a une qui procède par des changements minimes (tels que définis par les postulats de l'AGA). Les propriétés d'une enquête fiable avec des changements de croyance minimes sont étudiées dans [Martin et Osherson 1998, Kelly 1999,Baltag et coll. 2015].

Une grande partie de la théorie de l'apprentissage computationnel se concentre sur les enquêteurs avec une rationalité limitée, c'est-à-dire des agents avec des limitations cognitives telles qu'une mémoire finie ou des capacités de calcul limitées. De nombreuses normes catégoriques qui n'interfèrent pas avec le succès empirique des agents logiquement omniscients limitent néanmoins la portée des agents cognitivement liés. Par exemple, considérons la norme de cohérence: croire qu'une hypothèse est fausse dès que la preuve est logiquement incompatible avec elle. Le principe de cohérence fait partie à la fois de la théorie de la confirmation bayésienne et de la révision des croyances AGM. Kelly et Schulte [1995] montrent que la cohérence empêche même les agents dotés de pouvoirs cognitifs infiniment incalculables d'évaluer de manière fiable certaines hypothèses. La morale est que si une théorie est suffisamment complexe,les agents qui ne sont pas logiquement omniscients peuvent être incapables de déterminer immédiatement si un élément de preuve donné est conforme à la théorie, et doivent collecter davantage de données pour détecter l'incohérence. Mais le principe de cohérence - et a fortiori, la mise à jour bayésienne et la révision des croyances de l'AGA - ne reconnaissent pas l'utilité de «attendre et voir plus» comme stratégie scientifique.

Une réflexion plus approfondie sur ces problèmes et d'autres problèmes philosophiques dans l'épistémologie des moyens-fins peut être trouvée dans des sources telles que [Glymour 1991], [Kelly 1996, Chs. 2,3], [Glymour et Kelly 1992], [Kelly et al. 1997], [Glymour 1994], [Bub 1994]. Les modèles de théorie de l'apprentissage qui intègrent les conceptions historicistes et relativistes de l'enquête, principalement en élargissant la notion de méthode inductive afin que les méthodes puissent sélectionner activement des paradigmes d'enquête, sont d'un intérêt particulier dans la philosophie de la science; pour plus de détails sur ce sujet, voir [Kelly 2000, Kelly 1996, Ch.13]. Les introductions Booklength aux mathématiques de la théorie de l'apprentissage sont [Kelly 1996, Martin et Osherson 1998, Jain et al. 1999]. «Induction, théorie et philosophie de l'apprentissage algorithmique» est un recueil récent d'écrits sur la théorie de l'apprentissage [Friend et al. 2007]. Les contributions comprennent des articles d'introduction (Harizanov, Schulte), des avancées mathématiques (Martin, Sharma, Stephan, Kalantari), des réflexions philosophiques sur les forces et les implications de la théorie de l'apprentissage (Glymour, Larvor, Friend), les applications de la théorie à des problèmes philosophiques (Kelly) et une discussion sur la pensée théorique de l'apprentissage dans l'histoire de la philosophie (Goethe).

Document supplémentaire: définitions formelles de base

Bibliographie

  • Apsitis, K., 1994. «Ensembles dérivés et inférence inductive», dans Proceedings of the 5th International Work on Algorithmic Learning Theory, S. Arikawa, KP Jantke (eds.), Berlin, Heidelberg: Springer, pp. 26–39.
  • Baltag, A., Gierasimczuk, N. & Smets, S., 2015. 'On the Solvability of Inductive Problems: A Study in Epistemic Topology.', Actes de la 15e conférence sur les aspects théoriques de la rationalité et de la connaissance (TARK 2015), R. Ramanujam (éd.), Chennai: Institute of Mathematical Sciences, pp. 65–74, disponible en ligne.
  • Bub, J., 1994. «Tester des modèles de cognition à travers l'analyse des performances cérébrales endommagées», British Journal for the Philosophy of Science, 45: 837–55.
  • Chart, D., 2000. «Schulte et Goodman's Riddle», British Journal for the Philosophy of Science, 51: 837–55.
  • Domingos, P., 1999. «Le rôle du rasoir d'Occam dans la découverte de connaissances», Exploration de données et découverte de connaissances, 3 (4): 409–425.
  • Earman, J., 1992. Bayes ou Bust?, Cambridge, Mass.: MIT Press.
  • Feynman, R., 1965. Le caractère de la loi physique, Cambridge, Massachusetts: MIT Press; 19e édition, 1990.
  • Friend, M. et N. Goethe et V. Harazinov (éd.), 2007. Induction, théorie de l'apprentissage algorithmique et philosophie, Dordrecht: Springer, pp. 111–144.
  • Ford, K., 1963. Le monde des particules élémentaires, New York: Blaisdell Publishing.
  • Gärdenfors, P., 1988. Knowledge In Flux: modélisation de la dynamique des états épistémiques, Cambridge, Massachusetts: MIT Press.
  • Glymour, C., 1991. «Les hiérarchies de la connaissance et les mathématiques de la découverte», Minds and Machines, 1: 75–95.
  • –––, 1994. «Sur les méthodes de la neuropsychologie cognitive», British Journal for the Philosophy of Science, 45: 815–35.
  • Glymour, C. et Kelly, K., 1992. «Thoroughly Modern Meno», dans Inference, Explanation and Other Frustrations, John Earman (éd.), University of California Press.
  • Gold, E., 1967. «Language Identification in the Limit», Information and Control, 10: 447–474.
  • Goodman, N., 1983. Fact, Fiction and Forecast, Cambridge, MA: Harvard University Press.
  • Harrell, M., 2000. Chaos et connaissances fiables, Ph. D. Thèse, Université de Californie à San Diego.
  • Harman, G. et Kulkarni, S., 2007. Raisonnement fiable: théorie de l'induction et de l'apprentissage statistique, Cambridge, MA: The MIT Press.
  • Jain, S., et al., 1999. Systems That Learn, 2 e édition, Cambridge, MA: MIT Press.
  • James, W., 1982. «The Will To Believe», dans Pragmatism, HS Thayer (éd.), Indianapolis: Hackett.
  • Juhl, C., 1997. «Probabilités subjectives objectivement fiables», Synthese, 109: 293–309.
  • Kelly, K., 1996. La logique de l'enquête fiable, Oxford: Oxford University Press.
  • –––, 1999. «Révision de croyance itérée, fiabilité et amnésie inductive», Erkenntnis, 50: 11–58.
  • –––, 2000. «La logique du succès», British Journal for the Philosophy of Science, 51 (4): 639–660.
  • –––, 2007a. «Comment la simplicité vous aide à trouver la vérité sans la pointer», in Induction, Algorithmic Learning Theory, and Philosophy, M. Friend, N. Goethe et V. Harazinov (éds.), Dordrecht: Springer, pp. 111-144.
  • –––, 2007b. 'Ockham's Razor, Truth, and Information', dans n Handbook of the Philosophy of Information, J. van Behthem et P. Adriaans (eds.), Dordrecht: Elsevier, 2008.
  • –––, 2010. «Simplicité, vérité et probabilité», dans Handbook for the Philosophy of Statistics, Prasanta S. Bandyopadhyay et Malcolm Forster (éd.), Dordrecht: Elsevier.
  • Kelly, K. et Schulte, O., 1995. «La testabilité calculable des théories faisant des prédictions non calculables», Erkenntnis, 43: 29–66.
  • Kelly, K., Schulte, O. et Juhl, C., 1997. «Théorie de l'apprentissage et philosophie des sciences», Philosophie de la science, 64: 245–67.
  • Kuhn, T., 1970. La structure des révolutions scientifiques. Chicago: Presses de l'Université de Chicago.
  • Luo, W. et Schulte O., 2006. «Mind Change Efficient Learning», dans Logic and Computation, 204: 989–1011.
  • Martin, E. et Osherson, D., 1998. Elements of Scientific Inquiry, Cambridge, MA: MIT Press.
  • Ne'eman, Y. et Kirsh, Y., 1983. The Particle Hunters, Cambridge: Cambridge University Press.
  • Omnes, R., 1971. Introduction à la physique des particules, Londres, New York: Wiley Interscience.
  • Putnam, H., 1963. «Degré de confirmation et logique inductive», dans The Philosophy of Rudolf Carnap, PA Schilpp (ed.), La Salle, Ill: Open Court.
  • Putnam, H., 1965. «Prédicats d'essai et d'erreur et la solution à un problème de Mostowski», Journal of Symbolic Logic, 30 (1): 49-57.
  • Quine, W., 1951. «Deux dogmes de l'empirisme», Revue philosophique, 60: 20–43.
  • Salmon, W., 1991. «La justification de l'induction de Hans Reichenbach», Erkenntnis, 35: 99–122.
  • Schulte, O., 1999. «Means-Ends Epistemology», The British Journal for the Philosophy of Science, 50: 1–31.
  • –––, 2008. «La co-découverte des lois de conservation et des familles de particules», Études en histoire et philosophie de la physique moderne, 39 (2): 288–314.
  • –––, 2009. «Simultaneous Discovery of Conservation Laws and Hidden Particles With Smith Matrix Decomposition», in Proceedings of the Twenty-First International Joint Conference on Artificial Intelligence (IJCAI-09), Palo Alto: AAAI Press pp. 1481-1487.
  • Schulte, O., Luo, W., et Greiner, R., 2007. 'Mind Change Optimal Learning of Bayes Net Structure', dans Proceedings of the 20th Annual Conference on Learning Theory (COLT'07, San Diego, CA, juin 12-15), N. Bshouti et C. Gentile (éds.), Berlin, Heidelberg: Springer, pp. 187-202.
  • Sklar, L., 1975. «Conservatisme méthodologique», Revue philosophique, 84: 374–400.
  • Spirtes, P., Glymour, C., Scheines, R., 2000. Causation, prédiction et recherche, Cambridge, MA: MIT Press.
  • Steel, D., 2009. «Testabilité et rasoir d'Ockham: comment la théorie de l'apprentissage formel et statistique convergent dans la nouvelle énigme de l'induction», Journal of Philosophical Logic, 38: 471–489.
  • Valiant, LG, 1984. «Une théorie de l'apprentissage», Actes du seizième Symposium annuel ACM sur la théorie de l'informatique (STOC 84), New York: ACM Press, pp. 436–445.

Outils académiques

icône de l'homme Sep
icône de l'homme Sep
Comment citer cette entrée.
icône de l'homme Sep
icône de l'homme Sep
Prévisualisez la version PDF de cette entrée à la Friends of the SEP Society.
icône inpho
icône inpho
Recherchez cette rubrique d'entrée sur le projet d'ontologie de philosophie Internet (InPhO).
icône de papiers phil
icône de papiers phil
Bibliographie améliorée pour cette entrée chez PhilPapers, avec des liens vers sa base de données.

Autres ressources Internet

  • Articles de Kevin Kelly sur le rasoir d'Ockham:

    • Une convergence efficace implique le rasoir d'Ockham.
    • Un rasage de près avec réalisme: le rasoir d'Ockham dérivé d'une convergence efficace
    • La justification comme efficacité de recherche de la vérité: comment fonctionne le rasoir d'Ockham
    • Rasoir d'Ockham, complexité empirique et efficacité de la recherche de la vérité
    • Rasoir d'Ockham, vérité et information
  • Apprentissage de la théorie en informatique
  • Site Web de logique inductive sur la théorie de l'apprentissage formel et la révision des croyances

Recommandé: