Les algorithmes d’intelligence artificielle apprennent à décider à partir des données et des décisions en traitant des exemples humains. Et chaque Homme porte en lui de façon consciente ou inconsciente des « marques » comme ceux venant de son environnement géographique et/ou social.
Ces ainsi que dans le milieu juridique, un algorithme de condamnation des criminels peut être entrainé à partir de milliers de décisions rendues par des juges et des informations sur les crimes commis par des criminels. Si ces données d’entrainement viennent des juges qui condamnent à des peines plus lourdes des personnes de couleur, le modèle d’intelligence artificielle naissant à partir de ces informations apprendra à répéter cela.
En 2018 Amazon a abandonné un outil automatisé de sélection de CV automatique car en raison des biais liés au genre. Le système avait été entrainé à partir de données de candidats précédents qui étaient majoritairement des hommes. Les CV comportant des termes tels que « équipe de football féminin », termes apparaissant le plus souvent dans les CV des femmes. L’algorithme a assimilé les CV masculins comme acceptés et les féminins comme rejetés.
