An empirical investigation of some data effects on the classification accuracy of probit, ID3, and neural networks

Abstract

This paper reports an investigation of some data and method effects on the predictive accuracy of LIFO/FIFO classification models. The methods compared were probit, ID3, and neural networks. Experiments were conducted to study the effect of data characteristics on classification accuracy and the situations under which a particular method performs better. Hold-out samples were used to calculate the predictive accuracy. The results indicate that (1) different methods identify different factors that affect the LIFO/FIFO choice and (2) in hold-out tests, neural network models have the highest average predictive accuracy, whereas ID3 models have the lowest. Neural network models are the best when dominant nominal variables are present; otherwise, probit models are the best.

Résumé. Les auteurs rapportent les résultats d'une analyse de l'incidence de certaines données et de certaines méthodes sur le pourcentage de prévisions exactes dérivées des modèles de classification selon l'épuisement à rebours et l'épuisement successif. Ils comparent la méthode probit, la méthode ID3 et la méthode des réseaux neuronaux et procèdent à des expériences destinées à l'étude de l'incidence des caractéristiques de certaines données sur ce pourcentage et des situations dans lesquelles une méthode particulière donne de meilleurs résultats. Les auteurs ont recours, pour la démonstration, à des échantillons à partir desquels est calculé le pourcentage de prévisions exactes. Les résultats révèlent que 1) les facteurs influant sur le choix de l'épuisement à rebours ou de l'épuisement successif diffèrent selon la méthode utilisée et que 2) dans les tests ayant servi à la démonstration, les modèles de réseaux neuronaux présentent le meilleur pourcentage moyen de prévisions exactes, alors que les modèles ID3 ont le plus faible pourcentage de prévisions exactes. Les modèles de réseaux neuronaux donnent les meilleurs résultats lorsqu'il y a des variables nominales dominantes, faute de quoi les modèles probit sont les meilleurs.