KnE Engineering | Ibero-American Symposium on Computer Programming jointly held with the International Congress on Technology Education | pages: 47–60

, , and

1. Introducción

El aprendizaje profundo (Deep Learning) DL contempla modelos computacionales que están compuestos de múltiples capas de procesamiento para mejorar el nivel de abstracción y el aprendizaje de grandes cantidades de datos [1]. Estos métodos han mejorado técnicas como el reconocimiento de voz, reconocimiento y detección de objetos visuales y otros dominios. Existen varias áreas de conocimiento de la ingeniería computacional que emplean DL como reconocimiento de dígitos, procesamiento del lenguaje, reconocimiento de voz y técnicas de visión artificial en imágenes y en vídeo. En el campo de estudio de la salud el DL esta extensamente explotado para reconocimiento de patrones en imágenes o datos que determinen la presencia de enfermedades o mutaciones que afectan a las personas [2,3,4]. En la investigación científica se emplea para solventar problemas en los que se involucran grandes cantidades de datos como procesos de captura de CO2 [5], detectar ecuaciones o algoritmos para facilitar el desarrollo de ecuaciones [6,7]. En el área financiera se utiliza en la predicción del comportamiento financiero, por lo tanto, lo que se buscó en esta SLR (revisión sistemática de literatura) fueron los modelos de aprendizaje profundo que se aplicaron a diferentes problemas del área financiera con el fin de identificar los conocimientos actuales en la ciencia. Para lograr este propósito se trazó las siguientes preguntas de investigación: Q1: ¿Qué aplicaciones del DL existen en el área financiera?, Q2: ¿Qué modelos de DL se emplean para resolver el problema de investigación financiera? y Q3: ¿Qué técnicas del DL se emplean para resolver el problema de investigación financiera?

La presente investigación está estructurada de la siguiente manera: La sección 2 ilustra la metodología empleada para obtener los resultados que se observan en la sección 3. En la sección 4 se presenta la discusión de los hallazgos correspondiente a los 20 estudios primarios seleccionados. Finalmente, a partir de estos resultados en la sección 5 se establecen las respectivas conclusiones y trabajos futuros.

2. Metodología

Para cumplir con el objetivo de la revisión sistemática de literatura (SLR) se usó el método de Bárbara Kitchenham [8] que se desarrolla a continuación:

Revisión del desarrollo del protocolo

Siguiendo los lineamientos de Kitchenham [8], en la primera etapa se consideraron las siguientes fuentes de búsqueda, basados en la accesibilidad y admisión de consultas avanzadas: Elsevier, Scopus, IEEE Xplorer y GoogleScholar. El protocolo de revisión define los criterios de inclusión y exclusión, estrategia de búsqueda, evaluación de calidad y la extracción y síntesis de datos.

Criterios de Inclusión y Exclusión

Se estableció los criterios de inclusión con el propósito de extraer documentos que aborden la aplicación de DL en el área financiera. Resultando los siguientes requisitos de inclusión:

  • Que el título indique alguna aplicación del DL a un caso de estudio de finanzas.

  • Que el título, palabras claves señalen modelos del DL para el procesamiento de datos.

  • Se considera artículos científicos (revistas, conferencias).

  • Estudios en español e inglés.

Luego, los documentos que tienen estas características fueron excluidos:

  • Artículos relacionados con finanzas que no aplican modelos DL.

  • Estudios que no sean de carácter experimental.

  • Estudios que no aporten o respondan a las Q's.

Además, para la selección de los estudios primarios se eliminaron los estudios duplicados.

Proceso de Búsqueda

El proceso de búsqueda de nuestra revisión de literatura comenzó con la selección de fuentes de búsqueda y preguntas de investigación. Esta selección juega un papel clave para mostrar la exhaustividad y la integridad de los artículos acumulados (véase Tabla 1). Los siguientes pasos se usaron para el proceso de búsqueda, los resultados se ilustran en la Figura 1:

  • Seleccionar las bibliotecas digitales (IEEE, Scopus, Google Scholar, ELSEVIER) que están enfocadas a la presente investigación.

  • Con las revistas y los artículos de conferencias filtrar por título, palabras clave y resumen.

  • Adquirir términos de búsqueda considerando las preguntas de investigación y basados en una revisión previa de artículos relacionados con la investigación.

  • Aplicar AND booleano para restringir la búsqueda.

  • Usar el Algoritmo 1, en donde se detalla la secuencia de pasos para aplicar los criterios de inclusión y exclusión.

Algoritmo 1: Selección de artículos para la revisión de literatura, empleando los criterios de inclusión y exclusión detallados en la revisión de protocolo de búsqueda.

fig-1.jpg
Table 1

Términos y fuentes de búsqueda, resultados aplicando el operador booleano AND.


# Términos de búsqueda Operador Scopus IEEE Google Scholar Elsevier
1 "Deep Learning" “finance” AND 802 36 14800 496
2 "Deep Learning" “business analytics” AND 77 17 920 56
3 "Deep Learning" “business analytics” “finance” AND 14 2 30 21
4 "Deep Learning" “sales prediction” AND 9 4 82 3
5 "Deep Learning" “sales prediction” “finance” AND 2 2 28 2
6 "Deep Learning" “stock market prediction” AND 128 27 523 30

Evaluación de la calidad

Se revisó los criterios de evaluación de calidad descritos en el estudio realizado por Kitchenham [8]. La lista de verificación de la evaluación de la calidad empleada para los documentos seleccionados se muestra en la Tabla 2.

Table 2

Lista de verificación de evaluación de calidad.


# Pregunta Respuesta
1 ¿El documento tiene como objetivo identificar el tipo de aplicación de DL en las finanzas? SI
2 ¿La investigación revisa alguno de los artículos anteriores? SI
3 ¿Los hallazgos abordan las preguntas de investigación originales? SI
4 ¿Está el documento sesgado hacia un algoritmo, modelo o técnica de DL? NO
fig-2.jpg
Figure 1
Proceso de búsqueda y selección de artículos, ingresando en las fuentes de búsqueda los términos de búsqueda con el operador AND se obtuvo un total 18111, aplicando filtros se reducen a 631, eliminando los estudios repetidos resultan en 375 artículos, luego de aplicar los criterios de inclusión y exclusión obtenemos 20 artículos.

Extracción y síntesis de datos

Se identificó la extracción y síntesis de datos a fin de registrar y recopilar con precisión los datos mediante el estudio de publicaciones seleccionadas. Se formuló la Tabla 3 para registrar con precisión los datos y proporcionar la solución a las preguntas. Se incluyó datos generales sobre el documento (título, nombre del autor, año de publicación). En la síntesis de datos cada pregunta se evaluó por separado.

Table 3

Extracción y síntesis de datos.


# Descripción Detalle
1 Información bibliográfica Autor, título, año de publicación
Extracción de datos
2 Descripción general Objetivo principal del documento seleccionado
3 Resultados Resultados adquiridos del articulo seleccionado
4 Suposiciones Para validar el resultado
5 Conclusiones relevantes Conclusiones del autor del documento seleccionado
Síntesis de datos
6 Aplicación Tipo de problema abordado en el documento seleccionado
7 Modelos Modelos de DL empleados para procesar los datos
8 Técnicas Técnicas de DL empleados resolver procesamiento de datos

3. Resultados

En esta sección se exploran los hallazgos de la SLR mediante un protocolo de revisión determinado. Los resultados se analizan mediante técnicas cualitativas y comparativas.

Vista general de los estudios seleccionados

Se identificó 20 estudios de carácter financiero que aplican DL para el procesamiento de datos. Todos los estudios seleccionados son de investigación experimental. La Tabla 4 muestra el resumen de los trabajos seleccionados.

Table 4

Trabajos seleccionados en cada base de datos científica.


# Base de datos científica No. resultados Resultado de búsqueda RB: Estudios Primarios (Código [Referencia])
1 Scopus 7 RB01[9], RB02[10], RB03[11], RB04[12], RB05[13] RB06[14], RB07[15]
2 IEEE 2 RB08[16], RB09[17]
3 Google Scholar 5 RB10[18], RB11[19], RB12[20], RB13[21], RB14[22]
4 Elsevier 6 RB15[23], RB16[24], RB17[25], RB18[26], RB19[27], RB20[28]

Q1: ¿Qué aplicaciones del DL existen en el área financiera?

Todos los artículos se analizaron para descubrir: ¿Cómo los autores aplican DL en el área financiera? Las aplicaciones para predicción de acciones, pronóstico de ventas, precios, rendimiento corporativo y otros riesgos financieros se abordan en Q1.

La predicción de acciones de mercado y pronóstico de ventas son las que tienen mayor atención de investigación en los últimos años, estas suman el 65% de los trabajos seleccionados, como se ilustra en la Tabla 5.

Table 5

Identificación de las aplicaciones en el área financiera Q1.


# Aplicación Porcentaje (%) Resultado de búsqueda
1 Predecir el valor de acciones (mercado de valores) 45 RB15, RB17, RB18, RB19, RB03, RB04, RB11, RB09, RB14
2 Detectar fraudes y evasión 10 RB16, RB20
3 Comportamiento de la Banca 5 RB01
4 Predecir precio del petróleo 5 RB02
5 Pronóstico de ventas 20 RB08, RB05, RB07, RB10
6 Predecir precio del petróleo 5 RB06
7 Comportamiento del Inversor 5 RB12
8 Determinar riesgo hipotecario 5 RB13

Q2: ¿Qué modelos de DL se emplean para resolver el problema de investigación financiera?

En esta pregunta de investigación se enumeraron diferentes modelos orientados a la clasificación de datos y detección de patrones con el propósito de predecir eventos (véase Tabla 6). Los modelos CNN y LSTM fueron los más usados en las diferentes investigaciones. En los estudios revisados generalmente se emplean datos históricos o series temporales para la predicción de eventos, sin embargo, se encontró estudios que informaron la predicción de eventos a través de texto (RB18, RB20, RB01, RB12), otros estudios como RB25 y RB14 combinan datos numéricos con información en texto.

En las publicaciones RB11 y RB15 emplean PCA para reducción de la dimensionalidad, otros investigadores hacen uso de autoenconders (RB19, RB02, RB03, RB10) combinando varios modelos diferentes para la predicción. En RB16 se utilizó un algoritmo de aprendizaje por refuerzo para el problema de evasión de impuestos donde se manejan parámetros de las empresas y del gobierno con la finalidad de predecir cómo responderá la empresa frente a cambios en los parámetros de gobierno. La mayoría de los algoritmos analizados en esta investigación emplearon aprendizaje supervisado.

Los trabajos seleccionados para esta revisión comparan el modelo propuesto con otras técnicas empleadas en el mercado, con el objetivo de validar su estudio. El RB04 considera como datos de entrada precios históricos, indicadores técnicos, intercambio de divisas, productos básicos e índices mundiales, resalta que los resultados obtenidos con el modelo CNN no igualan ni superan a las técnicas de regresión logística y máquinas de vectores de soporte que son los que se emplean frecuentemente en la industria.

Otro estudio a resaltar es el RB19 que reafirma la investigación al considerar que existe una brecha entre las finanzas académicas que explican las anomalías del mercado y la industria financiera, que son propensos a implementar métodos de caja negra debido a la rentabilidad. Esto lo apoyan con The Journal of Finance, donde al realizar búsquedas de implementación de redes neuronales los resultados son limitados, pero para reducir esta brecha ellos proponen una técnica de arbitraje estadístico de manera que se pueda conseguir los mismos resultados con técnicas de maching learning y las técnicas convencionales, los modelos comparados son una DNN, un árbol con aumento de gradiente (GBT) y bosques aleatorios (RAF) concluyeron que los GBT superan en rendimiento a las DNN pero estas últimas tienen ventaja en la selección de parámetros.

Table 6

Identificación de Modelos/algoritmos.


# Modelos / algoritmos Resultado de búsqueda
Predecir el valor de acciones, comportamiento del inversor y rendimiento corporativo
1 Análisis de componentes principales (PCA) RB15, RB11
2 Autoencoder (AE) autoencoder apilado RB15, RB03
3 Máquina Boltzmann restringida (RBM) RB15, RB06
4 Redes neuronales convolucionales (CNN) RB17, RB04, RB12, RB14
5 Larga memoria a corto plazo (LSTM) RB18, RB03, RB12, RB09
6 Red neuronal profunda (DNN) RB19, RB11
7 Vectores oracionales RB09
Detectar fraudes, evasión y riesgo hipotecario
1 Deep Q -learning (DQN) RB16
2 Red neuronal profunda (DNN) RB20, RB13
3 Latent dirichlet allocation (LDA) RB20
Comportamiento de la Banca
1 Red neuronal profunda (DNN) RB01
2 Vectores oracionales RB01
Pronóstico de ventas y precio del petróleo
1 Autoencoder (AE) apilado de eliminación de ruido (SDAE) RB02, RB10
2 Red neuronal profunda (DNN) RB08, RB10
3 Larga memoria a corto plazo (LSTM) RB05, RB07

Q3: ¿Qué técnicas del DL se emplean para resolver el problema de investigación financiera?

Esta sección del trabajo presenta técnicas u hallazgos (véase Tabla 7) adicionales que los autores emplearon para ejecutar los modelos antes mencionados y que se consideró importantes conocer si se pretende replicar estos estudios.

Las funciones de activación tienen como objetivo definir las salidas de los nodos de la red neuronal, siendo ReLu y Sigmoid las más empleadas en los estudios revisados. Encontramos también que los RB17, RB04, RB01 emplean soft-max en la última capa, para la distribución de probabilidad de las posibles salidas y que RB05 usa dropout para optimizar la etapa de entrenamiento.

Table 7

Identificación de técnicas/funciones.


# Técnicas / Funciones Referencia
1 ReLu: unidad lineal rectificada (función de activación) RB15, RB16, RB20, RB04, RB05, RB10, RB08, RB17, RB13
2 Sigmoid: función sigmoide (función de activación) RB15, RB07, RB14, RB02, RB03, RB06, RB07, RB03
3 Maxout (función de activación) RB19
4 Tanh: Tangente hiperbólica (función de activación) RB11, RB14
5 Soft-max (última capa) RB17, RB04, RB01
6 Dropout (entrenamiento) RB05

4. Discusión

En esta SLR, se identificó los campos de aplicación y modelos de DL empleados en el área financiera. Basado en los resultados encontrados el DL es útil para la clasificación de datos y detección de patrones con el objetivo de predecir eventos. En finanzas las acciones empresariales son un fenómeno cuyas variables se caracterizan por su volatilidad (RB03), lo cual ha inspirado el 45% de las investigaciones examinadas en la ejecución de este trabajo. Entre otras aplicaciones se encontró: pronóstico de ventas, precios, rendimiento corporativo, detección de fraudes, evasión y riesgo hipotecario.

Los conjuntos de datos utilizados en los estudios primarios son paramétricos, históricos, retorno de stock, estado de la empresa, series temporales, a excepción de los estudios que extraen información de texto [RB01, RB09]. El análisis de textos requiere un conjunto diferente de características y técnicas como vectores de párrafo y oracionales. Todos los documentos revisados aplican el preprocesamiento de datos, para transformar los datos en un formato comprensible, principalmente en los que se procesa texto, para lograr un rendimiento óptimo.

Los autores emplean algoritmos de DL para optimizar la selección de características; coinciden en que la selección correcta de características aumenta la precisión y el rendimiento del modelo. Los modelos más empleados son CNN y LSTM [RB17, RB04, RB12, RB14, RB18, RB03, RB12, RB09, RB05, RB07]. Algunos autores combinan varios modelos de DL para obtener mejores resultados [RB15, RB11, RB10, RB03], el modelo más repetido en estos estudios es Autoencoder para reducir la dimensionalidad y eliminar ruido en los datos.

En cuanto a las técnicas se identificó a ReLu como la función de activación más empleada en las redes neuronales, seguida por la función sigmoide.

5. Conclusiones y trabajo futuro

Los 20 estudios seleccionados permitieron identificar que las técnicas, métodos y modelos de DL también se pueden aplicar a la intermediación financiera. Con respecto a las preguntas de investigación, se encontraron aplicaciones para detectar riesgos financieros, predicciones en la dirección en el valor de las acciones del mercado, detección de fraudes en seguros, evasión de impuestos y pronóstico de ventas. En cuanto a los modelos y técnicas de DL se halló que las CNN y las LSTM son los modelos que más se emplean para resolver un problema financiero y que para cada estudio se aplican diferentes métodos y técnicas que les permiten extraer las características ideales para el modelo.

La revisión sistemática permitió conocer la aplicación actual de técnicas y modelos del DL en el área financiera, se resalta un mayor uso para extraer las características de manera óptima. Para estudios futuros debido al tiempo que consume el entrenar un modelo DL se recomienda desarrollar algoritmos que optimicen el tiempo y la extracción de características. En lo que respecta al campo de las finanzas se recomienda explorar la efectividad de DL en otras áreas como la gestión de cartera y las estrategias de negociación. En los estudios analizados se podrían adicionar otras variables para mejorar los modelos de predicción, relacionar las predicciones basadas en texto con las predicciones basadas en valores para determinar si existe mejora en la predicción de la bolsa mercantil.

References

1 

Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, vol. 521, no. 7553, pp. 436–444, 2015.

2 

S. Gasparini et al., “Information Theoretic-Based Interpretation of a Deep Neural Network Approach in Diagnosing Psychogenic Non-Epileptic Seizures,” Entropy, vol. 20, no. 2, p. 43, 2018.

3 

D. Romo-Bucheli, A. Janowczyk, H. Gilmore, E. Romero, and A. Madabhushi, “A deep learning based strategy for identifying and associating mitotic activity with gene expression derived risk categories in estrogen receptor positive breast cancers,” Cytom. Part A, vol. 91, no. 6, pp. 566–573, 2017.

4 

Y. Cao et al., “Improving Tuberculosis Diagnostics Using Deep Learning and Mobile Health Technologies among Resource-Poor and Marginalized Communities,” 2016 IEEE First Int. Conf. Connect. Heal. Appl. Syst. Eng. Technol., no. 1, pp. 274–281, 2016.

5 

F. Li, J. Zhang, C. Shang, D. Huang, E. Oko, and M. Wang, “Modelling of a post-combustion CO2capture process using deep belief network,” Appl. Therm. Eng., vol. 130, pp. 997–1003, 2018.

6 

L. G. Pang, K. Zhou, N. Su, H. Petersen, H. Stöcker, and X. N. Wang, “An equation-of-state-meter of quantum chromodynamics transition from deep learning,” Nat. Commun., vol. 9, no. 1, 2018.

7 

W. E, J. Han, and A. Jentzen, “Deep learning-based numerical methods for high-dimensional parabolic partial differential equations and backward stochastic differential equations,” Communications in Mathematics and Statistics, vol. 5, no. 4. pp. 349–380, 2017.

8 

B. Kitchenham, “Procedures for performing systematic reviews,” Br. J. Manag., vol. 14, no. 0, pp. 207–222, 2003.

9 

S. Rönnqvist and P. Sarlin, “Bank distress in the news: Describing events through deep learning,” Neurocomputing, vol. 264, pp. 57–70, Nov. 2017.

10 

Y. Zhao, J. Li, and L. Yu, “A deep learning ensemble approach for crude oil price forecasting,” Energy Econ., vol. 66, pp. 9–16, 2017.

11 

W. Bao, J. Yue, and Y. Rao, “A deep learning framework for financial time series using stacked autoencoders and long-short term memory,” PLoS One, vol. 12, no. 7, p. e0180944, Jul. 2017.

12 

A. Dingli and K. S. Fournier, “Financial Time Series Forecasting – A Deep Learning Approach,” Int. J. Mach. Learn. Comput., vol. 7, no. 5, pp. 118–122, 2017.

13 

R. Ferreira, M. Braga, and V. Alves, Forecast in the Pharmaceutical Area – Statistic Models vs Deep Learning, vol. 746. Springer International Publishing, 2018.

14 

J. Lee, D. Jang, and S. Park, “Deep learning-based corporate performance prediction model considering technical capability,” Sustain., vol. 9, no. 6, pp. 1–12, 2017.

15 

Q. Yu, K. Wang, J. O. Strandhagen, and Y. Wang, “Application of Long Short-Term Memory Neural Network to Sales Forecasting in Retail—A Case Study,” pp. 11–17, 2018.

16 

Y. Kaneko, “A Deep Learning Approach for the Prediction of Retail Store Sales,” Icdmw, 2016.

17 

R. Akita, A. Yoshihara, T. Matsubara, and K. Uehara, “Deep learning for stock prediction using numerical and textual information,” 2016 IEEE/ACIS 15th Int. Conf. Comput. Inf. Sci. ICIS 2016 - Proc., 2016.

18 

O. Chang, I. Naranjo, C. Guerron, D. Criollo, J. Guerron, and G. Mosquera, “A Deep Learning Algorithm to Forecast Sales of Pharmaceutical Products,” no. August, 2017.

19 

R. Singh and S. Srivastava, “Stock prediction using deep learning,” Multimed. Tools Appl., vol. 76, no. 18, pp. 18569–18584, Sep. 2017.

20 

S. Sohangir, D. Wang, A. Pomeranets, and T. M. Khoshgoftaar, “Big Data: Deep Learning for financial sentiment analysis,” J. Big Data, vol. 5, no. 1, 2018.

21 

J. Sirignano, A. Sadhwani, and K. Giesecke, “Deep Learning for Mortgage Risk,” Ssrn, pp. 1–83, 2016.

22 

X. Ding, Y. Zhang, T. Liu, and J. Duan, “Deep Learning for Event-Driven Stock Prediction,” no. Ijcai, pp. 2327–2333, 2015.

23 

E. Chong, C. Han, and F. C. Park, “Deep learning networks for stock market analysis and prediction: Methodology, data representations, and case studies,” Expert Syst. Appl., vol. 83, pp. 187–205, 2017.

24 

N. D. Goumagias, D. Hristu-Varsakelis, and Y. M. Assael, “Using deep Q-learning to understand the tax evasion behavior of risk-averse firms,” Expert Syst. Appl., vol. 101, pp. 258–270, 2018.

25 

H. Gunduz, Y. Yaslan, and Z. Cataltepe, “Intraday prediction of Borsa Istanbul using convolutional neural networks and feature correlations,” Knowledge-Based Syst., vol. 137, pp. 138–148, 2017.

26 

M. Kraus and S. Feuerriegel, “Decision support from financial disclosures with deep neural networks and transfer learning,” Decis. Support Syst., vol. 104, pp. 38–48, 2017.

27 

C. Krauss, X. A. Do, and N. Huck, “Deep neural networks, gradient-boosted trees, random forests: Statistical arbitrage on the S&P 500,” Eur. J. Oper. Res., vol. 259, no. 2, pp. 689–702, 2017.

28 

Y. Wang and W. Xu, “Leveraging deep learning with LDA-based text analytics to detect automobile insurance fraud,” Decis. Support Syst., vol. 105, pp. 87–95, 2018.

FULL TEXT

Statistics

  • Downloads 4
  • Views 154

Navigation

Refbacks



ISSN: 2518-6841