---
title: "Ejemplo de uso del paquete `eph`"
author: 
  - Germán Rosati
  - Diego Kozlowski
  - Pablo Tiscornia
  - Guido Weksler
  - Natsumi Shokida
date: "`r Sys.Date()`"
output: rmarkdown::html_vignette
vignette: >
  %\VignetteIndexEntry{Ejemplo de uso}
  %\VignetteEngine{knitr::rmarkdown}
  %\VignetteEncoding{UTF-8}
---

```{r setup, include = FALSE}
knitr::opts_chunk$set(
  collapse = TRUE,
  comment = "#>"
)
```

El paquete `eph` tiene como objetivo facilitar el trabajo de les usuaries que trabajen con los microdatos de la Encuesta Permanente de Hogares. Este tutorial busca ejemplificar un pipeline de trabajo más o menos típico para mostrar el uso de las funciones del paquete.

## Instalación

Para instalar la versión estable del paquete usar:

```{r eval=FALSE, message=FALSE, warning=FALSE, include=TRUE}
install.packages('eph')
```

Para la versión en desarrollo:

```{r, eval=FALSE, message=FALSE, warning=FALSE, include=TRUE}
# install.packages('devtools') si no tiene instalado devtools

devtools::install_github("holatam/eph")
```


## Ejemplo de flujo de trabajo

### Descarga de datos: `get_microdata()`

```{r message=FALSE, warning=FALSE}
library(eph)
library(dplyr)
library(tidyr)
library(purrr)
library(ggplot2)
```

Obtengamos la base de microdatos de individuos para el tercer trimestre de 2018:

```{r}
ind_3_18 <- get_microdata(year=2018, trimester=2, type='individual')
```
Puede verse que la función requiere tres argumentos básicos:

- `year`: entero con el año de la encuesta que se desea descargar
- `trimester`: entero con el trimestre (este argumento es válido para la EPH continua, 2004-actualidad)
- `type`: character `"individual"`, para descargar la base de invidividuos y `"hogar"`, para la de hogar.

Si se deseara descargar una base de la EPH puntual, será necesario reemplazar el argumento `trimester` por `wave` que define la onda de la EPH puntual que se desea descargar. Por ejemplo, si se buscara descargar la base individual de la segunda onda del año 2002, debería escribirse

```{r message=FALSE, warning=FALSE}
ind_2_02 <- get_microdata(year=2001, wave=2, type='individual')
```


### Etiquetado: `organize_labels()`

Es posible etiquetar de forma automática el dataset llamando a la función `organize_labels()`:

```{r}
ind_3_18 <- organize_labels(df=ind_3_18, type='individual')
```

La función toma dos argumentos:

- `df`: el data.frame que se quiere etiquetar, debe ser producto de `get_microdata()`
- `type`: string; cuál es el tipo de datatset que se quiere etiquetar, `"individual"` o `"hogar"`


Descarguemos y etiquetemos la base de hogares del 3 trimestre de 2018. Podemos hacer uso de los `%>%` pipes de `magritte`:

```{r}
hog_3_18 <- get_microdata(year=2018, trimester=3, type='hogar') %>%
              organize_labels(., type='hogar')
```


### Tabulados ponderados: `calculate_tabulates()`

Una de las operaciones más usuales al trabajar con la EPH son los tabulados uni y bivariados. Para ello, el paquete cuenta con la función  `calculate_tabulates()`, la cual brinda la posibilidad de obtener tanto resultados en valores absolutos como relativos, como así también contar con la posibilidad de ponderar los datos:


```{r}
calculate_tabulates(base=ind_3_18, x='ESTADO', y='CH04', weights = 'PONDIH',
                    add.totals='row', add.percentage='col')
```

Los argumentos principales de la función son:

- `base`: un data.frame proveniente de `get_microdata()`
- `x`: string con el nombre de la variable a tabular
- `y`: otro string (opcional) con el nombre de una segunda variable, para una tabla de doble entrada. Tiene que ser de igual largo que `x`
- `weights`: string con el nombre de la variable que contiene los pesos
- `add.totals`: agrega valores por `row`, `col` o `both`
- `add.percentage`: calcula porcentajes por `row`, `col` o `both`

Así, si quisiéramos la misma tabla sin ponderar:

```{r}
calculate_tabulates(base=ind_3_18, x='ESTADO', y='CH04',
                    add.totals='row', add.percentage='col')
```



### Armando pools de datos: `organize_panels()`

Otra potencialidad del trabajo con microdatos de la EPH es la capacidad de generar un pool de observaciones de panel. Este procedimiento consta en identificar a una misma persona u hogar encuestado en distintos trimestres, y permite realizar estudios sobre la evolución de sus caracteristicas con el correr del tiempo. Esto puede generarse, para las bases individuales en `eph` con la función `organize_panels()`. Para ello es necesario contar previamente con las múltiples bases de datos que se deseen poolear.
```{r}
bases <- get_microdata(year=2018, trimester=1:4, type='individual', 
                       vars = c('CODUSU','NRO_HOGAR','COMPONENTE','ANO4','TRIMESTRE','CH04','CH06', #variables necesarias para hacer el panel
                                'ESTADO','PONDERA') ) #variables que nos interesan en nuestro análisis
bases
```


```{r warning=FALSE}
pool <- organize_panels(bases=bases$microdata, variables=c('ESTADO','PONDERA'),
                        window='trimestral')
```

Los argumentos principales de la función `organize_panels`son:  

- `bases`: una lista con las bases de datos a poolear
- `variables`: string con los nombre de la variables de interés
- `window`: un string que indique la ventana de distancia de las observaciones (`anual`) o  (`trimestral`)
```{r}
pool
```
La función nos devuelve un data.frame similar a la base original, en el cual cada fila es un registro individual, que consta de las observaciones de las variables de interés específicadas, en dos periodos de tiempo. En el período inicial las mismas conservan su nombre, y en el siguiente (año o trimestre) aparecen renombradas con el agregado del string `_t1`.             

Lo que hace la función detrás de bambalinas es concatenar todas las bases espeficadas en el argumento `list=` y hacer un join, conservando sólo aquellos individuos encuestados en los diferentes trimestres. La columna `consistencia` evalúa si entre ambas observaciones un mismo individuo figura con distinto sexo o con una difrencia absoluta de 2 años de edad.        

```{r message=FALSE, warning=FALSE}
pool %>% 
  organize_labels(.) %>% 
calculate_tabulates(x='ESTADO', y='ESTADO_t1',
                    weights = "PONDERA", add.percentage='row')
```
Un indicador frecuente construido con esta infomación es la Matriz de Transición. Ella refleja como los individuos que ocupaban una determinada categoría en el período inicial, se distribuyen en cada una de las categorías en el período siguiente. La misma puede construirse sencillamente utilizando la función `calculate_tabulates`. En este ejemplo, la información refleja que durante 2018, un 3.7% de los ocupados perdió su empleo en el trimestre siguiente. 


### Iterando en varias bases

Dado que levantar muchas bases al mismo tiempo puede superar el espacio disponible en memoria, es posible utilizar el parametro `vars` para hacer una selección de variables al mismo tiempo que se levantan las bases.


```{r message=FALSE, warning=FALSE}
df <- get_microdata(year = 2017:2018, trimester = 1:2,type = 'individual',
                    vars = c('PONDERA','ESTADO','CAT_OCUP')) %>% 
  unnest()

df %>% 
  sample_n(5)
```

Con estos datos podemos crear por ejemplo la serie de asalarización


$SO_{t} = \frac{\sum_{i=1}^n w_{i}TCP_{i}}{\sum_{i=1}^n w_{i}OCUP_{i}}$


```{r}
df <- df %>% 
  group_by(year,trimester) %>% 
  summarise(indicador = sum(PONDERA[CAT_OCUP==3 & ESTADO==1], na.rm = T) / sum(PONDERA[ESTADO==1], na.rm = T)) 
df
```

### Cálculo de pobreza:

Un objetivo del paquete `eph`, es lograr automatizar el cálculo de pobreza e indigencia del INDEC para las bases trimestrales^[El calculo oficial se realiza sobre bases semestrales no publicadas]. El gran problema es que no existe información publicada fuera de los informes de prensa en formato pdf sobre los valores de las canastas básicas y alimentarias. 

No obstante, hemos desarrollado dos funciones que, de encontrarse disponibles dichos datos, podrían calcular de forma automática los valores de pobreza e indigencia. Mostraremos un ejemplo de juguete con dos datasets de la CABA y sus respectivos valores de canastas. 

```{r message=FALSE, warning=FALSE}
bases <- dplyr::bind_rows(toybase_individual_2016_03,toybase_individual_2016_04)
```


Existen dos funciones núcleo:

```{r}
lineas <- get_poverty_lines()
lineas %>% head()
```

Esta función descarga los valores de las canastas alimentaria, básica (CBA y CBT) y la inversa del coeficiente de Engels... perdón, Engel (ICE) de [la serie provista por INDEC](https://www.indec.gob.ar/indec/web/Nivel4-Tema-4-43-149). Esta es la serie para GBA, y es la que publica regularmente INDEC. 

```{r, fig.width=7, fig.height=5}
lineas %>%
  select(-ICE) %>%
  gather(canasta, valor, -periodo) %>%
  ggplot() +
    geom_line(aes(x=periodo, y=valor, col=canasta))
```
 


Para el calculo de la Pobreza e Indigence se utilizan canastas regionales, que sólo aparecen en los [informes Técnicos](https://www.indec.gob.ar/uploads/informesdeprensa/eph_pobreza_01_19422F5FC20A.pdf).

A modo de ejemplo, en la librería `eph` se encuentra la base `canastas_reg_example` con la información necesaria para realizar el cálculo

```{r}
canastas_reg_example %>% head()
```

A su vez, también se encuentra la tabla de `adulto_equivalente` que permite construir la cantidad de adultos equivalentes a nivel hogar, para multiplicar al mismo por la canasta regional correspondiente, a fin de definir la línea a nivel hogar.

```{r}
adulto_equivalente %>% head()
```


La función `calculate_poverty` calcula la pertenencia a situaciones de pobreza e indigencia a nivel de los individuos siguiendo la metodología de línea:

```{r warning=FALSE}
bases <- dplyr::bind_rows(toybase_individual_2016_03,toybase_individual_2016_04)
base_pobreza <- calculate_poverty(base = bases, basket = canastas_reg_example,print_summary=TRUE)
```


```{r}
base_pobreza %>% 
  select(CODUSU,ITF,region,adequi_hogar,CBA_hogar,CBT_hogar,situacion) %>% 
  sample_n(10)
```

