Macro Sas En Movimiento

El código de ejemplo de la ficha Código completo ilustra cómo calcular el promedio móvil de una variable a través de un conjunto de datos completo, sobre las últimas N observaciones en un conjunto de datos o sobre las últimas N observaciones dentro de un grupo BY. Estos ejemplos de archivos y ejemplos de código son proporcionados por SAS Institute Inc. como es sin garantía de ningún tipo, ya sea expresa o implícita, incluyendo pero no limitado a las garantías implícitas de comerciabilidad y aptitud para un propósito en particular. Los recipientes reconocen y aceptan que SAS Institute no será responsable de los daños y perjuicios derivados de su uso de este material. Además, el SAS Institute no proporcionará soporte para los materiales aquí contenidos. Estos ejemplos de archivos y ejemplos de código son proporcionados por SAS Institute Inc. como es sin garantía de ningún tipo, ya sea expresa o implícita, incluyendo pero no limitado a las garantías implícitas de comerciabilidad y aptitud para un propósito en particular. Los recipientes reconocen y aceptan que SAS Institute no será responsable de los daños y perjuicios derivados de su uso de este material. Además, el SAS Institute no proporcionará soporte para los materiales aquí contenidos. Calcular el promedio móvil de una variable a través de un conjunto de datos completo, sobre las últimas N observaciones en un conjunto de datos, o sobre las últimas N observaciones dentro de un grupo BY. En este post, muestro un truco para hacer el cálculo del promedio móvil (puede Ser extendido a otras operaciones que requieren funciones de ventana) que es súper rápido. A menudo, los analistas SAS necesitan realizar cálculos de promedio móvil y hay varias opciones por orden de preferencia: 1. PROC EXPAND 2. DATOS PASO 3. PROC SQL Pero muchos sitios no pueden licenciar SAS / ETS para usar PROC EXPAND y hacer el promedio móvil En DATA STEP requiere cierta codificación y es propenso a errores. PROC SQL es una opción natural para los programadores junior y en muchos casos empresariales la única solución, pero SAS PROCs SQL no tiene funciones de ventanas que están disponibles en muchos DB para facilitar el cálculo del promedio móvil. Una técnica que la gente suele utilizar es CROSS JOIN, que es muy costosa y no es una solución viable para un conjunto de datos de tamaño medio. En este post, muestro un truco para hacer cálculo de promedio móvil (se puede extender a otras operaciones que requieren funciones de ventana) que es súper rápido. Considere el cálculo de la media móvil más simple en el que las observaciones K de arrastrado se incluyen en el cálculo, a saber MA (K), aquí nos fijamos K5. En primer lugar, generar una muestra 20 obs datos, donde la variable ID se utiliza para la ventana y la variable X se va a utilizar en el cálculo de MA, y luego aplicar el CROSS JOIN estándar para examinar primero los datos resultantes, no agrupados, sólo Para entender cómo aprovechar la estructura de datos. A partir del conjunto de datos resultante, es difícil encontrar una pista, ahora vamos a ordenar por la columna quotbidquot en este conjunto de datos: De estos datos clasificados, está claro que en realidad no tenemos que CROSS JOIN el conjunto original de datos, sino que, Podemos generar un conjunto de datos de quotoperationquot que contiene el valor de diferencia y dejar que el conjunto de datos original CROSS JOIN con este conjunto de datos quotoperationquot mucho más pequeño y todos los datos que necesitamos utilizar para el cálculo de MA estarán allí. Ahora vamos a hacerlo: CROSS JOIN datos originales con quotoperationquot datos, ordenar por (a. idops), que es en realidad quotbid39 en el conjunto de datos clasificados Tenga en cuenta que en el código anterior, es necesario tener ax multiplicar por b. weight para que los datos Puede ser entre hojas, de lo contrario se saldrá el mismo valor de X de la tabla original y se fallará el cálculo de MA. La variable de peso explícito añade realmente más flexibilidad al cálculo de MA completo. Si bien establecerlo como 1 para todos los obs resulta en un simple cálculo de MA, asignar pesos diferentes ayudará a resolver la computación MA más compleja, como dar más observaciones menos peso para una MA decaída. Si se requiere un parámetro K diferente en los cálculos de MA (K), solo se debe actualizar el conjunto de datos de la operación que es un trabajo trivial. Ahora la plantilla de código real para el cálculo de MA (K) será: Con este nuevo método, es interesante compararlo con el auto costoso CROSS JOIN así como con PROC EXPAND. En mi estación de trabajo (Intel i5 3.8Ghz, 32GB de memoria, 1TB 72K HDD), auto CROSS JOIN es prohibitivamente largo en tiempo de ejecución (si los datos son grandes), mientras que el nuevo método utiliza sólo 2X tanto tiempo como PROC EXPAND, ambos consumos de tiempo son Trivial comparando a uno mismo CROSS JOIN. El consumo de tiempo que se muestra a continuación es en quotsecondquot. Debajo están los lectores de código pueden funcionar y compararse. 10 de mayo de 2015 por Liang Xie Programación de SAS para el procesamiento de datos MiningAutoregressive de media móvil de errores (ARMA errores) y otros modelos que implican retrasos de los términos de error se puede estimar mediante declaraciones FIT y simulados o pronosticados mediante declaraciones SOLVE. Los modelos ARMA para el proceso de error se usan con frecuencia para modelos con residuos autocorrelados. La macro AR se puede utilizar para especificar modelos con procesos de error autorregresivo. La macro MA se puede utilizar para especificar modelos con procesos de error de media móvil. Errores auto-regresivos Un modelo con errores autorregresivos de primer orden, AR (1), tiene la forma mientras que un proceso de error AR (2) tiene la forma y así sucesivamente para los procesos de orden superior. Obsérvese que los s son independientes e idénticamente distribuidos y tienen un valor esperado de 0. Un ejemplo de un modelo con un componente AR (2) es y así sucesivamente para procesos de orden superior. Por ejemplo, puede escribir un modelo de regresión lineal simple con MA (2) errores de media móvil, donde MA1 y MA2 son los parámetros de media móvil. Tenga en cuenta que RESID. Y se define automáticamente por PROC MODEL como La función ZLAG debe utilizarse para que los modelos MA trunquen la recursión de los retrasos. Esto asegura que los errores rezagados empiezan a cero en la fase de cebado y no propagan los valores faltantes cuando faltan las variables del período de cebado y aseguran que los errores futuros son cero en lugar de faltar durante la simulación o la predicción. Para obtener más información sobre las funciones de retraso, consulte la sección Lag Logic. El modelo general ARMA (p, q) tiene la siguiente forma Un modelo ARMA (p, q) se puede especificar de la siguiente manera: donde AR i y MA j representan Los parámetros autorregresivos y de media móvil para los diferentes desfases. Puede utilizar cualquier nombre que desee para estas variables, y hay muchas formas equivalentes de que la especificación podría ser escrita. Los procesos ARMA vectoriales también se pueden estimar con PROC MODEL. Por ejemplo, un proceso AR (1) de dos variables para los errores de las dos variables endógenas Y1 e Y2 puede especificarse de la siguiente manera: Problemas de Convergencia con Modelos ARMA Los modelos ARMA pueden ser difíciles de estimar. Si las estimaciones de parámetros no están dentro del intervalo apropiado, los términos residuales de modelos de media móvil crecen exponencialmente. Los residuos calculados para observaciones posteriores pueden ser muy grandes o pueden desbordarse. Esto puede ocurrir ya sea porque se utilizaron valores iniciales incorrectos o porque las iteraciones se alejaron de valores razonables. Se debe tener cuidado al elegir los valores iniciales para los parámetros ARMA. Los valores iniciales de 0,001 para los parámetros ARMA normalmente funcionan si el modelo se ajusta bien a los datos y el problema está bien condicionado. Tenga en cuenta que un modelo de MA a menudo puede ser aproximado por un modelo de AR de alto orden, y viceversa. Esto puede dar lugar a una alta colinealidad en los modelos ARMA mixtos, lo que a su vez puede causar un grave mal acondicionamiento en los cálculos y la inestabilidad de los parámetros estimados. Si tiene problemas de convergencia mientras estima un modelo con procesos de error ARMA, intente estimarlos en pasos. En primer lugar, utilice una sentencia FIT para estimar sólo los parámetros estructurales con los parámetros ARMA mantenidos a cero (o a estimaciones previas razonables si están disponibles). A continuación, utilice otra instrucción FIT para estimar sólo los parámetros ARMA, utilizando los valores de los parámetros estructurales de la primera ejecución. Dado que los valores de los parámetros estructurales es probable que estén cerca de sus estimaciones finales, las estimaciones de los parámetros de ARMA podrían ahora converger. Finalmente, use otra instrucción FIT para producir estimaciones simultáneas de todos los parámetros. Dado que los valores iniciales de los parámetros ahora es probable que estén muy cerca de sus estimaciones conjuntas finales, las estimaciones deben converger rápidamente si el modelo es apropiado para los datos. AR Condiciones iniciales Los retornos iniciales de los términos de error de los modelos AR (p) pueden modelarse de diferentes maneras. Los métodos de arranque de errores autorregresivos soportados por los procedimientos SAS / ETS son los siguientes: mínimos cuadrados condicionales (procedimientos ARIMA y MODEL) mínimos cuadrados incondicionales (procedimientos AUTOREG, ARIMA y MODELO) Yule-Walker (Procedimiento AUTOREG solamente) Hildreth-Lu, que elimina las primeras p observaciones (procedimiento MODEL solamente) Consulte el Capítulo 8, Procedimiento AUTOREG, para una explicación y discusión de los méritos de varios métodos de arranque AR (p). Las inicializaciones CLS, ULS, ML y HL pueden realizarse mediante PROC MODEL. Para errores AR (1), estas inicializaciones se pueden producir como se muestra en la Tabla 18.2. Estos métodos son equivalentes en muestras grandes. Tabla 18.2 Inicializaciones realizadas por PROC MODEL: AR (1) ERRORES Los retornos iniciales de los términos de error de los modelos MA (q) también se pueden modelar de diferentes maneras. Los siguientes paradigmas de inicio de error de media móvil son soportados por los procedimientos ARIMA y MODELO: mínimos cuadrados incondicionales mínimos condicionales condicionales El método de mínimos cuadrados condicionales para estimar los términos de error de media móvil no es óptimo porque ignora el problema de inicio. Esto reduce la eficiencia de las estimaciones, aunque siguen siendo imparciales. Los residuos rezagados iniciales, que se extienden antes del inicio de los datos, se supone que son 0, su valor esperado incondicional. Esto introduce una diferencia entre estos residuales y los residuos de mínimos cuadrados generalizados para la covarianza media móvil, que, a diferencia del modelo autorregresivo, persiste a través del conjunto de datos. Por lo general, esta diferencia converge rápidamente a 0, pero para los procesos de media móvil no inversa la convergencia es bastante lenta. Para minimizar este problema, debe tener un montón de datos, y las estimaciones de parámetros del promedio móvil deberían estar dentro del intervalo invertible. Este problema se puede corregir a expensas de escribir un programa más complejo. Las estimaciones de mínimos cuadrados incondicionales para el proceso MA (1) se pueden producir especificando el modelo de la siguiente manera: Los errores de media móvil pueden ser difíciles de estimar. Debe considerar usar una aproximación AR (p) al proceso del promedio móvil. Un proceso de media móvil normalmente puede ser bien aproximado por un proceso autorregresivo si los datos no han sido suavizados o diferenciados. La macro AR La macro AR de SAS genera instrucciones de programación para el MODELO PROC para modelos autorregresivos. La macro AR forma parte del software SAS / ETS y no es necesario configurar ninguna opción especial para utilizar la macro. El proceso autorregresivo puede aplicarse a los errores de la ecuación estructural oa las propias series endógenas. La macro AR puede utilizarse para los siguientes tipos de autorregresión: autorreversión vectorial sin restricciones autorregresión vectorial restringida Autoregresión univariable Para modelar el término de error de una ecuación como un proceso autorregresivo, utilice la siguiente sentencia después de la ecuación: Por ejemplo, supongamos que Y es una Función lineal de X1, X2 y un error AR (2). Escribirías este modelo de la siguiente manera: Las llamadas a AR deben venir después de todas las ecuaciones a las que se aplica el proceso. La invocación de macros anterior, AR (y, 2), produce las declaraciones mostradas en la salida LIST de la Figura 18.58. Figura 18.58 Salida de opción LIST para un modelo AR (2) Las variables prefijadas PRED son variables temporales del programa utilizadas para que los retrasos de los residuos sean los residuos correctos y no los redefinidos por esta ecuación. Tenga en cuenta que esto es equivalente a las declaraciones explícitamente escritas en la sección Formulario General para Modelos ARMA. También puede restringir los parámetros autorregresivos a cero en los retornos seleccionados. Por ejemplo, si desea parámetros autorregresivos en los retornos 1, 12 y 13, puede utilizar las siguientes sentencias: Estas instrucciones generan la salida que se muestra en la Figura 18.59. Figura 18.59 Salida de opción de LIST para un modelo de AR con Lags en 1, 12 y 13 El listado de procedimientos MODEL de la declaración de código de programa compilado como analizado PRED. yab x1 c x2 RESID. y PRED. y - ACTUAL. y ERROR. y PRED. Y - y OLDPRED. y PRED. y yl1 ZLAG1 (y - perdy) yl12 ZLAG12 (y - perdy) yl13 ZLAG13 (y - perdy) RESID. y PRED. y - ACTUAL. y PRED. y - y Hay Variaciones en el método de los mínimos cuadrados condicionales, dependiendo de si las observaciones al comienzo de la serie se utilizan para calentar el proceso AR. Por defecto, el método de mínimos cuadrados condicionales de AR utiliza todas las observaciones y supone ceros para los retardos iniciales de los términos autorregresivos. Utilizando la opción M, puede solicitar que AR utilice el método de mínimos cuadrados incondicionales (ULS) o de máxima verosimilitud (ML). Por ejemplo, las discusiones de estos métodos se proporcionan en la sección AR Condiciones iniciales. Mediante el uso de la opción MCLS n, puede solicitar que las primeras n observaciones se utilicen para calcular las estimaciones de los retrasos autorregresivos iniciales. En este caso, el análisis comienza con la observación n 1. Por ejemplo: Puede utilizar la macro AR para aplicar un modelo autorregresivo a la variable endógena, en lugar del término de error, mediante la opción TYPEV. Por ejemplo, si desea agregar los cinco retrasos anteriores de Y a la ecuación del ejemplo anterior, podría utilizar AR para generar los parámetros y los retrasos mediante las siguientes sentencias: Las sentencias anteriores generan la salida que se muestra en la Figura 18.60. Figura 18.60 Salida de la opción LIST para un modelo AR de Y Este modelo predice Y como una combinación lineal de X1, X2, una intersección y los valores de Y en los cinco períodos más recientes. Autoregresión vectorial sin restricciones Para modelar los términos de error de un conjunto de ecuaciones como un proceso autorregresivo vectorial, utilice la siguiente forma de la macro AR después de las ecuaciones: El valor processname es cualquier nombre que se suministre para que AR utilice para crear nombres para el autorregresivo Parámetros. Puede utilizar la macro AR para modelar varios procesos AR diferentes para diferentes conjuntos de ecuaciones utilizando diferentes nombres de proceso para cada conjunto. El nombre del proceso garantiza que los nombres de variable utilizados sean únicos. Utilice un valor de nombre de proceso corto para el proceso si las estimaciones de parámetros se escriben en un conjunto de datos de salida. La macro AR intenta construir nombres de parámetro menores o iguales a ocho caracteres, pero esto está limitado por la longitud de nombreproceso. Que se utiliza como prefijo para los nombres de parámetro AR. El valor de variablelist es la lista de variables endógenas para las ecuaciones. Por ejemplo, supongamos que los errores de las ecuaciones Y1, Y2 e Y3 son generados por un proceso autorregresivo vectorial de segundo orden. Puede utilizar las siguientes sentencias: que generan lo siguiente para Y1 y código similar para Y2 e Y3: Sólo el método de mínimos cuadrados condicionales (MCLS o MCLS n) se puede utilizar para procesos vectoriales. También puede usar el mismo formulario con restricciones de que la matriz de coeficientes sea 0 en retrasos seleccionados. Por ejemplo, las siguientes afirmaciones aplican un proceso vectorial de tercer orden a los errores de ecuación con todos los coeficientes con retraso 2 restringido a 0 y con los coeficientes en los retornos 1 y 3 sin restricciones: Puede modelar las tres series Y1Y3 como un proceso vectorial autorregresivo En las variables en lugar de en los errores mediante la opción TYPEV. Si desea modelar Y1Y3 como una función de valores pasados ​​de Y1Y3 y algunas variables o constantes exógenas, puede usar AR para generar las sentencias para los términos de retraso. Escriba una ecuación para cada variable para la parte no autorregresiva del modelo, y luego llame a AR con la opción TYPEV. Por ejemplo, la parte no autorregresiva del modelo puede ser una función de variables exógenas, o puede ser parámetros de intercepción. Si no hay componentes exógenos en el modelo de autorregresión vectorial, incluyendo no intercepciones, entonces asigne cero a cada una de las variables. Debe haber una asignación a cada una de las variables antes de que AR se llame. Este ejemplo modela el vector Y (Y1 Y2 Y3) como una función lineal solamente de su valor en los dos períodos anteriores y un vector de error de ruido blanco. El modelo tiene 18 (3 3 3 3) parámetros. Sintaxis de la macro AR Hay dos casos de la sintaxis de la macro AR. Cuando no se necesitan restricciones en un proceso AR vectorial, la sintaxis de la macro AR tiene la forma general especifica un prefijo para que AR utilice en la construcción de nombres de variables necesarios para definir el proceso AR. Si el endolist no se especifica, la lista endógena tiene por defecto el nombre. Que debe ser el nombre de la ecuación a la que se va a aplicar el proceso de error AR. El valor de nombre no puede superar los 32 caracteres. Es el orden del proceso AR. Especifica la lista de ecuaciones a las que se va a aplicar el proceso AR. Si se da más de un nombre, se crea un proceso vectorial sin restricciones con los residuos estructurales de todas las ecuaciones incluidas como regresores en cada una de las ecuaciones. Si no se especifica, endolist toma el nombre por defecto. Especifica la lista de rezagos en los que se van a agregar los términos AR. Los coeficientes de los términos a intervalos no listados se ponen a 0. Todos los desfases enumerados deben ser menores o iguales a nlag. Y no debe haber duplicados. Si no se especifica, el laglist se ajusta por defecto a todos los retornos 1 a nlag. Especifica el método de estimación a implementar. Los valores válidos de M son CLS (estimaciones de mínimos cuadrados condicionales), ULS (estimaciones de mínimos cuadrados incondicionales) y ML (estimaciones de máxima verosimilitud). MCLS es el valor predeterminado. Sólo se permite MCLS cuando se especifica más de una ecuación. Los métodos ULS y ML no son compatibles con modelos AR vectoriales por AR. Especifica que el proceso AR debe aplicarse a las variables endógenas en lugar de a los residuos estructurales de las ecuaciones. Autoregresión vectorial restringida Puede controlar qué parámetros se incluyen en el proceso, restringiendo a 0 aquellos parámetros que no incluye. Primero, use AR con la opción DEFER para declarar la lista de variables y definir la dimensión del proceso. A continuación, utilice llamadas AR adicionales para generar términos para las ecuaciones seleccionadas con variables seleccionadas en retrasos seleccionados. Por ejemplo, las ecuaciones de error producidas son las siguientes: Este modelo establece que los errores para Y1 dependen de los errores de Y1 y Y2 (pero no de Y3) en ambos rezagos 1 y 2 y que los errores para Y2 y Y3 dependen de Los errores anteriores para las tres variables, pero sólo con retraso 1. AR Macro Sintaxis para AR Restringido AR Un uso alternativo de AR se permite imponer restricciones en un proceso AR vector llamando a AR varias veces para especificar diferentes términos de AR y rezagos para diferentes Ecuaciones. La primera llamada tiene la forma general especifica un prefijo para que AR utilice en la construcción de nombres de variables necesarias para definir el proceso vector AR. Especifica el orden del proceso AR. Especifica la lista de ecuaciones a las que se va a aplicar el proceso AR. Especifica que AR no es para generar el proceso AR, sino que es esperar la información adicional especificada en las llamadas AR posteriores para el mismo valor de nombre. Las llamadas siguientes tienen la forma general es la misma que en la primera llamada. Especifica la lista de ecuaciones a las que deben aplicarse las especificaciones de esta llamada AR. Sólo los nombres especificados en el valor endolist de la primera llamada para el valor de nombre pueden aparecer en la lista de ecuaciones en eqlist. Especifica la lista de ecuaciones cuyos residuos estructurales rezagados se incluyen como regresores en las ecuaciones de eqlist. Solamente los nombres en el endolist de la primera llamada para el valor del nombre pueden aparecer en varlist. Si no se especifica, varlist por defecto es endolist. Especifica la lista de rezagos en los que se van a agregar los términos AR. Los coeficientes de los términos en retrasos no enumerados se establecen en 0. Todos los retornos enumerados deben ser inferiores o iguales al valor de nlag. Y no debe haber duplicados. Si no se especifica, laglist se ajusta por defecto a todos los retornos 1 a nlag. La macro MA La macro MA SAS genera instrucciones de programación para MODELO PROC para modelos de media móvil. La macro MA forma parte del software SAS / ETS y no se necesitan opciones especiales para utilizar la macro. El proceso de error de media móvil puede aplicarse a los errores de la ecuación estructural. La sintaxis de la macro MA es la misma que la macro AR excepto que no hay ningún argumento TYPE. Cuando está utilizando las macros MA y AR combinadas, la macro MA debe seguir la macro AR. Las siguientes instrucciones SAS / IML producen un proceso de error ARMA (1, (1 3)) y lo guardan en el conjunto de datos MADAT2. Las siguientes instrucciones PROC MODEL se usan para estimar los parámetros de este modelo usando la estructura de error de máxima verosimilitud: Las estimaciones de los parámetros producidos por esta ejecución se muestran en la Figura 18.61. Figura 18.61 Estimaciones de un proceso ARMA (1, (1 3)) Hay dos casos de la sintaxis para la macro MA. Cuando no se necesitan restricciones en un proceso MA vectorial, la sintaxis de la macro MA tiene la forma general especifica un prefijo para que MA utilice en la construcción de nombres de variables necesarias para definir el proceso MA y es el endolist predeterminado. Es el orden del proceso MA. Especifica las ecuaciones a las que se aplica el proceso de MA. Si se da más de un nombre, la estimación CLS se utiliza para el proceso vectorial. Especifica los rezagos en los que se van a agregar los términos MA. Todos los desfases enumerados deben ser inferiores o iguales a nlag. Y no debe haber duplicados. Si no se especifica, el laglist se ajusta por defecto a todos los retornos 1 a nlag. Especifica el método de estimación a implementar. Los valores válidos de M son CLS (estimaciones de mínimos cuadrados condicionales), ULS (estimaciones de mínimos cuadrados incondicionales) y ML (estimaciones de máxima verosimilitud). MCLS es el valor predeterminado. Sólo se permite MCLS cuando se especifica más de una ecuación en el endolist. MA Sintaxis de macros para movimientos restringidos de medios móviles Un uso alternativo de MA permite imponer restricciones a un proceso de MA vectorial llamando a MA varias veces para especificar diferentes términos de MA y rezagos para diferentes ecuaciones. La primera llamada tiene la forma general especifica un prefijo para que MA utilice en la construcción de nombres de variables necesarias para definir el proceso MA vector. Especifica el orden del proceso MA. Especifica la lista de ecuaciones a las que se aplicará el proceso de MA. Especifica que MA no es para generar el proceso MA sino que es esperar a que la información adicional especificada en las llamadas MA más recientes para el mismo valor de nombre. Las llamadas siguientes tienen la forma general es la misma que en la primera llamada. Especifica la lista de ecuaciones a las que se aplicarán las especificaciones de esta llamada MA. Especifica la lista de ecuaciones cuyos residuos estructurales rezagados se incluyen como regresores en las ecuaciones de eqlist. Especifica la lista de retrasos en los que se van a agregar los términos MA.