liear estimatr f f. Fr selectig the rder m e may use the parametric prcedures suggested by Tjstheim ad Auestad è994è ad Tscherig ad Yag è000è which ar

Transcription

1 Nparametric Estimati f Geeralized Impulse Respse Fuctis Rlf Tscherig æ ad Lijia Yag Humbldt-Uiversitíat zu Berli, Michiga State Uiversity Jauary 000 prelimiary Abstract We derive a lcal liear estimatr f geeralized impulse respse ègirè fuctis fr liear cditial heterskedastic autregressive prcesses ad shw its asympttic rmality. We suggest a plug-i badwidth based the derived asympttically ptimal badwidth. A lcal liear estimatr fr the cditial variace fucti is prpsed which has simpler bias tha the stadard estimatr. This is achieved by apprpriately elimiatig the cditial mea. Alteratively t the direct lcal liear estimatrs f the k-step predicti fuctis which eter the GIR estimatr we suggest t use multi-stage predicti techiques. I a small simulati experimet the latter estimatr is fud t perfrm best. KEY WORDS: Cædece itervals; heterskedasticity; lcal plymial; multistage predictr; liear autregressi; plug-i badwidth. INTRODUCTION Recet advaces i statistical thery ad cmputer techlgy have made it pssible t use parametric techiques fr liear time series aalysis. Csider the liear cditial heterskedastic autregressive prcess fy t g t0 Y t = fè t, è+è t, èu t ; t = m; m +; :::: èè where t, =èy t, ; :::; Y t,m è T, t = m; m +; ::: detes the vectr f lagged bservatis up t lag m, ad f ad dete the cditial mea ad cditial stadard deviati, respectively. The series fu t g tm represets i.i.d. radm variables with EèU t è=0, EèU t è=,eèu 3 t è=m 3, EèU 4 t è=m 4 é + ad which are idepedet f t, : Masry ad Tjstheim è995è shwed asympttic rmality f the Nadaraya-Wats estimatr fr estimatig the cditial mea fucti f uder the cditi that the prcess is æ-mixig. Híardle, Tsybakv ad Yag è998è prved asympttic rmality fr the lcal æ Address fr Crrespdece: Istitut fíur Statistik ud íokmetrie, Wirtschaftswisseschaftliche Fakultíat, Humbldt-Uiversitíat zu Berli, Spadauer Str., D-078 Berli, Germay, rlf@wiwi.hu-berli.de.

2 liear estimatr f f. Fr selectig the rder m e may use the parametric prcedures suggested by Tjstheim ad Auestad è994è ad Tscherig ad Yag è000è which are based lcal cstat ad lcal liear estimatrs f the æal predicti errr, respectively. Alteratively e may use crss-validati, see Ya ad Tg è994è. Fr further refereces the reader is referred t the surveys f Tjstheim è994è r Híardle, Líutkephl ad Che è997è. A imprtat gal f liear time series mdellig is the uderstadig f the uderlyig dyamics. As is well kw frm liear time series aalysis it is t suæciet fr this task t estimate the cditial mea fucti. This is eve mre s if the cditial mea fucti is a liear fucti f lagged bservatis. Oe apprpriate tl that allws t study the dyamics f prcesses like èè are geeralized impulse respse fuctis. I this paper we prpse parametric estimatrs fr geeralized impulse respse ègirè fuctis fr liear cditial heterskedastic autregressive prcesses èè ad derive their asympttic prperties. Here, we fllw Kp, Pesara ad Ptter è996è ad deæe the geeralized impulse respse GIR k fr hriz k as the quatity by which a prespeciæed shck u i perid t chages the k-step ahead predicti based ifrmati up t perid t, ly. Frmally, e has GIR k èx;uè = EèY t+k, j t, = x;u t = uè, EèY t+k, j t, = xè = EèY t+k, jy t = fèxè+èxèu; Y t, = x ; :::; Y t,m+ = x m, è èè,eèy t+k, jy t, = x ; :::; Y t,m = x m è: I geeral, the GIR k depeds the cditi x as well as the size ad sig f the shck u. A alterative deæiti f liear impulse respse fuctis is give by Gallat, Rssi ad Tauche è993è. We prpse lcal liear estimatrs fr the predicti fuctis which are ctaied i GIR k ad derive the asympttic prperties f the resultig GIR k estimatr. This als delivers a asympttically ptimal badwidth allwig t cmpute a plug-i badwidth. The estimati f GIR k als requires t estimate the cditial stadard deviati which ca be de e.g. with the lcal liear vlatility estimatr suggested by Híardle ad Tsybakv è997è. I this paper we prpse a alterative lcal liear estimatr that exhibits a simpler asympttic bias. Fr estimatig the predicti fuctis, we alteratively suggest t apply multi-stage predicti techiques which were recetly aalysed by Che, Yag ad Hafer è999è. A iitial evaluati f the perfrmace f bth lcal liear GIR k estimatrs is prvided by a small Mte Carl study where we cmpare the mea squared errrs f parametric ad parametric GIR 0 estimatrs fr a lgistic autregressive prcess f rder e. Higher rder prcesses are curretly aalyzed. The paper is rgaized as fllws. I Secti we deæe lcal liear estimatrs fr the geeralized impulse respse fucti ad ivestigate its asympttic prperties. The alterative estimatr fr the cditial stadard deviati is itrduced i Secti 3. I Secti 4 a GIR estimatr based multi-stage predicti is prpsed. Issues f implemetati are discussed i Secti 5. The results f the small Mte Carl study are summarized i Secti 6.

3 AN ESTIMATOR FOR THE GIR FUNCTION T facilitate the presetati, we use the fllwig tati. Dete fr ay k the k-step ahead predicti fucti by f k èxè =EèY t+k, j t, = xè è3è ad write where Y t+k, = f k è t, è+ k è t, èu t;k kèxè =VarèY t+k, j t, = xè ad where the U t;k 's are martigale diæereces sice EèU t;k j t, è=eèu t;k jy t, ; :::è =0, EèUt;k j t,è =EèUt;k jy t,; :::è =,t = m; m +; :::. Apparetly, f = f, =. Oe als detes k 0 ;k èy èxè =Cv t+k 0 ;Y, t+k,èj t, = x ; è6è k 0 k 0 ;k Y èxè =Cv t+k 0, f, k t,è 0 è ;Yt+k,, f k è t, è j t, = x è4è è5è : è7è Oe ca w write the geeralized impulse respse ègir k è fucti deæed i èè mre cmpactly as GIR k èx;uè=f k, æ fèxè+èxèu; x 0 æ, f k èxè =f k, èx u è, f k èxè è8è where x 0 =èx ; :::; x m, è ad x u = ffèxè+èxèu; x 0 g. The estimated GIR k fucti is the dgir k èx;uè= b fk, èbx u è, b fk èxè è9è bfèxè+bèxèu; x 0. Fr deæig the lcal liear estimatrs, K : IR,! IR where all ukw fuctis are replaced by lcal liear estimates. The estimatr f x u is bx u = detes a kerel fucti which is assumed t be a ctiuus, symmetric ad cmpactly supprted prbability desity ad K h èxè ==h m my j= Kèx j =hè deæes the prduct kerel fr x IR m ad the badwidth h = æ,=èm+4è. Deæe further the matrices e =è; 0 æm è T ; Z k = W k = diag fk h è i,, xè=g,k+ ; Y k = è æææ m,, x æææ,k, x! T Y m+k, æææ Y T : The the lcal liear estimatr fk b èxè f the k-step ahead predicti fucti f k èxè ca be writte as bf k èxè =e T Z T k W, kz k Z T k W k Y k : è0è 3

4 The lcal liear estimate b k èxè f the cditial k-step ahead stadard deviati is deæed by b k èxè = e T Z T k W kz k, Z T k W k Y k, b f k èxè = : èè Fr simplicity, we write b fèxè = b f èxè, bèxè =b èxè. I the fllwig therem we shw the asympttic rmality f the lcal liear GIR k estimatr è9è based è0è ad èè. The therem als states the asympttically ptimal badwidth. We dete kkk = R K èuèdu, K = R Kèuèu du. Therem Deæe the asympttic èx u GIR;kèx;uè= kkkm èxè èxè è, kkkm èxè I èx = x uè ad the asympttic bias where +um 3 + u èm 4, è 4 è k,;k k, èx u " k, èx u èèxè èx u è k, èx u + k èxè èxè + k èxè èxè ;k, k, èx u è + u ;kèxè 3 èxè ;k, èxè èxè èè b GIR;k èx;uè=b f;k, èx u è, b f;k k, èx u fb f èxè+b èxèug è3è æ b f;k èxè = K Tr æ r f æ æ k èxè = b ;k èxè = K Tr r fk èxèæ æ èxè+ k, f k èxètr r ff k èxèg = f4 k èxèg : è4è Tr æ r f k èxè æ detes the Laplacia peratr, ad e abbreviates b f; èxè;b ; èxè simply as b f èxè;b èxè. The uder assumptis èaè-èa3è give i the Appedix, e has p h m dgirk èx;uè, GIR k èx;uè, b GIR;k èx;uèh! N 0;GIR;kèx;uè è5è ad s the ptimal badwidth fr estimatig GIR k èx;uè is h pt èx;uè= è m GIR;k èx;uè 4b GIR;k èx;uè è =èm+4è : è6è I practice, sme quatities i the asympttically ptimal badwidth è6è are ukw. I Secti 5 we discuss estimatrs fr thse quatities i rder t btai a plug-i badwidth. This plug-i badwidth is the used i the small Mte Carl experimet preseted i Secti 6. Kp, Pesara ad Ptter è996è csider varius deæitis f geeralized impulse respse fuctis. Fr example, e alterative t èè is t allw the cditi t be a 4

5 cmpact set. Detig by C x ad C u cmpact subsets f R m ad R, respectively, the geeralized impulse respse fucti ver these cmpact sets is deæed by GIR k èc x ;C u è=e fgir k è i, ;U i èj i, C x ;U i C u g : Fr its estimati, we csider its empirical versi where dgir k èc x ;C u è= P b ècx ;C u è bp èc x ;C u è=,k+,k+ dgir k è i, ;U i èi è i, C x ;U i C u è I è i, C x ;U i C u è : The asympttic prperties f the estimatr è8è fr geeralized impulse respse fuctis ver cmpact sets èc x ;C u è are summarized i the ext therem. Therem Uder assumptis èaè-èa3è give i the Appedix è7è è8è dgir k èc x ;C u è, GIR k èc x ;C u è=b GIR;k èc x ;C u èh + p èh è è9è where b GIR;k èc x ;C u è=e fb GIR;k è i, ;U i èj i, C x ;U i C u g : Therem shws that fr the geeralized impulse respse fuctis ver cmpact sets there des t exist the usual bias-variace trade-æ. Withi the cstrait f h = æ,=èm+4è it is better t use a smaller h. This, f curse, has t be qualiæed fr æite samples. While the estimatr fr GIR k prpsed i this secti has reasable asympttic prperties, it may cause prblems i æite samples. I the ext secti we discuss the prblem i mre detail ad preset a imprved estimatr. 3 AN ALTERNATIVE LOCAL LINEAR ESTIMATOR OF THE CONDITIONAL VOLATILITY The GIR k estimatr è9è is based the stadard estimatr èè fr the cditial vlatility. This lcal liear estimatr b èxè, hwever, may prduce egative values fr èxè if f is estimated badly ad is the t usable. This prblem ca als ccur fr ther auxiliary fuctis such as b k èxè; b ;k èxè; b ;k èxè, etc., which will be eeded fr cmputig the plug-i badwidth based frmula è6è. I this secti we preset a alterative lcal liear estimatr fr the cditial stadard deviati that cat becme egative due t a badly estimated f. The prpsed methd ca als be used fr estimatig the cvariace fuctis k èxè; ;kèxè; ;k èxè. The idea fr estimatig k èxè is t base the estimatr the estimated residuals ad use è0è where V k = Y m+k,, b fk è m, è æææ e kèxè =e T Z T k W k Z k, Z T k W k V k it is shw that this apprach is ideed useful. 5 Y, b fk è,k è T. I the ext lemma

6 Lemma Uder assumptis èaè-èa3è i the Appedix, e has e kèxè, kèxè =e b;k èxèh + èxè j=m K h è j,, xè kè j, èèu j;k, è + p èh è èè where e b;k èxè = K Tr r kèxè ad p h m e k èxè, kèxè, e b;k èxèh! N 0;;kèxè èè with ;kèxè = kkkm k 4èxè èm 4;k, è èxè where m 4;k = EèU 4 j;k è. This lemma basically says that by de-meaig e ca estimate k èxè as well as if e kew the true k-step regressi fucti f k. As e wuld expect, the ise level is the same fr bth b k èxè ad e kèxè which ca be see frm èè ad è8è. Hwever, frm cmparig b ;k ad e b;k give by è4è ad èè, it ca be see that e k èxè has a simpler bias which des t deped f k. I a similar way e ca deæe estimatrs fr the quatities è6è ad è7è. The fllwig lemma states their asympttic prperties. Crllary Uder assumptis èaè-èa3è i the Appedix, e ca als estimate ;k èxè as e ;k èxè =e T Z T k W k Z k, Z T k W k V ;k where V ;k = Y m, fèm, b è Y m+k,, b fk è m, è æææ Y,k+, fè,k b è Y, fk b è,k è ad likewise ;k èxè. The respective estimatrs have similar prperties as e k èxè. The fact that e k èxè has a simpler bias facilitates the cmputati f the plug-i badwidth sice the asympttic bias term i the asympttically ptimal badwidth è6è becmes simpler as well. Fr this reas we use frm w ithegir k estimatr è9è the ew estimatr è0è istead f èè fr estimatig cditial vlatilities. We te that i sme cases e.g. if the badwidth is t apprpriate ad x is utside the rage f the bserved data, e k èxè ca lead t egative estimates fr the cditial variace. The e replaces i è0è the lcal liear by the lcal cstat estimatr which always prduces psitive estimates. 6

7 4 GIR ESTIMATION USING MULTI-STAGE PREDIC- TION The mai igrediet f the GIR k estimatr è9è are the direct lcal liear predictrs b fk ad b fk,. While they are simple t implemet, they may ctai t much ise which has accumulated ver the k predicti perids. T estimate f k èxè mre eæcietly, we therefre prpse t use istead the multi-stage methd. It was aalyzed i detail by Che, Yag ad Hafer è999è. T describe the prcedure, e starts with Y è0è t = Y t, ad repeats the fllwig stage fr j =;:::;k,. Fr a easy presetati, we use here the Nadaraya-Wats frm. Stage j: Estimate ef j èxè = P,k K t=m, h j è t, xèy èj,è t+j P,k K ; t=m, h j è t, xè ad btai the j-th smthed versi f Y t+j by Y èjè t+j = ^f j è t è. The, the cditial mea fucti f k èxè is estimated by ef k èxè = P,k Graphically, the abve recursive methd ca be preseted as Y t+k èy t+k ; t+k, è =è Y èè t+k èy èè t+k ; t+k,è =è Y èè t+k K t=m, h k è t, xèy èk,è t+k P,k K : è3è t=m, h k è t, xè èy èè t+k ; t+k,3è =è æææ èk,è èyt+k ; t+ è =è Y èk,è The fllwig therem is shw i Che, Yag ad Hafer è999è. Therem 3 Uder cditis èaè-èa3è i the Appedix, if h j = èh k è;h m j t+k èy èk,è t+k ; tè =è e fk èxè:! fr j =;:::;k,, ad h k = æ,=èm+4è fr sme æé0, ad if the estimatrs e fj èxè are all btaied lcal liearly, the q h m k efk èxè, f k èxè, b f;k èxèh k,!n è0; kkkm s k èxè èxè è where s kèxè =Var ^fk, è t èj t, = x : The lcal liear GIR k estimatr based multi-stage predicti is therefre give by ggir k èx;uè= e fk, èex u è, e fk èxè è4è with the multi-stage predictr e fk èxè ad the alterative estimatr fr the cditial stadard deviati e k èxè give by è3è ad è0è, respectively. I the ext secti we tur t issues f implemetati. 7

8 5 IMPLEMENTATION Cmputig the direct r multi-stage GIR estimatrs è9è r è4è requires suitable badwidth estimates. Bth estimatrs were implemeted i GAUSS ad use the Gaussia kerel. We ærst discuss hw t btai a plug-i badwidth by estimatig the ukw quatities i the asympttically badwidth è6è where è4è is replaced by èè sice è0è is used. Fr estimatig the desities èxè ad èx u è i èè we use a kerel desity q estimatr with the Silverma's è986è rule-f-thumb badwidth h = h m +; dvarèè where h S èk; è = è4=kè =èk+è,=èk+è ad where Varèè d detes the gemetric mea f the variaces fr each regressr. The badwidth h is als used fr estimatig all ther ukw quatities ad is f the crrect rder except fr estimatig the secd rder direct derivatives i è3è. Fr the latter quatities we use a partial quadratic estimatr which is a simpliæed versi f the partial cubic estimatr preseted i Yag ad Tscherig è999è ad fr which they shw that h sd = h S m +4; 3 q dvarèè has the crrect rder. Fr the multi-stage GIR k estimatr è4è there des t exist a scalar ptimal badwidth. Accrdig t Che, Yag ad Hafer è999è the ptimal badwidth fr the ærst j k, predictis fj e èxè has a diæeret rate. I their simulatis they æd h MS;k, = b hpt,4=èm+4è =5 t wrk quite well. Fr the kth-step we use b hpt. If the multi-stage predictr is used fr cmputig the plug-i badwidth, b hpt is replaced by h. 6 A SMALL SIMULATION STUDY I this secti we ivestigate the perfrmace f the prpsed GIR k estimatrs based 500 bservatis f the lgistic autregressive prcess è5è Y t =0:9Y t,, 0:7Y t, + expè,3y t, è + U t; U t i:i:d:nè0; è: è6è Oe realizati f the prcess is shw i Figure aè. I the fllwig we preset results fr estimatig GIR k èx;uè fr k = 0, a uit shck u = ad x takig values frm -5 t i steps f. Figure bè displays the true f k èxè ad f k, èx u è fuctis which were cmputed by simulati. Next we cducted 00 simulatis f this prcess ad estimated GIR k èx;uè by è9è with è0è ad è0è as well as by the alterative estimatr based the multi-stage predictr è3è ad è0è. We als ætted a liear ARèè mdel ad cmputed the crrespdig impulse respses. Fially, we estimated the impulse respses the estimated parameters f the crrect lgistic AR mdel. Figure displays the varius estimates fr the 54th simulati. The multi-stage based GIR estimate èshrt dashesè seems t be clsest t the true GIR fucti while usig the e-stage predictrs èlg dashesè perfrm wrse fr egative values f x. The parametric estimate f the impulse respse èshrt dts at the tp f the pltè based the true mdel is the wrst. This ca be attributed t the diæculties i estimatig the parameter i the expetial fucti. The liear impulse respse èdtsè als misses the GIR by cstructi. This bservatis are ideed 8

9 Table : Mea squared errrs f varius estimates f the geeralized impulse respses fr k = 0 ad u = Estimatr x liear IR lcal liear e-stage lcal liear multi-stage GIR with est. par. f è6è Table : Mea itegrated squared errrs f varius estimates f the geeralized impulse respses fr k = 0 ad u = Estimatrs liear IR 0.07 lcal liear e-stage lcal liear multi-stage GIR with est. par. f è6è represetative. Table displays the mea squared errr f each estimatr fr each x. If e is iterested i further aggregatig these perfrmace measures, e ca csider the mea itegrated squared errr. It is btaied by the weighted sum f the MSE's where the weights are give by the desity fx. Ispectig the MISE's i Table cærms the superirity f the multi-stage lcal liear estimatr fr the geeralized impulse respses GIR 0 èx; è. Frm this little simulati study we cclude that the prpsed multi-stage estimatr may be useful i practice althugh much mre Mte Carl experimets are eeded fr assessig the empirical applicability f the prpsed methds. This is particularly true fr liear autregressive prcesses f higher rder. I ay case, these methds have stadard asympttic prperties. APPENDI With regard t the prcess èè we assume the fllwig: èaè The vectr prcess t, =èy t, ; :::; Y t,m è T is strictly statiary ad gemetrically æ-mixig: æèè c 0, fr sme 0 éé, c 0 é 0. Here æèè =E supæ ææp èajf k m è, P èaèæ : A F+k where F t0 t is the -algebra geerated by t ; t+ ; :::; t 0. æ 9

10 èaè The statiary distributi f the prcess t, has a desity èxè, x IR m, which is ctiuus. If the Nadaraya-Wats estimatr is used, èæè has t be ctiuusly diæeretiable. èa3è The fucti f èæè is twice ctiuusly diæeretiable while èæè is ctiuus ad psitive the supprt f èæè. A discussi f these assumptis ca be fud e.g. i Tscherig ad Yag è000è. Fr prvig Therem it is ecessary t derive sme auxiliary results ærst ad decmpse the GIR k estimatr i several terms. By Híardle, Tsybakv ad Yag è998è, we have bf k èxè =f k èxè+b f;k èxèh +,k+ K h è i,, xè k è i, èu i;k + p èh è èxè è7è + èxè k èxè,k+ Nw the estimated GIR fucti is b k èxè = k èxè+b ;k èxèh K h è i,, xè kè i, èèu i;k, è + p èh è è8è dgir k èx;uè= b fk, èbx u è, b fk èxè = f k, èbx u è, f k èxè+fb f;k, èbx u è, b f;k èxèg h +,k+ K h è i,, bx u è k, è i, èu i;k, èbx u è,,k+ K h è i,, xè k è i, èu i;k + p èh è èxè = f k, èx u è, f k èxè+ëb f;k, èx u è, b f;k èxèë h +,k+ K h è i,, x u è k, è i, èu i;k, èx u è,,k+ K h è i,, xè k è i, èu i;k + k, èx u bfèxè, fèxè+bèxèu, èxèu + p èh è = GIR k èx;uè+b GIR;k èx;uèh + T + T + T 3 + T 4 + p èh è è9è where b GIR;k èx;uè is as deæed i è3è while T =,k+ K h è i,, x u è k, è i, èu i;k, èx u è 0

11 T =,,k+ K h è i,, xè k è i, èu i;k èxè T 3 k, èx u èxè T 4 k, èx u u èxèèxè K h è i,, xèè i, èu i K h è i,, xè è i, èèu i, è è30aè by Híardle, Tsybakv ad Yag è998è. We w csider the expectatis f all prducts T i T j, i; j =;:::;4 which are eeded t cmpute the asympttic variace. First, e has the fllwig æve equatis EèT 3 è= EèT è=kkk m EèT è=kkk èx u EèT k, èx u è 4 EèT 3 T 4 è= èx u èx k, uè h m èx u è +, h,m k èxè h m èxè + kkk m kkk m kkk m, h,m èxè h m èxè +, h,m èxèèm 4, è h m èxè èxè h m èxè m 3 + +, h,m, h,m è3è Lemma EèT T è=, k,;kèxèi èx = x u è h m èxè kkk m +, h,m EèT T 3 k, èx u è ;k, èxèi èx = x u h m kkk m +, h,m èxè EèT T 4 è=, k, èx u è ;k, èxèi èx = x u h m kkk m + èxèèxè, h,m è3è Prf: We take i = 3 as a illustrati. By the deæitis i k, èx u èxè èx u è,k+ j=m Take a typical term frm the duble sum EèT T 3 è= E fk h è i,, xèk h è j,, x u èè i, è k, è j, èu i U j;k, g : E fk h è i,, xèk h è j,, x u èè i, è k, è j, èu i U j;k, g

12 ad apply chage f the radm variable i, = x+hz, the term becmes h m E j,, x u KèZèK èx+hzè k, è j, èu i U j;k, : h If i 6= j, the j, = èy j, ; :::; Y j,m è T ctais variables that are t i i, ad s further chages f variable will make the abve term f rder Oèh,m+ è. If i é j, the bth i, ad U i are predictable frm Y j, ; :::; Y j,m ; ::: ad s by the marthigale prperty fu j;k, the abve term equals 0. Similarly the term equals 0 if iéj+ k,. Hece, the ly zer terms satisfy 0 i, j k,, ad there are ly Oèè such terms. Furthermre, these zer terms are f rder Oèh,m+ è uless i = j. S e has EèT T 3 è=oè, h,m+ k, èx u è E h è i,, xèk h è i,, x u èè i, è k, è i, èu i U i;k, g : èxè èx u è ad s If x = x u the by deæiti f k èxè E fè i, è k, è i, èu i U i;k, j i, g = ;k, è i, k, èx u è E èxè èx u è hè i,, xèè i, è k, è i, èu i U i;k, k, èxè èxè k, Khè i,, xè ;k, è i, è kkk m ;k, èxè h m + è, h,m è: èxè If x 6= x u, use the same chage f variable i, = x+hz, e gets h m E i,, x i,, x u K K h h x, h m E xu K èzè K + Z h which is f rder èh,m èas è i, è k, è i, èu i U i;k, èx+hzè k, èx+hzèu i U i;k, x, xu sup K èzè K + z! 0 zr m h æ The latter fllws frm the fact that x 6= x u makes the maximum f kzk ad æ x,x u + z g t zer uifrmly fr all z R m, the budedess f K ad that lim z! Kèzè =0. Hece, w e has EèT T 3 è=oè, h,m+ è+è, h,m è: = h

13 Lemma 3 EèT T 3 k, èx u EèT T 4 è=, k, èx u k èxè h m èxè kkkm + ;kèxè h m èxèèxè kkkm +, h,m, h,m è33è è34è Prf: We prve è33è as a illustrati. By the deæitis i è30aè EèT T 3 k, èx u èxè,k+ j=m ad by the same reasig as i Lemma, e has EèT T 3 k, èx u èxè Nte that by deæiti f k èxè ad s E fk h è i,, xèk h è j,, xèè i, è k è j, èu i U j;k g E K hè i,, xèè i, è k è i, èu i U i;k +, h,m E fè i, è k è i, èu i U i;k j i, g = k è i, è EèT T 3 k, èx u èxè which is è33è. E Khè i,, xè k è i, è +, h,m k, èx u h m èxè kkkm k èxè+, h,m Lemma 4 EèT + T + T 3 + T 4 è =, h,m GIR;kèx;uè+, h,m where GIR;k èx;uè is as deæed i èè. Prf: This fllws frm equatis è3è, è3è, è33è ad è34è, tgether with EèT + T + T 3 + T 4 è = 4 i= ET i + iéj4 EèT i T j è: Prf f Therem. Nte that all the fur terms T ;T ;T 3 ;T 4 ad their liear cmbiatis ca be writte as sample mea f martigale diæereces, ad s e ca apply Crllary 6 f Liptser ad Shirjaev è980è. The usig Lemma 4, the asympttic rmal distributi is established. Prf f Lemma. Nte that by deæiti Y j+k,, b fk è j, è = fyj+k,, f k è j, èg + f k è j, è, fk b è j, è 3

14 ad that + fy j+k,, f k è j, èg f k è j, è, fk b è j, è sup f k èxè, b fk èxè = p èh è xc ad s e ca drp the secd term whe smthig V k i the decmpsiti è35è. Sice Y j+k,, f k è j, è= k è j, èu j;k s istead f V k, e smthes lcal liearly a vectr whse terms are kè j, èu j;k + k è j, èu j;k f k è j, è, b fk è j, è kè j, èu j;k+ k è j, èu j;k èb f;k è j, èh + Nw bviusly h èxè j=m è j, è K h è j,, xèb f;k è j, è k è j, èu j;k = p èh è s e ly eeds t smth the fllwig term lcal liearly j, = x: kè j, èu j;k + kè j, èu j;k è j, è = è35è K h è i,, j, è k è i, èu i;k è+ p èh è K h è i,, j, è k è i, èu i;k : By usig the gemetric mixig cditis as i Híardle, Tsybakv ad Yag è998è, lcal liear smthig f k è j,èuj;k gives the tw terms the right had side f èè except the higher rder term, s it remais t shw that lcal liear smthig f the fllwig term is p èh è: k è j, èu j;k è j, è K h è i,, j, è k è i, èu i;k : Writig explicitly the lcal liear smthig, e eeds t shw that where T ij = S = è Kh è j,, xè è j, è èxè mi èxè mi;j T ij = æ= S æ = p èh è è + K hè i,, xè K h è i,, j, è k è i, è k è j, èu i;k U j;k è i, è T ii = èxè S = j=m èxè è j, è K hè j,, xèk h è0è kè j, èu j;k 4 T ij miéj

15 It is easy t verify that S = Oè, h,m è by Crllary 6 f Liptser ad Shirjaev è980è. It is als clear that EèT ij T i 0 j 0è = 0 fr all m iéj ; m i0 éj 0 ; j 6= j. Thus ES = 4 4 èxè miéj 8 EèTijè+ 4 èxè Nw let k =ëc l ë besuch that æèk è,4, the 4 4 èxè miéj 4 4 èxè EèT ijè = miéj,k éj 4 4 èxè miéj,k éj C hm h 4m èxè miéi 0 éj + EèT ij T i 0 jè mj,k iéj mj,k iéj C hm+ h 4m A EèT = Oè, h,m +,3 k h,3m è=oè, h,m è=èh 4 è: è36è Meawhile P miéi 0 éj EèT ijt i 0 jè is decmpsed it als tw parts: part csists f thse terms with max èi 0, i; j, i 0 è ék while part thse terms with max èi 0, i; j, i 0 è k. The it is clear that terms i part ca be treated as if U i;k r U i 0 ;k is idepedet f the ther variables idex arud j r j 0, with egligible errrs, s part is f smaller rder tha 4 h 4. Part has at mst Oèk è terms, s it is at mst Oèk h,3m è = è 4 h 4 è. Hece we have prved that 8 4 èxè miéi 0 éj Cmbiig è36è ad è37è, we have shw that ad thus als the lemma. 7 Ackwledgemets S + S = p èh è EèT ij T i0 jè= p èh 4 è: Bth authrs received æacial supprt frm Deutsche Frschugsgemeischaft, Sderfrschugsbereich 373 ëquatiækati ud Simulati íokmischer Przesse", Humbldt- Uiversitíat zu Berli. Lijia Yag's research was als partially supprted by NSF grat DMS Refereces Che, R., Yag, L. ad Hafer, C. è999è Nparametric multi-step ahead predicti i time series aalysis, preprit. Gallat, A.R., Rssi, P.E. ad Tauche, G. è993è Nliear dyamic structure, Ecmetrica 6, ij è è37è 5

16 Híardle, W. ad Tsybakv, A. è997è, Lcal plymial estimatrs f the vlatility fucti i parametric autregressi, Jural f Ecmetrics 8, 3í4. Híardle, W., Líutkephl, H. ad Che, R. è997è A review f parametric time series aalysis. Iteratial Statistical Review 65, Híardle, W., Tsybakv, A. B. ad Yag, L. è998è Nparametric vectr autregressi. Jural f Statistical Plaig ad Iferece 68, -45. Kp, G., Pesara, M.H. ad Ptter, S.M. è996è Impulse respse aalysis i liear multivariate mdels, Jural f Ecmetrics 74, Liptser, R. Sh. ad Shirjaev, A. N. è980è A fuctial cetral limit therem fr martigales. Thery Prbab. Appl. 5, Silverma, B. è986è, Desity estimati fr Statistics ad Data Aalysis, Chapma ad Hall, Ld. Masry, E. ad Tjstheim, D. è995è Nparametric estimati ad idetiæcati f liear ARCH time series, Ecmetric Thery, 58í89. Tscherig, R. ad Yag, L. è000è Nparametric lag selecti fr time series, Jural f Time Series Aalysis, i press. Tjstheim, D. è994è N-liear time series aalysis: a selective review. Scadiavia Jural f Statistics, Tjstheim, D. ad Auestad, B. è994è Nparametric idetiæcati f liear time series: selectig sigiæcat lags. Jural f the America Statistical Assciati 89, Ya, Q. ad Tg, H. è994è O subset selecti i -parametric stchastic regressi. Statistica Siica 4, Yag, L. ad Tscherig, R. è999è Multivariate badwidth selecti fr lcal liear regressi. Jural f the Ryal Statistical Sciety, Series B 6,

17 èaè èbè Figure : aè Realizati f 500 bservatis f the lgistic autregressive prcess; bè True k-step ad k,-step ahead predicti fuctis fr varius x fr the lgistic autregressive prcess.

18 Figure : Varius estimates f geeralized impulse respse fuctis fr the lgistic autregressive prcess fr 0 perids ahead, u = ad varius x: thrugh lie: true GIR, lg dashes: lcal liear estimatr, shrt dashes: lcal liear estimatr usig multi-stage predicti, dtted lie: estimated impulse respses f liear AR mdel, shrt dtted lie: GIR based estimated crrectly speciæed lgistic autregressive mdel.