Maximum Entropy Autoregressive

Conditional Heteroskedasticity Model

∗

Anil K. Bera

Department of Economics, University of Illinois

1206 S. Sixth, Champaign, IL, 61820

abera@uiuc.edu

and

Sung Yong Park

Department of Economics, University of Illinois

1206 S. Sixth, Champaign, IL, 61820

sungpark@uiuc.edu

[ Preliminary paper ]

∗

We thank the participants of The Conference on Recent Developments in the Theory,

Method, and Application of Information and Entropy Econometrics at American Univer-
sity, Sep. 19-21, 2003 and The 13th Annual Meeting of Midwest Econometrics Group at
University of Mizzouri, Oct. 17-18,2003, for helpful comments and discussions. Corre-
spondence to: Anil K. Bera, Department of Economics, University of Illinois, 1206 S. 6th
street, Champaign, IL 61820, U.S.A.; email: anil@fisher.econ.uiuc.edu

Abstract

The maximum entropy (ME) approach is based on the efficient

use of available information. As is well known, many of the standard
families of distributions can be derived from the ME principle. One
purpose of this paper is to show how can we extract information func-
tional from the data; for example, if information , which is in the form
of estimating equation, is given as arithmetic moment conditions, the
resulting density has a very attractive form. We propose a criteria for
selecting side conditions in ME problems. We apply the criteria for for-
mulating autoregressive conditional heteroskedasticity (ARCH) model.
The procedure is illustrated with an application to the leptokurtic and
negatively skewed financial data.

Keywords

: Maximum entropy density, Semiparametric density, Den-

sity estimation, ARCH, GARCH.

1

Introduction

The second law of thermodynamics states that since there is an inherent
tendency for disorder to increase, the entropy of the physical universe in-
creased constantly. Jaynes (1979) pointed out that a particular measure
can be defined in the space of probability distribution such that the distri-
bution of higher entropy represent greater disorder, more smoother, or more
probable. If there is no prior information, uniform distribution maximizes
the entropy. Thus entropy measure is equivalent to minimize certain dis-
tance measure between uniform distribution and subject distribution. This
kind of measure or pseudo-distance function had been provided in statistics
literature [ Kullback and Leibler (1961), Renyi (1960), Cressie and Read
(1984) among others] If one maximizes this measure subject to certain con-
straints which possibly contain some unknown parameters, then one can
achieve very probable distribution and consistent estimates of parameters.
Generally, this approach is called information theoretic approach.

In this paper we use maximum entropy density as conditional density

function in ARCH type model. Maximum entropy density (MED) can be
obtained by maximizing Shannon’s (1948) entropy measure subject to known
moment conditions. It is well known that MED is the least biased distribu-
tion given known constraints. By choosing different sequences of side con-
straint functional, we have various flexible MED functions. We show some
useful characterization of MED in continuous case. Although MED has such
a flexible functional, there is a few research in economics and econometrics
literature. Since there are no possible analytic solution when the moment
constraints are more than two, we should solve the problem by numeri-
cal iterative nonlinear optimization. There have been valuable research in
applying MED in the economics literatures such as Zellner and Highfield
(1988), Buchen and Kelly (1996), Ormoneit and White (1999), Rockinger
and Jondeau (2002) and Wu (2003).

Since Engle’s (1982) pioneering work and its generalization by Bollerslev

(1986), ARCH type model has been widely used to explain the behavior of fi-
nancial time series. There have been numerous studies to extend ARCH type
model to a more general model in two ways. First extension has been con-
centrated on generalizing nonlinear conditional variance function. Geweke
(1986) and Milhøj (1987) suggested logarithmic ARCH model to eliminate
non-negative parameter restriction on conditional variance function. Nelson
(1991) proposed exponential GARCH (EGARCH) model to explain ‘lever-
age effect’. Higgins and Bera (1992) proposed a nonlinear ARCH model
(NARCH) and they show that logarithmic ARCH model is a special case

1

of NARCH. Second extension deals with the form of conditional density.
Various ARCH-type model with non-normal conditional density function
have been proposed to explain leptokurtic behavior of unconditional den-
sity function. Bollerslev (1987) used Student-t distribution. However, Hsieh
(1989) found that GARCH (1,1) model with Student-t distribution could
not capture the excess kurtosis daily returns in British pound and Japanese
yen. Nelson (1991) employed generalized error distribution (GED) distri-
bution with EGARCH model but found the estimated GED did not have
enough thick tail behavior to capture unconditional leptokurtosis. Condi-
tional skewed densities also had been used to explain the skewness of uncon-
ditional density. Lee and Tse (1991) used a distribution based on the first
three terms of the Gram-Charlier series. Engle and Gonz´alez-Rivera (1991)
adapted nonparametric conditional density and Premaratne and Bera (2000)
used Pearson type-IV distribution as conditional density function. If we im-
pose certain moment side conditions, we could attain normal, student-t,
GED and Pearson type-IV distribution by maximum entropy formalism. In
this sense, proposed MEARCH model is very general one. Rockinger and
Jondeau (2002) applied MED to GARCH model. Since they considered first
fourth arithmetic moment conditions, the resulting MED has the form of
quartic exponential distribution. However, quartic exponential distribution
could not sufficiently explain heavy tail behavior such as Student-t distri-
bution.

MEARCH model is quite related to other moment based estimation such

as generalized mothod of moments (GMM) and maximum empirical likeli-
hood (MEL) estimation. All these estimations might be considered within
estimating function (EF) approach.

The purpose of this paper is twofold. First, we present the characteriza-

tion of continuous MED and show how the moment equations capture be-
havior of skewed and leptokurtic financial time series in ARCH-type model.
Second, we introduce estimation procedure of MEARCH model and suggest
moment selection criteria based on Rao-Score test.

The rest of the paper is organized as follows. In Section 2, summary

of recent information-theoretic approach is provided. In Section 2, some
basic characteristics of MED is presented with characterization problem and
numerical procedure of MED. In Section 4, we proposed ARCH-type model
under the ME conditional density with estimation and moment selecting
test. Section 5 shows simple empirical applications to the daily return of
NYSE with specific moment equations which generate skewed and heavy
tail distribution. Conclude remark follows in Section 6.

2

2

Information Theoretic Approaches

Consider estimator based on minimization of Cressie-Read power divergence
(CRPD) measure (Cressie and Read (1984)). For a fixed scalar parameter

λ

, let us define

I

λ

(

p, q

) =

1

λ

(

λ

+ 1)

n

X

i

=1

p

i

"µ

p

i

q

i

¶

λ

−

1

#

,

where

p

= (

p

1

, p

2

,

· · ·

, p

n

)

0

and

q

= (

q

1

, q

2

,

· · ·

, q

n

)

0

. We refer to the first

distribution in the argument list,

p

, and the second list,

q

, as subject dis-

tribution and reference distribution respectively. Cressie and Read (1984)
have used

I

λ

(

p, q

) as a measure of the discrepancy between

p

and

q

.

I

λ

(

p, q

)

provide very rich class of divergence measures. If we choose

p

=

n

−

1

1

where

1

is

N

×

1 vector of 1 and

q

=

π

, as

λ

→

0, the limit of

I

λ

(

p, q

) can be shown

by a L’Hospital’s rule

lim

λ

→

0

I

λ

(

n

−

1

1

, π

) =

KL

(

n

−

1

1

, π

) =

−

n

−

1

n

X

i

=1

ln(

π

i

)

−

ln(

n

)

,

which is the negative log empirical likelihood (EL) objective function except
for an additive constant where KL is Kullback-Leibler information. [see
Owen (2001) p.35, Imbens (1993) and Qin and Lawless (1994) for MEL
estimation] As

λ

→ −

1, we have

lim

λ

→−

1

I

λ

(

n

−

1

1

, π

) =

KL

(

π, n

−

1

1) =

n

X

i

=1

π

i

ln

π

i

+ ln(

n

)

,

which is same as negative maximum entropy empirical likelihood (MEEL)
[Mittelhammer, Judge and Miller (2000)] or exponential tilting estimation
(ET) [Golan and Judge (1996), Kitamura and Stutzer (1997), Imbens, Spady
and Johnson (1998), and Choi, Hall and Presnell (2000)] objective function
except for a constant. If

λ

=

−

2,

I

λ

=

−

1

(

n

−

1

1

, π

) yields an objective function

of maximum log Euclidean likelihood (MLEL) which is quite related with
the generalized method of moment (GMM) estimator proposed by Hansen,
Heaton and Yaron (1996)

I

λ

=

−

2

(

n

−

1

1

, π

) =

1
2

n

X

i

=1

1

n

£

n

2

π

2

i

−

1

¤

,

We consider the estimator which minimizes the CRPD measure with re-
spect to the empirical distribution and satisfies, the moment equations,

3

E

[

ψ

j

(

x, θ

)] = 0 for

j

= 1

,

2

,

· · ·

N

and the normalization constraint

P

n

i

=1

π

i

=

1 where

θ

∈

Θ, i.e, we solve the optimization problem.

min

π,θ

lim

λ

→

c

I

λ

(

n

−

1

1

, π

)

s.t

n

X

i

=1

π

i

ψ

j

(

x, θ

) = 0

,

n

X

i

=1

π

i

= 1

,

j

= 1

,

2

,

· · ·

, N

Objective function in minimization problem depends on constant

c

.

In over-identified case the role of

π

is similar to weight matrix ∆

−

1

=

[

E

(

ψ

(

Z, θ

)

·

ψ

(

Z, θ

)

0

)]

−

1

in GMM estimator in the sense that

π

and ∆

−

1

give efficient weight to estimate

θ

. However, since on does not have infor-

mation about ∆

−

1

, ˆ

∆

−

1

should be estimated by inefficient estimates of ˜

θ

by using arbitrary weight matrix in 2-step GMM estimator. Moreover, ˆ

π

is

chosen in a way that minimize CRPD measure. Thus, ˆ

π

-weighted estimate

would be more efficient in finite sample. If the side conditions are accu-
rate, MEL estimator is equivalent to 2-step GMM estimator up to order

O

p

(

N

−

1

/

2

) and the limiting distributions of MEL and MEEL estimates for

θ

are identical under certain regularity conditions [see Imbens (1997)].

In the preceding section we focus on the problem in which we minimize the
CRPD measure in the case of

λ

→ −

1, MEEL or ET estimation case under

the known side conditions. The solution of this problem is, well-known
in information theory literatures, maximum entropy distribution (MED)
which has exponential tilting parameters, the Lagrange multipliers in our
constraint optimization problem.

3

Maximum entropy density

The maximum entropy density is obtained by maximizing Shannon’s (1948)
entropy measure which is continuous version of negative lim

λ

→−

1

I

λ

(

n

−

1

1

, π

)

except for a constant, ln(

n

),

max

f

H

(

f

) =

−

Z

f

(

x

) log

f

(

x

)

dx

(3.1)

satisfying

Z

φ

j

(

x

)

f

(

x

)

dx

=

µ

j

,

j

= 0

,

1

,

· · ·

, N,

with the

µ

j

having known values

.

Problem in (3.1) turns out a mathematical optimization problem subject

to given side conditions and can be represented by following Lagrangian,

4

L

=

−

Z

f

(

x

) log

f

(

x

)

dx

+

N

X

j

=0

λ

j

·Z

φ

j

(

x

)

f

(

x

)

dx

−

µ

j

¸

,

(3.2)

The solution of the problem (3.2) can be achieved by simple calculus of

variation,

f

(

x

) = exp





−

N

X

j

=0

λ

j

φ

j

(

x

)





,

(3.3)

where

λ

0

is calculated by normalization constraint

R

f

(

x

)

dx

= 1. Thus,

λ

0

can be expressed in terms of the remaining Lagrangian multipliers,

λ

0

= log





Z

exp





−

N

X

j

=1

λ

j

φ

j

(

x

)





dx





.

(3.4)

Let Ω(

λ

) = exp

{

λ

0

}

, where

λ

stands for vector of (

λ

1

, λ

2

,

· · ·

, λ

N

)

0

.

Equation (3.3) with equation (3.4) can be written as

f

(

x

) =

1

Ω(

λ

)

exp





−

N

X

j

=1

λ

j

φ

j

(

x

)





.

(3.5)

Ω(

·

) is known as the “partition function” that converts the relative proba-

bilities to absolute probabilities. [see Golan, Judge and Miller (1996), p23.]
One can define a potential Γ(

λ

1

, λ

2

,

· · ·

, λ

N

) through the Legendre trans-

formation,

Γ(

λ

1

, λ

2

,

· · ·

, λ

N

) = ln Ω(

λ

) +

N

X

j

=1

λ

j

µ

j

,

(3.6)

The Lagrangian multipliers,

λ

, is determined by the

N

simultaneous equa-

tions,

∂

Γ

∂λ

j

= 0

⇒ −

∂

ln Ω

∂λ

j

=

µ

j

j

= 1

,

· · ·

, N.

We can see the uniqueness of ME solution, if it exists, is provided by con-
vexity of Γ(

·

).

5

∂

2

Γ

∂λ

j

λ

k

= Σ

[

j,k

]

=

Z

φ

j

(

x

)

φ

k

(

x

) exp





−

N

X

j

=0

λ

j

φ

j

(

x

)





dx

−

Z

φ

j

(

x

) exp





−

N

X

j

=0

λ

j

φ

j

(

x

)





dx

·

Z

φ

k

(

x

) exp





−

N

X

j

=0

λ

j

φ

j

(

x

)





dx

where

Σ

[

j

,

k

]

is the variance-covariance matrix. Because variance-covariance

matrix is always positive definite, Γ(

·

) is a convex function of

λ

.

The moment conditions can be interpreted as known prior information.
Given prior information, we can achieve a least unbiased distribution func-
tion by maximum entropy principle. Suppose we have no prior information,
which means no moment condition except for normalization constraint, then
the solution is uniform distribution. If we have one more additional infor-
mation about the state, say

R

xf

(

x

)

dx

=

µ

1

>

0, then the solution takes

the form,

f

(

x

|

λ

1

) =

λ

1

exp[

−

λ

1

x

] where

x

∈

[0

,

∞

). If we have another ad-

ditional information, say

R

x

2

f

(

x

)

dx

=

µ

2

, then the solution will be normal

distribution.
All solutions are functions of Lagrangian multipliers. Like most optimization
problem, Lagrangian multipliers represent

“marginal contribution (shadow

price)”

of each constraint to the objective value. For example, suppose ˆ

λ

2

is

estimated to be close to 0. Then, there is little contribution of moment con-
straint condition ,

R

x

2

f

(

x

)

dx

=

µ

2

, to the objective value. Consequently,

the Lagrangian multiplier reflect the information content of each constraint.
It can be shown that [Dixit (1976)]

ˆ

λ

j

=

∂H

( ˆ

f

)

∂µ

j

,

where

ˆ

f

= arg max

H

(

f

)

.

That is, the multipliers provides rate of change of the maximum attainable
value with respect to the change in the constraints. If the

j

th

moment

constraint in (3.1) is true, that means the

j

th

moment condition would not

work as constraint, then, ˆ

λ

j

should be very close to zero. If information in

the moment condition is useless, then change of optimal value is very close
to zero.
Although potential, Γ(

λ

), has a unique solution, that may not exist given

certain

µ

j

. Mead and Papanicolaou (1984) showed the necessary and suffi-

cient condition in arithmetic moments case that a MED exists is completely
monotonicity of the moment sequence,

{

µ

j

, j

= 0

,

1

,

2

,

· · · }

over a finite

interval [0

.

1], which is called Hausdorff moment problem.

6

3.1

Characterization problem

Maximum entropy distribution has a very flexible functional form. By
choosing a sequence of known function

φ

j

(

x

) for

j

= 0

,

1

,

2

,

· · ·

, N

, we

can generate a sequence of various flexible maximum entropy density func-
tions. Many well-known families of distributions can be obtained as special
cases of maximum entropy density function. It is known that the normal
distribution maximizes the entropy among continuous univariate distribu-
tion on (

−∞

,

∞

) with given mean and variance [see Rao (2002), p.163].

A similar property holds for the multivariate normal distribution. Kagan,
Linnik and Rao (1973) gave a list of well-known distributions, including
the Beta, Gamma, Exponential and Laplas distributions, which maximize
the entropy subject to certain constraints. Gokhale (1975) showed chara-
terizations of the normal, double exponential and cauchy families in the
univariate case and the Dirichlet and Wishart families in the multivariate
case. Especially, Cobb, Koppstein and Chen (1983) showed a general class
of multimodal density function within unified frame work by the stochas-
tic catastrophe model. Since the system behaves in stochastic catastrophe
model as if it moves towards the points of lowest potential, it has similar
property of maximum entropy principle. They proposed four major types
of cusp probability density function. The general functional is

f

k

(

x

|

β

) =

ξ

(

β

) exp

³

−

R h

g

k

(

x

)

V

(

x

)

i

dx

´

where

g

k

(

x

) =

β

0

+

β

1

x

+

β

2

x

2

+

· · ·

+

β

k

x

k

,

k >

0

and

V

(

x

) has four kinds of forms: Type

N

:

V

(

x

) = 1

,

−∞

< x <

∞

,

Type

G

:

V

(

x

) =

x,

0

< x <

∞

, Type

I

:

V

(

x

) =

x

2

,

0

< x <

∞

, Type

B

:

V

(

x

) =

x

(1

−

x

)

,

0

< x <

1. The shape of density is determined by

polynomial

g

(

x

) which is called

shape polynimial

. If the order of polynomial

g

and

V

are one and two respectively, then equation represents Pearson

system. Zellner and Highfield (1988) showed that CKC (1983) distribution
can be derived from maximum entropy distribution under specified moment
conditions [see Table 1.].

Table 1: Maximum entropy density characterization in CKC (1983)

Type

Side constraints

1

N

k

R

x

r

f

(

x

)

dx

=

µ

r

,

r

= 0

,

1

,

· · ·

, k

+ 1

,

µ

0

= 1

.

2

G

k

R

x

r

f

(

x

)

dx

=

µ

r

,

r

= 0

,

1

,

· · ·

, k.

R

log

xf

(

x

)

dx

=

c.

3

I

k

R

x

r

f

(

x

)

dx

=

µ

r

,

r

= 0

,

1

,

· · ·

, k

−

1

,

R

log

xf

(

x

)

dx

=

c

1

,

R

(1

/x

)

f

(

x

)

dx

=

c

2

.

4

B

k

R

x

r

f

(

x

)

dx

=

µ

r

,

r

= 0

,

1

,

· · ·

, k

−

1

,

R

log

xf

(

x

)

dx

=

c

1

,

R

log(1

−

x

)

f

(

x

)

dx

=

c

2

7

Table 2 shows well-known types of distribution function which can be gen-
erated by certain given moment conditions. We can interpret MED in
information-theoretic way that by imposing prior moment conditions which
is inherent in data in hand we generate the least biased distribution function.
There are some links among provided MEDs in terms of

φ

j

(

x

) in moment

equation. Consider moment functional,

x

2

, ln(

r

2

+

x

2

) and ln(1 +

x

2

), which

represent a degree of dispersion in Normal, Student-t and Cauchy distribu-
tion respectively where

r

2

is a degree of freedom in Student-t distribution.

If there is no moment condition but normalization constraint, the resulting
MED is uniform distribution. Thus, uniform distribution maximizes entropy
if we do not have prior information. As we impose some moment constraints,
entropy is lower than that of uniform distribution.

Figure 1: Moment function

φ

j

(

x

) represent dispersion

−3

−2

−1

0

1

2

3

0

1

2

3

4

5

6

x

φ

(

x

)

Functions representing dispersion and excess kurtosis

x1

x^2
log(4+x^2)
log(10+x^2)
log(1+x^2)
|x|^(0.5)
|x|^(1.3)

Figure 1 shows

φ

j

(

x

) in Normal, Student-t and Cauchy distribution cases.

We can interpret

φ

j

as

pseudo weight function

in the sense that given random

variable,

x

, we increase information in

f

(

x

) by

φ

j

(

x

) multiplying

λ

j

. Thus,

at point

x

1

,

φ

j

(

x

) in normal moment constraint penalize

x

1

event more

than those in student-t and cauchy distribution do to adhere maximum
value of entropy under constraints. Hence, this catches that tails of student-
t and cauchy distribution is more heavier than normal distribution. On the
other side, log

x

, log(1

−

x

) and arctan(

x

r

) represent measure of skewness.

8

Figure 2: Moment function

φ

j

(

x

) represent skewness

−15

−10

−5

0

5

10

15

−1

0

1

2

x

φ

(

x

)

Functions representing skewness

log(x/(1−x))
arctan(x/4)
arctan(x/10)
(log(x))^2

E

[log

x

] =

Γ

0

(

a

)

Γ(

a

)

used as

φ

j

(

x

) in gamma distribution and

χ

2

ν

distribution

is a special case of gamma distribution when

E

[log

x

] =

Γ

0

(1

/

2)

Γ(1

/

2)

+ log 2 for

0

≤

x <

∞

. If we combine 2 moment conditions

E

[log

x

] and

E

[log(1

−

x

)],

then beta distribution is generated within range 0

≤

x

≤

1. arctan(

x

r

) is

measure of skewness in pearson type-IV distribution. Figure 1 shows that

φ

j

(

x

) has an asymmetric functional whereas

φ

j

(

x

) in the left panel has a

symmetric functional. This difference provides, intuitively, why

φ

j

in the left

panel represent measure of kurtosis and

φ

j

(

x

) in the right panel represents

measure of skewness. Premaratne and Bera (2001) used arctan(

x

) to test

asymmetry in leptokurtic distribution. Indeed, arctan(

x

) for

−∞

< x <

∞

,

log

x

for 0

≤

x <

∞

and log(

r

2

+

x

2

) would be more robust test statistic

than classical skewness and kurtosis parameter in the sense of Huber (1980).

9

T

able

2:

Characterization

of

maxim

um

en

trop

y

densit

y

T

yp

e

Side

constrain

ts

Resulting

distribution,

f

(

x

)

=

Distribution

form,

f

(

x

)

=

Uniform

exp

[

−

λ

0

]

1

b

−

1

,

a

≤

x

≤

b,

(

b

>

a

)

Exp.

R

x

xf

(

x

)

dx

=

m

(

m

>

0)

exp

[

−

λ

0

−

λ

1

x

]

1

m

exp

h

−

x m

i

,

0

≤

x

<

∞

Normal

R

x

xf

(

x

)

dx

=

µ

exp

h

−

λ

0

−

λ

1

x

−

λ

2

x

2

i

1

σ

√

2

π

exp

·

−

(

x

−

µ

)

2

2

σ

2

¸

,

−∞

<

x

<

∞

R

x

(

x

−

µ

)

2

f

(

x

)

dx

=

σ

2

Log

Normal

R

x

log

xf

(

x

)

dx

=

µ

exp

h

−

λ

0

−

λ

1

log

x

−

λ

2

(log

x

)

2

i

1

σ

√

2

π

exp

·

−

(

x

−

µ

)

2

2

σ

2

¸

,

0

<

x

<

∞

R

x

(log

x

−

µ

)

2

f

(

x

)

dx

=

σ

2

Gen.

Exp.

R

x

x

i

f

(

x

)

dx

=

µ

i

i

=

1

,

2

,

·

·

·

N

exp

h

−

P

N n

=0

λ

n

x

n

i

exp

h

−

P

N n

=0

λ

n

x

n

i

−∞

<

x

<

∞

Double

Exp.

R

x

|

x

−

µ

|

f

(

x

)

dx

=

σ

2

exp

h

−

λ

0

−

λ

1

x

−

λ

2

|

x

|

2

i

C

(

θ

)

exp

h

−|

x

−

µ

|

/σ

2

i

−∞

<

x

<

∞

Gamma

R

x

xf

(

x

)

dx

=

a

(

a

∈

<

;

a

>

0)

exp

[

−

λ

0

−

λ

1

x

−

λ

2

log

x

]

1

Γ(

a

)

exp

−

x

x

a

−

1

,

0

<

x

<

∞

R

x

log

xf

(

x

)

dx

=

Γ

0

(

a

)

Γ(

a

)

Chi-square

R

x

xf

(

x

)

dx

=

ν

exp

[

−

λ

0

−

λ

1

x

−

λ

2

log

x

]

1

2

1 2

ν

Γ(

a

)

exp

−

1 2

x

x

1 2

ν

−

1

,

0

<

x

<

∞

ν

df

R

x

log

xf

(

x

)

dx

=

Γ

0

(

1 2

)

Γ(

1 2

)

+

log

2

W

eibull

R

x

x

a

f

(

x

)

dx

=

1

(

a

∈

<

,

a

>

0)

exp

[

−

λ

0

−

λ

1

x

a

−

λ

2

log

x

]

ax

a

−

1

exp

[

−

x

a

]

,

0

<

x

<

∞

GED

R

x

|

x

|

ν

f

(

x

)

dx

=

c

(

ν

)

exp

[

−

λ

0

−

λ

1

|

x

|

ν

]

C

(

ν

)

exp

[

|

x

|

ν

]

,

−∞

<

x

<

∞

Beta

R

x

log

xf

(

x

)

dx

=

Γ

0

(

a

)

Γ(

a

)

−

Γ

0

(

a

+

b

)

Γ(

a

+

b

)

exp

[

−

λ

0

−

λ

1

log

x

−

λ

2

log

(1

−

x

)]

1

B

(

a,b

)

x

a

−

1

(1

−

x

)

b

−

1

,

0

<

x

<

1

R

x

log

(1

−

x

)

f

(

x

)

dx

=

Γ

0

(

b

)

Γ(

b

)

−

Γ

0

(

a

+

b

)

Γ(

a

+

b

)

Cauc

h

y

R

x

log

(1

+

x

2

)

f

(

x

)

dx

=

2

log

2

exp

h

−

λ

0

−

λ

1

log

(1

+

x

2

)

i

1

π

(1+

x

2

)

,

−∞

<

x

<

∞

Studen

t-t

R

x

log

(

r

2

+

x

2

)

f

(

x

)

dx

=

log

(

r

2

)

exp

h

−

λ

0

−

λ

1

log

(

r

2

+

x

2

)

i

Γ[(

r

2

+1)

/

2]

√

π

r

2

Γ(

r

2

/

2)

1

(1+

x

2

/r

2

)

(

r

2

+1)

/

2

,

−∞

<

x

<

∞

+

Γ

0

(

1+

r

2

2

)

Γ(

1+

r

2

2

)

−

Γ

0

(

r

2

2

)

Γ(

r

2

2

)

P

earson-t

yp

e

IV

R

x

tan

−

1

³

x r

´

f

(

x

)

dx

=

c

1

(

r

)

exp

h

−

λ

0

−

λ

1

tan

−

1

³

x r

´

K

µ

1

+

x

2

r

2

¶

−

m

exp

h

δ

tan

−

1

³

x r

´i

,

−∞

<

x

<

∞

R

x

log

(

r

2

+

x

2

)

f

(

x

)

dx

=

c

2

(

r

)

−

λ

2

log

(

r

2

+

x

2

)

i

Gen.

studen

t-t

R

x

x

i

−

2

f

(

x

)

dx

=

µ

i

i

=

3

,

4

,

·

·

·

k

exp

h

−

λ

0

−

λ

1

tan

−

1

(

x r

)

R

x

tan

−

1

(

x r

)

f

(

x

)

=

c

1

(

r

)

−

λ

2

log

(

r

2

+

x

2

)

−

P

k i

=3

λ

i

x

i

−

2

i

R

x

log

(

r

2

+

x

2

)

f

(

x

)

=

c

2

(

r

)

Gen.

log

normal

R

x

x

i

−

2

f

(

x

)

dx

=

µ

i

i

=

3

,

4

,

·

·

·

k

exp

h

−

λ

0

−

λ

1

log

x

−

λ

2

(log

(

x

))

2

R

x

log

xf

(

x

)

=

c

1

(

r

)

−

P

k i

=3

λ

i

x

i

−

2

i

R

x

(log

(

x

))

2

f

(

x

)

=

c

2

(

r

)

10

Last two distributions in Table 2, generalized student-t and general-

ized log-normal distributions, are proposed by Lye and Martin (1983) which
generalized CKC (1983) distribution by extending

g

(

x

) and

V

(

x

) to include

more general function such as logarithm, trigonometric expression and so
on.

3.2

Numerical implementation

There are a few researches of optimizing procedure of ME problem in econo-
metrics literatures. Zellner and Highfield (1988) solved for MED, which
is quartic exponential distribution, by taking Taylor’s expansion on

λ

and

using Newton method to optimize objective function. Ryu (1990) consid-
ered moment recursion of quartic exponential distribution to solve for MED.
Ormoneit and White (1999) applied same method as Zellner and Highfield
(1988) but they proposed more accurate way to minimize of numerical in-
tegration. Rockinger and Jondeau (2002) used Gauss-Legendre quadrature
in optimizing procedure and they calculated skewness and kurtosis bound-
ary numerically in which MED could exist. Wu (2003) proposed sequential
updating method which incorporates the moment constraints into the cal-
culation from lower to high moment and updates the density estimates.
However, all above numerical methods are used in arithmetic moment case.
Essentially, our procedure has the same spirit of other numerical procedure
but we deal with general moment case in ME problem.
The solution of the ME problem in general case is given by (3.3). The La-
grange multipliers,

λ

, are calculated by solving following nonlinear equation.

G

n

(

λ

) =

Z

φ

n

(

x

) exp

"

−

N

X

n

=0

λ

n

φ

n

(

x

)

#

dx

=

µ

n

,

n

= 0

,

· · ·

, N

(3.7)

If we substitute

λ

0

in (3.7) by (3.4), we can reduce

N

+ 1 dimensions to

N

.

G

n

(

λ

) =

Z

φ

n

(

x

)





exp

n

−

P

N

n

=1

λ

n

φ

n

(

x

)

o

R

exp

n

−

P

N

n

=1

λ

n

φ

n

(

x

)

o

dx





dx

=

µ

n

,

n

= 1

,

· · ·

, N

(3.8)

These equations can be solved by Newton method which consists of ex-
panding

G

n

(

λ

) in Taylor’s series and drop higher order term and solve the

linear system iteratively. The linear system by first order Taylor’s expansion
around initial value

λ

0

are give by

11

G

n

(

λ

)

∼

=

G

n

(

λ

0

) + (

λ

−

λ

0

)

·

∂G

n

(

λ

)

∂λ

k

¸

(

λ

=

λ

0

)

=

µ

n

,

n, k

= 1

,

· · ·

, N.

(3.9)

(3.9) can be represented by the forms of vectors and matrix

H

δ

=

ξ

(3.10)

where

δ

and

ξ

by

δ

=

λ

−

λ

0

ξ

=

£

µ

0

−

G

0

(

λ

0

)

,

· · ·

, µ

N

−

G

N

(

λ

0

)

¤

0

and the

n

th row and

k

th column element of the matrix

H

by

H

[

n,k

]

=

Z

φ

n

(

x

)

φ

k

(

x

) exp

"

−

N

X

n

=0

λ

n

φ

n

(

x

)

#

dx

(3.11)

−

Z

φ

n

(

x

) exp

"

−

N

X

n

=0

λ

n

φ

n

(

x

)

#

dx

·

Z

φ

k

(

x

) exp

"

−

N

X

n

=0

λ

n

φ

n

(

x

)

#

dx

Starting from initial choices for

λ

1

,

· · ·

, λ

N

, updated

λ

0

are defined from

λ

0

=

λ

−

H

−

1

ξ

(3.12)

where

H

is positive definite matrix and

H

−

1

is its inverse matrix.

When we calculate the values of the matrix

H

and the vector

ξ

we need

a particular method of numerical integration. We adapt Gauss-Legendre
quadrature to perform numerical integration. Consider the case such that
we want to calculate Ω(

λ

)

Ω(

λ

) =

Z

u

l

exp

(

−

N

X

n

=1

λ

n

φ

n

(

x

)

)

dx

(3.13)

Define

Z

= [2

x

−

(

u

+

l

)]

/

(

u

−

l

). Substitute

x

in (3.13) by

x

=

1

2

[

Z

(

u

−

l

) +

(

u

+

l

)]. Then, (3.7) is written as follows

Z

1

−

1

(

u

−

l

)

2

exp

(

−

N

X

n

=1

λ

n

·

φ

n

µ

1
2

(

Z

(

u

−

l

) + (

u

+

l

))

¶¸)

dZ

(3.14)

12

Define ˜

Z

node

and

W

by nodes vector and weights vector of the Gauss-

Legendre quadrature respectively and ˜

Z

new

≡

1

2

( ˜

Z

node

(

u

−

l

) + (

u

+

l

)).

Then, (3.14) is as follows.

Ω(

λ

) =

(

u

−

l

)

2

h

W

0

exp

n

−

φ

( ˜

Z

new

)

λ

oi

(3.15)

Consider integration problem of

G

n

(

λ

)

G

n

(

λ

) =

Z

u

l

φ

n

(

x

)





exp

n

−

P

N

n

=1

λ

n

φ

n

(

x

)

o

R

u

l

exp

n

−

P

N

n

=1

λ

n

φ

n

(

x

)

o

dx





dx

(3.16)

By using ˜

Z

node

and

W

, (3.16) is written as follows

G

(

λ

) =

1

Ω(

λ

)

(

u

−

l

)

2

h

W

0

h

˜

Z

new

∗

exp

n

−

φ

( ˜

Z

new

)

λ

oii

(3.17)

where

G

(

λ

) is [

G

1

(

λ

)

,

· · ·

, G

N

(

λ

)]

0

and

∗

is element by element multiplica-

tion operator.

To estimate MED we propose the following procedure:

1. Set the domain where the density will be defined, [

l, u

].

2. Using

x

=

1

2

[

Z

(

u

−

l

) + (

u

+

l

)] change the domain into [

−

1

,

1]. Use a

j

= 50 points Gaussian quadrature such that ˜

Z

j

node

∈

[

−

1

,

1] and the

weights

W

j

where

j

= 1

,

· · ·

,

50.

3. At first step

t

= 0, set the initial values of

λ

0

as [0

,

· · ·

,

0].

4. At step

t

, Calculate

ξ

(

t

)

and

H

(

t

)

by using numerical integration in

(3.9) and (3.11).

5. Let

δ

(

t

)

be the solution to

H

(

t

)

δ

(

t

)

=

ξ

(

t

)

6. Update the vector of Lagrange multipliers

λ

(

t

)

=

λ

(

t

−

1)

−

δ

(

t

)

.

7. Set

t

=

t

+ 1 and go to step 4 until

δ

(

t

)

becomes appropriately small.

(use 1

e

−

10 as stopping rule)

13

4

Maximum entropy GARCH model

Various GARCH model under the assumption of non-normal conditional
density function have been proposed to explain leptokurtic behavior of un-
conditional density function. Bollerslev (1987) used Student-t distribution
as conditional distribution in GARCH model. However, Hsieh (1989) found
that GARCH (1,1) model with Student-t distribution as a conditional dis-
tribution could not capture the daily returns in British pound and Japanese
yen. Nelson (1991) employed generalized error distribution (GED) distri-
bution with exponential GARCH model but he found estimated GED has
not enough thick tail behavior to capture unconditional leptokurtosis. On
the other hand, conditional skewed density also had been used to explain
the skewness of unconditional density. Lee and Tse (1991) used a distri-
bution based on the first three terms of the Gram-Charlier series. Engle
and Gonz´alez-Rivera (1991) adapted nonparametric conditional density and
Premaratne and Bera (2000) used Pearson type-IV distribution as condi-
tional density function. Pearson type-IV distribution is derived by maxi-
mum entropy principle by the side condition, say

E

[tan

−

1

(

x

r

)] =

c

1

(

r

) and

E

[log(

r

2

+

x

2

)] =

c

2

(

r

). Thus, we can incorporate with Pearson type-IV

distribution within MED formulation. Rockinger and Jondeau (2002) ap-
plied MED to GARCH model. Since they considered first fourth arithmetic
moment condition, the resulting MED has the form of quartic exponential
distribution. However, quartic exponential distribution could not sufficiently
explain heavy tail behavior such as Student-t distribution.
Let us consider the following model:

y

t

=

m

t

(

x

t

;

ζ

) +

²

t

,

t

= 1

,

2

,

· · ·

, T

(4.1)

with

²

t

|

ψ

t

−

1

∼

f

(0

, h

t

).

f

is the unknown density function of

²

t

conditional

on the set of past information

ψ

t

−

1

,

m

t

(

·

) is the conditional mean function,

x

t

is a

K

×

1 vector of exogenous variables,

ζ

is a vector of parameter and

h

t

is random variable parameterized as

h

t

=

α

0

+

P

p
j

=1

α

j

²

2

t

−

j

+

P

q
j

=1

β

j

h

t

−

j

.

MED is the least biased density function and minimize Kullback-Leibler
information criteria under the correctly specified moment condition. We
can write conditional density function in general MED as follows,

f

(

η

t

) = exp

"

−

N

X

i

=0

λ

i

φ

i

µ

y

t

−

x

0

t

ζ

√

h

t

¶#

.

(4.2)

where

f

(

η

t

) satisfies

E

[

φ

j

(

η

t

)] = 0. The quasi-log density function at time

t

is given by

14

l

Q

t

(

θ

) =

−

N

X

i

=0

λ

i

φ

i

µ

y

t

−

x

0

t

ζ

√

h

t

¶

−

1
2

ln

h

t

,

(4.3)

where

θ

= (

α, β, ζ, λ

)

∈

Θ. Given this, the qiasi-log likelihood function is

l

Q

(

θ

) =

P

T

t

=1

l

Q

t

(

θ

).

MEARCH approach is quite related with other semi-nonparametric ARCH
approach. First, first order condition of log quasi-likelihood yields quasi-
score function.

∂l

Q

(

θ

)

∂α

=

1
2

T

X

t

=1

N

X

i

=0

λ

i

φ

0

i

(

η

t

)

∂h

t

∂α

h

3

/

2

t

(

y

t

−

x

0

t

ζ

)

−

1
2

T

X

t

=0

ln

h

t

= 0

(4.4)

∂l

Q

(

θ

)

∂β

=

1
2

T

X

t

=1

N

X

i

=0

λ

i

φ

0

i

(

η

t

)

∂h

t

∂β

h

3

/

2

t

(

y

t

−

x

0

t

ζ

)

−

1
2

T

X

t

=0

ln

h

t

= 0

(4.5)

∂l

Q

(

θ

)

∂ζ

=

T

X

t

=1

N

X

i

=0

λ

i

φ

0

i

(

η

t

)

∂x

0

t

ζ

∂ζ

√

h

t

= 0

(4.6)

∂l

Q

(

θ

)

∂λ

i

=

−

T

∂λ

0

∂λ

i

−

T

X

t

=1

φ

i

(

η

t

) = 0

(4.7)

If underlined conditional density is correctly specified, then equations (4.4)
- (4.7) are optimal estimating equation (EF) [ see Godambe (1960) ]. Li and
Turtle (2000) proposed semiparametric ARCH model within EF approach
and the optimal EF for GARCH model are given by

`

∗

1

=

−

T

X

t

=1

∂h

t

∂δ

h

2

t

(

γ

2

t

+ 2

−

γ

2

1

t

)

g

2

t

(4.8)

`

∗

2

=

−

T

X

t

=1

∂x

0

t

ζ

∂ζ

h

t

g

1

t

+

T

X

t

=1

h

1

/

2

t

γ

1

t

∂x

0

t

ζ

∂ζ

−

∂h

t

∂ζ

h

2

t

(

γ

2

t

+ 2

−

γ

2

1

t

)

g

2

t

(4.9)

15

where

δ

= (

α, β

) and

g

1

t

=

y

t

−

x

0

t

ζ

g

2

t

= (

y

t

−

x

0

t

ζ

)

2

−

h

t

−

γ

1

t

h

1

/

2

t

(

y

t

−

x

0

t

ζ

)

γ

1

t

=

E

[(

y

t

−

x

0

t

ζ

)

3

|

ψ

t

−

1

]

h

3

/

2

t

γ

2

t

=

E

[(

y

t

−

x

0

t

ζ

)

4

|

ψ

t

−

1

]

h

2

t

Equations (4.8) and (4.9) are actually same as efficient generalized method
of moment (GMM) moment conditions which are attainable by optimal in-
strumental variables. There is no

priori

assumption of conditional density

in EF approach. Under the conditional normality assumption, equations
(4.8) and (4.9) are equivalent to the first order condition of Engle (1982)
up to sign change. Quasi-score function, equation (4.4) - (4.7), should be
equivalent to those of Engle (1982) under the conditional normality condi-
tion. The gains of Li and Turtle (2000)’s approach is that we do not have
to assume any conditional density. However, in practice,

γ

1

t

and

γ

2

t

should

be specified in some way. Let us consider , although extreme, conditional
cauchy density case. Parameters in GARCH model cannot be estimated
consistently in EF approach under the conditional cauchy case. MEARCH
approach is more robust in this sense, since all we need the moment condition
is

E

£

log(1 +

x

2

)

¤

=

c

2

.

Secondly, extreme estimation problem can be represented by MEEL estima-
tion procedure.

max

π

i

,θ

−

n

X

i

=1

π

i

ln

π

i

s.t.

n

X

i

=1

π

i

ψ

(

h

(

η, θ

)) = 0

,

n

X

i

=1

π

i

= 1

,

(4.10)

where

ψ

(

·

) is a vector of quasi-score functions. Imbens et.al.(1998) argued

that the influence function of exponential tilting estimator stays bounded
where that of EL become unbounded even if

ψ

(

·

) is bounded. Since ME esti-

mates incorporate the additional moment equation information, ˆ

π

i

weighted

estimates would be more efficient in finite sample. Under certain regularity
condition MEEL estimators are consistent and asymptotically normal, i.e.,

n

1

/

2

(ˆ

θ

M EEL

−

θ

0

)

−→

d

N

(0

,

Σ)

where

16

Σ =

E

·

∂h

(

φ

(

η

)

, θ

)

∂θ

|

θ

0

¸

−

1

(

E

£

h

(

φ

(

η

)

, θ

)

h

(

φ

(

η

)

, θ

0

)

0

¤

E

·

∂h

(

φ

(

η

)

, θ

)

∂θ

|

θ

0

¸

−

1

which is equivalent to asymptotic properties of quasi maximum likelihood
estimators. Imbens (1997) showed that under certain regularity conditions,
the limiting distributions of MEEL and MEL estimators for

θ

are the same.

Finally, when we add more side moment conditions in (4.10), then ˆ

π

will

become more wriggle. In this sense maximum entropy mechanism works
for smoothing curves. If we add more plausible moments in (4.10), ˆ

π

will

be similar to nonparametric density estimates. Since Engle and Gonz´alez-
Rivera (1991) used nonparametric conditional density their approach could
be considered within our framework.

4.1

Estimation

Although maximum likelihood (ML) estimates are conceptually different
from ME procedure, it is mathematically equivalent to ME procedure when
we replace known moments by consistent estimates. Since distributions in
exponential family have a unique ML solution, ME solution is also unique, if
it exists. Thus, we replace known moments by sample moments,

1

T

P

T

t

=1

φ

j

(

x

t

;

γ

),

and perform a maximization of quasi-likelihood function that is based on
estimated MED. Quasi-log likelihood function, (4.3), can be represented as
follows;

`

Q

(

θ

) =

T

X

t

=1

log

f

Ã

²

t

h

1

/

2

t

!

−

1
2

T

X

t

=1

log

h

t

,

(4.11)

Since the standardized residual follows MED in our model, the quasi-likelihood
function is given by

`

Q

(

θ

) =

−

T

X

t

=1

N

X

j

=0

λ

j

φ

j

Ã

²

t

h

1

/

2

t

!

−

1
2

T

X

t

=1

log

h

t

,

(4.12)

where

φ

j

(

·

) is associated moment function. We optimize the objective func-

tion, (4.10), by following procedures.

1. Estimate initial consistent estimates of

θ

by an appropriate QMLE

and forms standardized residual, ˆ

η

t

=

²

t

/h

1

/

2

t

, from those estimates.

17

2. Calculate

1

T

P

T

t

=1

φ

j

(ˆ

η

t

, γ

) and use these estimates as known moments

in ME problem.

3. Estimate MED by proposed numerical algorithm and fix this MED as

conditional density function,

f

, in (4.11). Iterate (4.12) and evaluate

quasi-log likelihood function until we get convergence.

4. With the standardized residual from step 3, continue with step 2 and

3 until each

λ

j

gets convergent result.

A range of numerical optimization routine can by used. We adapted the
Broyden, Fletcher, Goldfarb and Shannon (BFGS) algorithm. For compu-
tational convenience, the derivatives are computed numerically.
Our estimates share asymptotic properties with those of QMLE that attain
asymptotic consistency and asymptotic normality.[ White (1982), Bollerslev
and Wooldridge (1988)]

ˆ

θ

QM LE

∈

arg max

θ

∈

Θ

h

l

Q

t

(

θ

;

η

)

i

,

The limit distribution is given by

√

T

³

ˆ

θ

QM LE

−

θ

0

´

−→

d

N

³

0

, A

0

T

−

1

B

0

T

A

0

T

−

1

´

,

where

θ

0

is the quasi-true parameter and

A

0

T

=

−

T

−

1

T

X

t

=1

E

Ã

∂

2

l

Q

t

(

θ

0

)

∂θ∂θ

0

!

B

0

T

=

T

−

1

T

X

t

=1

E

Ã

∂l

Q

t

(

θ

0

)

∂θ

∂l

Q

t

(

θ

0

)

∂θ

0

!

The matrix

A

0

T

and

B

0

T

are consistently estimated by

ˆ

A

T

=

−

T

−

1

T

X

t

=1

E

Ã

∂

2

l

Q

t

(ˆ

θ

QM LE

)

∂θ∂θ

0

|

ψ

t

−

1

!

ˆ

B

T

=

T

−

1

T

X

t

=1

E

Ã

∂l

Q

t

(ˆ

θ

QM LE

)

∂θ

∂l

Q

t

(ˆ

θ

QM LE

)

∂θ

0

|

ψ

t

−

1

!

If conditional density function is correctly specified with the true density,
then we have well known asymptotic normality,

18

√

T

³

ˆ

θ

QM LE

−

θ

0

´

−→

d

N

³

0

, B

0

T

−

1

´

4.2

Moment selection test

Consider we are interested in whether our prior is informative. Since the
multipliers provides rate of change of the maximum attainable value with
respect to the change in the constraints,

λ

j

should be very closed to zero if

its associated moment equation does not convey any valuable information.
Imbens et.al.(1998) provided a Lagrangian multiplier test to test the validity
of moment equation in over-identified moment equation case. Imbens et.al
(1997) and Kitamura and Stutzer (1997) also provided various tests of the
validity of moment equation. Our test statistic based on Rao-Score (RS)
test. The score test will be based on

S

(

θ

j

) =

∂`

Q

(

θ

)

∂λ

j

=

T

·

E

f

[

φ

j

(

x

t

;

γ

)]

−

T

X

t

=1

φ

j

(

x

t

;

γ

)

,

j

= 1

,

2

,

· · ·

, N,

(4.13)

which, under the null,

H

0

:

θ

j

= 0 where

θ

j

∈ {

(

λ

j

)

N

j

=1

}

, reduced to

S

(

θ

j

)

|

θ

j

=0

=

T

·

δ

j

−

T

X

t

=1

φ

j

(

x

t

;

γ

)

(4.14)

where

δ

j

=

R

φ

j

(

x

t

;

γ

) exp

h

−

P

i

∈{

1

,

2

,

···

,N

}\{

j

}

λ

i

φ

i

(

x

t

;

γ

)

i

dx

t

R

exp

h

−

P

i

∈{

1

,

2

,

···

,N

}\{

j

}

λ

i

φ

i

(

x

t

;

γ

)

i

dx

t

(4.15)

We, again, adapted Gauss-Legendre quadrature to perform numerical inte-
gration. The RS test statistic is given by

RS

=

T

·

T

2

n

(ˆ

θ

)

ˆ

V

,

T

n

(

θ

) =

δ

j

−

1

T

T

X

t

=1

φ

j

(

x

t

;

γ

)

(4.16)

where ˆ

V

is the consistent estimator of asymptotic variance of

√

T

·

T

n

(ˆ

θ

).

Under null hypothesis, RS will be distributed as

χ

2

1

asymptotically. Pierce

(1982) provide useful result to calculate asymptotic variance of

√

T

·

T

n

(ˆ

θ

)

V

h

√

T

·

T

n

(ˆ

θ

)

i

=

T

·

V

[

T

n

(

θ

)]

−

lim

n

→∞

E

·

∂T

n

(

θ

)

∂θ

¸

V

(

√

T

·

ˆ

θ

) lim

n

→∞

E

·

∂T

n

(

θ

)

∂θ

¸

0

19

V

(

√

T

·

ˆ

θ

) becomes block diagonal matrix and lim

n

→∞

E

h

∂T

n

(

θ

)

∂θ

i

contains

zero elements in many cases. However, since

φ

j

(

x

t

;

γ

) is determined by

given moment conditions there is high tendency that

V

(

√

T

·

ˆ

θ

) is not block

diagonal matrix neither lim

n

→∞

E

h

∂T

n

(

θ

)

∂θ

i

does not contains several zero

values. This possibility makes calculating

V

[

√

T

·

T

n

(ˆ

θ

)] complicate. [see

appendix about derivation of

V

[

√

T

·

T

n

(ˆ

θ

)]. Thus, we estimate variance of

√

T

·

T

n

(ˆ

θ

) using bootstrap method.

5

Empirical illustration

We considered the daily returns of NYSE (equally weighted returns (EWR))
from the CRPS database for Oct, 1990 - Dec, 1996, a total of 1,771 observa-
tions. The data is plotted in Figure 3 and the summary statistics of sample
moments are presented in Table 3. The horizontal line in Figure 3 repre-
sents sample mean value of the data. The sample kurtosis and skewness
are 7

.

611827 and

−

0

.

943375 respectively and Jarque and Bera (JB) normal-

ity test statistics is 1832

.

157. This indicates high non-normality. Figure 3

indicates a high degree of conditional heteroskedasticity. To explain such
behaviors of stock return data, basically, we need to consider a model which
captures dynamic higher moment structure and distributional characteris-
tics simultaneously.

Table 3: Summary statistics

Number of observation

1771

Mean

0.0013

Median

0.0018

Standard Deviation

0.0052

Skewness

-0.9434

Kurtosis

7.6118

Max

0.0236

Min

-0.0332

Q(12)

368.55

Q(24)

452.28

Q(36)

476.49

JB normality test

1832.157

For empirical illustration purpose, we estimated MEARCH model in which
moment conditions are given by

E

f

h

arctan(

x

t

γ

)

i

=

c

1

(

γ

) and

E

f

£

log(

γ

2

+

x

2

t

)

¤

=

c

2

(

γ

). These two moment conditions yield GARCH model which is gener-

20

Figure 3: Equal weighted returns (EWR) data

0

500

1000

1500

−0.03

−0.02

−0.01

0.00

0.01

0.02

Time

EWR

Equally weighted returns data

ated by the Pearson type-IV distribution. Estimates of GARCH(1,1) model
under the conditional normality, student-t distribution and MED are given
in Table 4. The standard error, which are obtained by “robust” covariance
estimates, are given in the parenthesis. It is clear that MED-GARCH(1,1)
model is better in terms of log-likelihood values. Nishii (1988) showed that
Aikaike information criteria (AIC) is not a consistent model selection criteria
when the true model is unspecified. On the other hand, Schwarz information
criteria (SIC) satisfies the necessary condition to be a consistent model se-
lection criteria [see Theorem 5. in Nishii (1988)]. MED-GARCH(1,1) model
has the lowest SIC value. We could consider the difference of log-likelihood
values between Normal-GARCH(1,1) model and Student’s t-GARCH(1,1)
model, 101

.

94, as increments for incorporating the excess kurtosis. Differ-

encce of the likelihood values between student-t-GARCH(1,1) and MED-

21

GARCH(1,1), 21

.

55, could be thought of as gain by the skewed density

function. Estimated degree of freedom, 4

.

6662, in Student-t-GARCH(1,1)

model does support that conditional normal model might not explain high
leptokurtic behavior. In MED-GARCH(1,1) model,

γ

2

= 4

.

3397 is the asso-

ciated to degree of freedom in student-t GARCH(1,1) model and it is quite
similar.
We can detect skewed and leptokurtic behaviors by Lagrange multipliers,

λ

a

and

λ

2

. If underlying conditional distribution is free of skewness, then

λ

1

which is associated with moment function, arctan(

x

t

γ

), should be closed to

zero. If there is no further excess kurtosis in conditional distribution, then

λ

2

which corresponds to log(

γ

2

+

x

2

t

), should be closed to zero. To test validity

of moment equations we performed RS test by applying bootstrap methods.
1

,

770 observations are resampled from ˆ

η

t

=

ˆ

²

t

√

ˆ

h

t

by 1

,

000 times. The RS

test statistics are 4

.

08 and 13

.

47 for

λ

1

and

λ

2

respectively. Therefore, none

of moment equations are redundant. This implies that there are leptokurtic
and skewed behaviors at the same time.
Figure 4 presents conditional densities for all the models. MED-GARCH(1,1)
model explain excess kurtosis and skewness at the same time. Figure reveals
that there is a strong asymmetry in the data along with excess kurtosis. The
skewness is due to negative realizations. MED-GARCH(1,1) model explains
better tail behavior than student-t GARCH(1,1) model. In many finance
literature there are numerous research in conditional value at risk (VaR).
If we concern VaR analysis, parametric model might be better to explain
tail behavior than nonparametric model under the assumption such that the
model is correctly specified. Extremely, adding more and more moment con-
straints, conditional density of MEARCH model is more like nonparametric
density. We might interpret MEARCH model such that it has a smooth
and sensible conditional density function that is generated by extracting
plausible information from the data and our MED approach could provide
improved estimates.

22

−2

0

2

0.0

0.1

0.2

0.3

0.4

Return

conditional density

Figure 4: Comparison of the MED conditional density of EWR to a normal
density

N

(0

,

1) and to student-t with 4.6663 df:

· · ·

, normal;

−−−

, student-

t; lines, MED

23

Table 4: GARCH estimates with three kinds of densities

Normal-GARCH(1,1)

Student-t-GARCH(1,1)

MED-GARCH(1,1)

GARCH(1,1)

α

0

3.954e-06

2.664e-06

1.541e-06

(7.999e-07)

(7.493e-07)

(3.900e-07)

α

1

0.1694

0.1874

0.1070

(0.0277)

(0.0360)

(0.0197)

β

1

0.6595

0.7102

0.6828

(0.0537)

(0.0543)

(0.0537)

AR(1)

ζ

0

0.0010

0.0012

0.0024

(0.0001)

(9.845e-05)

(9.978e-05)

ζ

1

0.3283

0.3042

0.2839

(0.0264)

(0.0239)

(0.0235)

Distribution Parameters

γ

4.6662

2.0832

(0.4954)

(0.1293)

λ

0

-2.9124

λ

1

0.7001

λ

2

2.6829

Lik

7044.248

7146.188

7167.738

AIC

-14078.496

-14280.376

-14317.476

SIC

-14051.102

-14247.504

-14268.167

24

0

500

1000

1500

0.00000

0.00005

0.00010

0.00015

Time

Conditional variance

Conditional variance estimated from MED−GARCH(1,1)

Figure 5: Conditional variance estimated from MED-GARCH(1,1)

25

6

Concluding remarks and future research

In this paper, we have shown a generalization of GARCH model by incor-
porating MED as conditional density function. We characterized MED and
argued which moment function might be used in skewed and heavy tail dis-
tributions. In empirical application, we selected one case which could take
account of skewed and leptokurtic behavior of stock return data and showed
MEARCH model is quite useful in explaining behavior of financial time se-
ries. The moment selection procedure was performed by testing Lagrange
multipliers in Rao-Score testing procedure. Many other moment equations
or mixture of given moment equations could be chosen to generate general
and plausible conditional density. We plan to use other moment conditions
to build a more general MEARCH model.

26

Appendix

A.1.

Derivation of moment selection test based on the Rao-Score test.

Consider maximum entropy density,

f

(

x

t

, θ

) =

C

(

θ

) exp

"

−

N

X

i

=1

λ

i

φ

i

(

x

t

;

γ

)

#

,

which satisfies

E

f

h

(

x

t

;

θ

) =

E

f

[

φ

(

x

t

;

γ

)

−

ξ

(

γ

)] = 0 where

θ

=

{

λ, γ

} ∈

Θ. Then the

corresponding log-likelihood function can be written as follows,

l

(

θ

) =

T

ln

C

(

θ

)

−

N

X

i

=1

λ

i

T

X

t

=1

φ

i

(

x

t

;

γ

)

,

where ln

C

(

θ

) =

R

exp

hP

N
i

=1

λ

i

φ

i

(

x

t

;

γ

)

i

dx

.

The score function is

S

(

θ

j

) =

∂l

(

θ

)

∂θ

j

=

T

∂

ln

C

(

θ

)

∂θ

j

−

T

X

t

=1

φ

j

(

x

t

;

γ

)

,

where

θ

j

=

λ

j

,

θ

j

6

=

γ

k

∈

γ

.

Since

R

f

(

x

t

)

dx

= 1,

∂C

(

θ

)

∂θ

j

Z

exp

"

−

N

X

i

=1

λ

i

φ

i

(

x

t

;

γ

)

#

dx

−

C

(

θ

)

Z

exp

"

−

N

X

i

=1

λ

i

φ

i

(

x

t

;

γ

)

#

φ

j

(

x

t

;

γ

)

dx

= 0

.

(6.1)

Then, by dividing both sides by

C

(

θ

) in equation (6.1) we can get,

∂

ln

C

(

θ

)

∂θ

j

=

R

exp

h

−

P

N
i

=1

λ

i

φ

i

(

x

t

;

γ

)

i

φ

j

(

x

t

;

γ

)

dx

R

exp

h

−

P

N
i

=1

λ

i

φ

i

(

x

t

;

γ

)

i

dx

=

E

f

(

φ

j

(

x

t

;

γ

))

.

Evaluating above equation under the null,

θ

j

= 0 where

θ

j

∈ {

(

λ

)

N

j

=1

}

,

∂

ln

C

(

θ

)

∂θ

j

|

θ

j

=0

=

R

exp

h

−

P

i

=

{

1

,

2

,

···

,N

}\{

j

}

λ

i

φ

i

(

x

t

;

γ

)

i

φ

j

(

x

t

;

γ

)

dx

R

exp

h

−

P

i

=

{

1

,

2

,

···

,N

}\{

j

}

λ

i

φ

i

(

x

t

;

γ

)

i

dx

≡

δ

j

.

27