专利名称：基于核对齐的多核优化算法的利记博彩app
技术领域：
本发明属于机器学习领域中的一种多核组合优化算法，具体讲，涉及基于核对齐 的多核优化算法。
背景技术：
· 1.核方法根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维空间则可 能实现线性可分。但是如果直接采用这种技术到高维空间进行分类或回归，则存在确定非 线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运 算时存在的“维数灾难”。核方法不需要嵌入点的坐标，而只利用它们的两两内积，而核方 法中的核函数可以直接从初始的数据项高效地计算两两内积，所以能有效地避免“维数灾 难”。· 1. 1核函数、核矩阵定义1.(核函数)设Xi，Xj e X，Z [V，非线性函数Φ实现输入空间X到特征空 间F的映射，其中树χ) GF^iT, η <<m。则核函数定义为k(Xi，Xj) = < Φ (Xi)，Φ(χ」)>， 其中〈，〉为内积。定义2.(核矩阵)令核矩阵中的每一个元素为Kij，其中Kij = k(Xi，Xj)，则核矩阵 的一股形式为I = (HWKhj，η为样本点的数量。显而易见，核矩阵是对称矩阵且为内积矩阵，表示任意两个样本在高维特征空间 中的内积，决定了样本点在高维特征空间中的相对位置。因此，核矩阵必须满足如下的定理 1.定理1.核矩阵必定是对称、正定矩阵，反之，任意一个对称正定都可以看做为核 矩阵，即对称正定是核矩阵的充分必要条件。· 1. 2几种常见的核函数高斯核函数足(x,x;)= exp(-^-^)；
2σ多项式核函数K(x，Xi) = (χ · Xi+l)d，d = 1，2，3···Ν ；感知器核函数K (x，Xi) = tanh ( β Xi+b)；样条核函数K (X，Xi) = B2n+1 (X-Xi)· 2.多核学习(multiple kernel)由于核的混合可以使数据的信息在特征空间得到更为充分的表示，有助于提高学 习性能，因此定义一下的多核。
k定义3.(凸多核组合)K(GC) = YjGCrK]其中 aj ≥0，Σ = l(j = ι …k)，Kj
1=1 ,
为核矩阵。由核函数的性质可知夂祕)= χ;是对称半正定矩阵，即κ是有效的核函数。
；=1
· 3.核较准(kernel alignment)对于同一个模式分类或回归问题，当采用不同的核函数或不同的核参数时，算法 的错误率很可能不一样，那么对于该问题一定存在一个最优的核函数，使得测试错误率最 小。而为了寻找这个最优的核函数，我们引入了核对齐的概念来体现不同核函数之间的差
巳
定义4.(核校准)设有样本集S = Ix1, X2…，X1I，矩阵K1和K2分别表示对应
ι
于核函数ki和k2的核矩阵，〈&，足丄,x^2(W)表示两个核矩阵之间的内积，
Uj
现采用一个标量来度量核函数ki与核函数k2在样本S上的差异，称其为核对齐，记为 (K17K2)f
A(W2)=可见，核对齐是一个标量值，体现了不同核函数之间的差
异关系。从几何角度来看，核对齐可以看成时两个向量之间夹角的余弦值。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种能有效地避免“维数灾难”，应 用于机器自学习的算法。为达到上述目的，本发明采用的技术方案如下基于核对齐的多核优化算法，把核 对齐方法运用到多核的凸线性组合中来，再运用正则化方法，最后通过化简能把该问题化 为一股的凸二次优化问题，具体包括下列步骤构造核矩阵已知样本实例为(Xi，yl = /，其中Xi e Rn, Yi e {-1，+1}，采用包括 高斯核函数，多项式核函数，感知器核函数，样条核函数的核函数，运用这些核函数构造k 个核矩阵K1, KfKk;推导化简利用已知K是一个对称矩阵，那么K是一个半正定矩阵的充 分必要条件是对所有的半正定矩阵G使<K，G>f ^ 0 ；再运用正则化方法则可得<formula>formula see original document page 4</formula><formula>formula see original document page 4</formula>其中Skl= 1 当k= 1，其它 Skl = O;采用专门的解凸二阶优化问题的函数解决前述步骤得到的凸二阶优化问题。本发明具有如下效果1、本发明采用基于核对齐的多核优化算法，把核对齐方法运用到多核的凸线性组 合中来，再运用正则化方法，最后通过化简能把该问题化为一股的凸二次优化问题，因而能 有效避免“维数灾难”。2、由于核的混合可以使数据的信息在特征空间得到更为充分的表示，有助于提高 学习性能。
图1算法流程。
具体实施例方式本发明是一种多核组合优化算法。把核对齐方法运用到多核的凸线性组合中来，再运用正则化方法，最后通过化简 能把该问题化为一股的凸二次优化问题。本发明采用的技术方案是· 1.模型构造· 1. 1.构造核矩阵已知样本实例为(Xpyi)i = /,其中Xi e Rn，yi e {_1，+1}。根据实际需要采用一 些核函数，一股都使用高斯核函数，多项式核函数，感知器核函数，样条核函数等等。运用这 些核函数构造k个核矩阵K1, Kf Kk。· 1.2.推导化简。命题1 已知K是一个对称矩阵。那么K是一个半正定矩阵的充分必要条件是对 所有的半正定矩阵G使<K，G>F彡0。证明因为K的对称的，所以K可以表示为足=；^=1柄< 其中Ai是特征值，\是 特征向量。同样G可以表示为G = I;因为<formula>formula see original document page 5</formula><formula>formula see original document page 5</formula>必要性如果<K，G>F>0那么ΣΛΑ〈ν/uj〉2≥0因为G的半正定的，所以μj≥0， 所以可推出λ i≥0，即K是半正定的。充分性如果K是半正定的那么XiSO,那么ΣΛΑ〈ν/uj≥0即<K，G>F≥0。 既证。令= 式其中1>=1， ≥0，运用命题1易得K(a)是半正定的，即K(a)
可表示为k(a)=∑ujujuj而<formula>formula see original document page 5</formula><formula>formula see original document page 5</formula><formula>formula see original document page 5</formula>
因为Α(α)越大，则Κ(α)与yy'相差越小。因此使最大化Α( α )并且满足；% =1，at彡O条件，就是我们要求解的问题。即<formula>formula see original document page 6</formula>通过等价变换可得
<formula>formula see original document page 6</formula>运用Lanrange乘子法可把(2)等价变换为
<formula>formula see original document page 6</formula>因为C取不同的值导致μ取不同的值，又因为成比例的改变a的值对A(Ci)没有 影响。所以我们取μ = 1.因此可以得到
<formula>formula see original document page 6</formula>当我们不限制I |a| I时，根据训练集得到的核对齐方法有可能出现过拟合问题。
因此运用正则化方法则可得maax Σ, Kky - Ση αΛ、Kk ^kX- λΣ α2
<formula>formula see original document page 6</formula>其中Skl = 1 当 k = 1。其它 Skl = 0。· 2.算法描述由第一步模型构造已把要求解的问题简化为了凸二阶优化问题。凸二阶优化问题 是一个比较典型的优化问题，对于解这类问题有很多有效地算法，而本文的重点并不是关 心凸二阶优化问题的具体解法，而考虑到MATLAB在工程领域运用十分广泛，而且有专门的 解凸二阶优化问题的函数，所以采用MATLAB来实现本文的算法。算法可描述为
Date :(χ” 又山=/，(km)m = 1kResult :am，m = 1，2... kBegin For i 一 1 to kK, = (k(xi，xj))',=i,J=I m = 1，2... k.f (1, i) = -y' *Km*yFor j — i to kIf i = = jH(i，j) = H(j，i) = 2* Ki Kj>F+r)Else H(i, j) = H(j, i) = 2*<Ki; Kj>FEndEndEndBl = zeros (k, 1)Aeq = ones (1, k)Beq = 1[x，fval] = quadprog (H, f, □，□，Aeq, Beq, Bi)a = χEnd· 3.算法说明该算法比最大间隔方法更易于理解，最后能化为凸二次优化问题，而基于最大间 隔方法的凸线性组合最后只能化简为锥优化问题，而对于求解二次凸优化问题现在有很多 比较有效的方法，比解锥优化问题更快更有效。而且采用的正则化方法能使该算法有效的 避免过拟合问题。所以该算法即能保证有效性，又有比较好的稳定性。下面结合具体实施例进一步详细说明本发明。流程步骤查看附图1..1·选取核函数(0，6) = 6邓(^T-) m = 1,2-10, O1 = I, σ 2 = 3，σ 3
=5 σ 4 = 7，σ 5 = 9，Q6 = 11, σ 7 = 13，σ 8 = 15，σ 9 = 17, σ 10 = 19 这里全都选取的是高斯核函数是因为这个核函数是最一股而且也是用的最多的一个核函数。·2.利用实例集(U)i = Am= 1，2··· 10，Xi e R4，y G {_1，+1}，来构造核矩阵 Km, m = 1,2— 10。X 的取值为1. 371010e+011. 192860e+01-2. 669980e_019. 247059e+013.182899e+003. 385450e+012. 866752e-011. 398389e+021. 370999e+011. 139900e+015. 345060e_011. 480897e+029.208984e-019. 846100e+002. 722710e_015. 865690e+018. 339844e-017. 932199e+01_l. 232491e_014. 858778e+014.381511e+011. 112251e+02_l. 958180e_011. 655583e+023.614401e+011. 879950e+02_l. 253873e_011. 269572e+022.182100e+017. 473500e+012. 618831e_011. 590735e+02
1. 747900e+022. 082200e+02_l. 563846e_011· 761190e+022. 312500e+012. 001630e+027. 643528e_021· 026413e+02Y 的取值为-1-1-1-1-1 1111111· 3.利用MATLAB求解凸二次优化问题，其中取r = 0. 5，r是正则化系数。Begin For i 二 1 to 10<formula>formula see original document page 8</formula>
f(l，i)=-y' *Km*yFor j = i to 10If i = = jH(i，j) = H(j，i) = 2*(<&，Kj>F+0. 5)Else H(i, j) = H(j, i) = 2*<Ki Kj>FEndEndEndBl = zeros (10,1)Aeq = ones (1,10)Beq = 1[x，fval] = quadprog (H, f, □，□，Aeq, Beq, Bi)α = χEnd可得α =-0· 0000-0. 0000-0. 0000 0.0000 0. 0000-0. 0000 0.0000 0.1110 0.32690.5620α ^ i = 1.2··· 10，代表权值。上面这个列子说明用K8，K9, Kltl进行凸线 性组合能有效地对要求解的问题进行分类，即当σ8=15，O9= 17, σ1(ι=19核函数
<formula>formula see original document page 8</formula>能有效地对这个问题进行分类。
权利要求
一种基于核对齐的多核优化算法，其特征是，把核对齐方法运用到多核的凸线性组合中来，再运用正则化方法，最后通过化简能把该问题化为一般的凸二次优化问题，具体包括下列步骤构造核矩阵已知样本实例为(xi，yi)i＝1l，其中xi∈Rn，yi∈{-1，+1}，采用包括高斯核函数，多项式核函数，感知器核函数，样条核函数的核函数，运用这些核函数构造k个核矩阵K1，K2…Kk；推导化简利用已知K是一个对称矩阵，那么K是一个半正定矩阵的充分必要条件是对所有的半正定矩阵G使<K，G>F≥0；再运用正则化方法则可得 <mrow><munder> <mi>max</mi> <mi>a</mi></munder><msub> <mi>Σ</mi> <mi>k</mi></msub><msub> <mi>a</mi> <mi>k</mi></msub><msup> <mi>y</mi> <mo>′</mo></msup><msub> <mi>K</mi> <mi>k</mi></msub><mi>y</mi><mo>-</mo><msub> <mi>Σ</mi> <mi>kl</mi></msub><msub> <mi>a</mi> <mi>k</mi></msub><msub> <mi>a</mi> <mi>l</mi></msub><msub> <mrow><mo><</mo><msub> <mi>K</mi> <mi>k</mi></msub><mo>,</mo><msub> <mi>K</mi> <mi>l</mi></msub><mo>></mo> </mrow> <mi>F</mi></msub><mo>-</mo><mi>λ</mi><munder> <mi>Σ</mi> <mi>k</mi></munder><msup> <msub><mi>a</mi><mi>k</mi> </msub> <mn>2</mn></msup> </mrow> <mrow><mmultiscripts> <mi>Σ</mi> <mi>k</mi> <none/> <mprescripts/> <mo>=</mo> <none/></mmultiscripts><msub> <mi>a</mi> <mi>k</mi></msub><msup> <mi>y</mi> <mo>′</mo></msup><msub> <mi>K</mi> <mi>k</mi></msub><mi>y</mi><mo>-</mo><msub> <mi>Σ</mi> <mi>kl</mi></msub><msub> <mi>a</mi> <mi>k</mi></msub><msub> <mi>a</mi> <mi>l</mi></msub><mrow> <mo>(</mo> <msub><mrow> <mo><</mo> <msub><mi>K</mi><mi>k</mi> </msub> <mo>,</mo> <msub><mi>K</mi><mi>l</mi> </msub> <mo>></mo></mrow><mi>F</mi> </msub> <mo>-</mo> <mi>λ</mi> <msub><mi>δ</mi><mi>kl</mi> </msub> <mo>)</mo></mrow> </mrow> <mrow><mmultiscripts> <munder><mi>Σ</mi><mi>t</mi> </munder> <mprescripts/> <mrow><mi>Subjectt</mi><mn>0</mn> </mrow> <none/></mmultiscripts><msub> <mi>α</mi> <mi>t</mi></msub><mo>=</mo><mn>1</mn> </mrow>at≥0其中δkl＝1当k＝l，其它δkl＝0；采用解凸二阶优化问题的函数解决前述步骤得到的凸二阶优化问题。
全文摘要
本发明属于机器学习领域中的一种多核组合优化算法。为提供一种能有效地避免“维数灾难”，应用于机器自学习的算法，本发明采用的技术方案是，基于核对齐的多核优化算法，把核对齐方法运用到多核的凸线性组合中来，再运用正则化方法，最后通过化简能把该问题化为一股的凸二次优化问题。本发明主要应用于机器学习领域。
文档编号G06N99/00GK101833692SQ20101016256
公开日2010年9月15日 申请日期2010年5月5日 优先权日2010年5月5日
发明者刘勇, 廖士中, 贾磊 申请人:天津大学