目录
引言
原理
应用
优势
总结
SVR安装
灰狼优化算法
代码实现
引言
原理
- 核心思想：
- SVR的目标是找到一个函数，该函数能够最小化预测误差，并在拟合过程中保持一定的间隔，使得大部分数据点都落在这个间隔之内。
- 与SVM类似，SVR也是通过寻找数据集中的支持向量来构建模型，这些支持向量是训练集中与预测函数边界最接近的点。
- 间隔与边界：
- 在SVR中，定义了一个边界，由一个中心线和两个平行的边界线组成。这些边界线之间的距离称为间隔，由用户预先设定。
- SVR的目标是找到一个函数，使得大部分数据点都落在间隔内，并且使得落在间隔之外的数据点的预测误差最小化。
- 数学模型：
- SVR的数学模型可以表示为：y(x)=w⋅ϕ(x)+b，其中y(x)表示预测值，x表示输入特征，w表示权重向量，ϕ(x)表示特征映射函数（核函数），b表示偏置项。
- SVR的目标是找到最佳的w和b，使得误差最小化。这可以通过解决一个优化问题来实现，该优化问题包括最小化预测误差和最大化间隔。
应用
SVR在许多领域都有广泛的应用，包括但不限于：
- 金融预测：用于预测股票价格、汇率、利率等金融指标。
- 能源管理：预测电力负荷、能源消耗等，帮助实现能源的有效管理和优化。
- 环境科学：预测气候变化、污染物浓度等，为环境保护和治理提供决策支持。
- 生物医学：预测疾病发病率、药物疗效等，为医疗诊断和治疗提供辅助。
优势
SVR相比于其他回归方法具有以下优势：
- 适用于小样本数据：SVR在处理小样本数据时具有较好的泛化能力，能够避免过拟合问题。
- 处理非线性关系：通过引入核函数，SVR可以处理非线性关系的数据，具有较强的非线性映射能力。
- 鲁棒性强：SVR对噪声和异常值具有较好的鲁棒性，能够减少这些因素对模型性能的影响。
- 高效性：SVR的训练过程相对较快，适用于大规模数据的处理。
总结
支持向量机回归（SVR）是一种强大的回归分析方法，它通过寻找支持向量来构建模型，并能够在拟合过程中保持一定的间隔。SVR具有适用于小样本数据、处理非线性关系、鲁棒性强和高效性等优点，在多个领域都有广泛的应用。
支持向量回归（SVR）的详细介绍以及推导算法-CSDN博客
SVR安装
运行前需要安装下面任何一个，本文以linearSVR为例
线性分类器(LinearSVR)https://www.csie.ntu.edu.tw/~cjlin/liblinear/#document
libSVM控件(eSVR)https://www.csie.ntu.edu.tw/~cjlin/libsvm/
1. 将下载解压的东西放在你的matlab的toolbox中
2.在主页的设置路径中添加libsvm及子文件
3.将当前路径设置到libsvm-3.24/matlab 后，在命令行窗口运行mex -setup
4.编译完成即可正常使用
详细步骤可参考；https://www.cnblogs.com/ggg-327931457/p/9694516.html
下载好的LinearSVR和libSVM还有MinGW -w64 编译器放在网盘链接供大家下载
http://链接：https://pan.baidu.com/s/12101I4Y508G2KlE-1cqWoQ?pwd=l87c 提取码：l87c
灰狼优化算法
灰狼优化算法由Mirjalili等于2014年提出，它模拟了灰狼的群体协作狩猎行为，通过模拟灰狼的等级制度和狩猎策略，实现优化问题的求解。该算法具有结构简单、参数少、易于实现等特点，并且能够在局部寻优与全局搜索之间实现平衡，因此在求解精度和收敛速度方面表现出良好的性能。
灰狼优化算法主要基于以下三个基本步骤来实现优化：
包围猎物：灰狼在狩猎过程中会逐渐接近并包围猎物。在算法中，通过模拟这一行为，使搜索代理（即算法中的“狼”）能够逐步缩小搜索范围，逼近最优解。
追捕猎物：在自然界中，灰狼通过协同狩猎来追捕猎物。在算法中，通过模拟灰狼之间的等级制度和协同狩猎行为，使搜索代理能够相互协作，共同搜索最优解。
攻击猎物：当猎物停止移动时，灰狼会发起攻击，完成狩猎过程。在算法中，这一过程对应于搜索代理收敛到最优解的过程。
具体参考灰狼优化算法（Grey Wolf Optimizer，GWO）-CSDN博客
% Grey Wolf Optimizer
function [Alpha_score,Alpha_pos,Convergence_curve]=GWO(SearchAgents_no,Max_iter,lb,ub,dim,fobj)
% initialize alpha, beta, and delta_pos
Alpha_pos=zeros(1,dim);
Alpha_score=inf; %change this to -inf for maximization problems
Beta_pos=zeros(1,dim);
Beta_score=inf; %change this to -inf for maximization problems
Delta_pos=zeros(1,dim);
Delta_score=inf; %change this to -inf for maximization problems
%Initialize the positions of search agents
Positions=initialization(SearchAgents_no,dim,ub,lb);
Convergence_curve=zeros(1,Max_iter);
l=0;% Loop counter
% Main loop
while l<Max_iter
for i=1:size(Positions,1)
% Return back the search agents that go beyond the boundaries of the search space
Flag4ub=Positions(i,:)>ub;
Flag4lb=Positions(i,:)<lb;
Positions(i,:)=(Positions(i,:).*(~(Flag4ub+Flag4lb)))+ub.*Flag4ub+lb.*Flag4lb;
% Calculate objective function for each search agent
fitness=fobj(Positions(i,:));
% Update Alpha, Beta, and Delta
if fitness<Alpha_score
Alpha_score=fitness; % Update alpha
Alpha_pos=Positions(i,:);
end
if fitness>Alpha_score && fitness<Beta_score
Beta_score=fitness; % Update beta
Beta_pos=Positions(i,:);
end
if fitness>Alpha_score && fitness>Beta_score && fitness<Delta_score
Delta_score=fitness; % Update delta
Delta_pos=Positions(i,:);
end
end
a=2-l*((2)/Max_iter); % a decreases linearly fron 2 to 0
% Update the Position of search agents including omegas
for i=1:size(Positions,1)
for j=1:size(Positions,2)
r1=rand(); % r1 is a random number in [0,1]
r2=rand(); % r2 is a random number in [0,1]
A1=2*a*r1-a; % Equation (3.3)
C1=2*r2; % Equation (3.4)
D_alpha=abs(C1*Alpha_pos(j)-Positions(i,j)); % Equation (3.5)-part 1
X1=Alpha_pos(j)-A1*D_alpha; % Equation (3.6)-part 1
r1=rand();
r2=rand();
A2=2*a*r1-a; % Equation (3.3)
C2=2*r2; % Equation (3.4)
D_beta=abs(C2*Beta_pos(j)-Positions(i,j)); % Equation (3.5)-part 2
X2=Beta_pos(j)-A2*D_beta; % Equation (3.6)-part 2
r1=rand();
r2=rand();
A3=2*a*r1-a; % Equation (3.3)
C3=2*r2; % Equation (3.4)
D_delta=abs(C3*Delta_pos(j)-Positions(i,j)); % Equation (3.5)-part 3
X3=Delta_pos(j)-A3*D_delta; % Equation (3.5)-part 3
Positions(i,j)=(X1+X2+X3)/3;% Equation (3.7)
end
end
l=l+1;
Convergence_curve(l)=Alpha_score;
% 保存每次迭代的最优适应度值
Best_scores = Convergence_curve;
% 计算平均值、标准差和最差值
average_objective = mean(Best_scores);
std_deviation = std(Best_scores);
worst_score = max(Best_scores);
% 打印结果
disp(['Best_scores: ', num2str(Best_scores)]);
disp(['Average_objective: ', num2str(average_objective)]);
disp(['Standard_deviation: ', num2str(std_deviation)]);
disp(['Worst_score: ', num2str(worst_score)]);
end代码实现
添加到你想使用的智能优化算法到工程路径，即可运行，这里运行的是灰狼算法（GWO）
main函数如下：
clear all
clc
tic
global test1 test1Label Vtest1 Vtest1Label Atest1 Atest1Label
Best_scoreM = [];
Best_posM = [];
m_accuracy = [];
m_tIter = 10;%循环次数
for kk=1:1:m_tIter
%%
%读取数据
aaArrayTest = importdata('.\data.txt');
aaArrayTest = aaArrayTest(all(~isnan(aaArrayTest),2),:);
%%
%训练集:验证集:测试集=98:1:1
aaSize = size(aaArrayTest,1);
bbSize = size(aaArrayTest,2);
trainSize = floor(aaSize*98/100);
trainSizeVa = floor(aaSize*99/100);
test11=aaArrayTest(1:trainSize,1:bbSize-1);%training data
test1Label1=aaArrayTest(1:trainSize,bbSize);%training label
Atest11=aaArrayTest(trainSize+1:trainSizeVa,1:bbSize-1);%validated data
Atest1Label1=aaArrayTest(trainSize+1:trainSizeVa,bbSize);%validated data
Vtest11=aaArrayTest(trainSizeVa+1:aaSize,1:bbSize-1);%test data
Vtest1Label1=aaArrayTest(trainSizeVa+1:aaSize,bbSize);%test label
%norm
[test1,minp,maxp,test1Label,mint,maxt] = premnmx(test11',test1Label1');
Atest1 = tramnmx(Atest11',minp,maxp);
Atest1Label = tramnmx(Atest1Label1',mint,maxt);
Vtest1 = tramnmx(Vtest11',minp,maxp);
Vtest1Label = tramnmx(Vtest1Label1',mint,maxt);
Atest1 = Atest1';
Atest1Label = Atest1Label';
test1 = test1';
test1Label = test1Label';
Vtest1 = Vtest1';
Vtest1Label = Vtest1Label';
%%
%使用元启发算法优化SVR超参数
SearchAgents_no=30;
Function_name='F1';
Max_iteration=1; function
[lb,ub,dim,fobj]=Get_Functions_details(Function_name);
[Best_score,Best_pos,ALO_cg_curve]=GWO(SearchAgents_no,Max_iteration,lb,ub,dim,fobj);
%%
%验证集测试误差
Best_posM=[Best_posM;Best_pos];%最优位置或变量
Best_scoreM=[Best_scoreM,Best_score];%最优MSE
%测试集测试，训练集统一不变。
[accuracy,predict] = LinearSVR(Best_pos,2);
m_accuracy = [m_accuracy,accuracy];
end
display(['mean MSE of Validation data is \m ', num2str(mean(Best_scoreM))]);
display(['mean MSE of test data is \m ', num2str(mean(m_accuracy))]);
toc %计时
