使用Fourinone可以完成大部分分布式并行计算需求, 但是计算过程中的故障和容灾处理是怎么进行的呢, 这里详细分析一下:
总的来说,Fourinone框架不会在设计中抛弃错误不处理或者容忍错误导致框架崩溃,框架通常会捕获所有的错误反馈给开发者去处理,但是框架本身不自作主张,替开发者考虑处理方案,只有这样框架才能从特定场景中抽象出来,给开发者更灵活的发挥和去满足各种更复杂业务容错情况。
那么框架究竟关注和不关注哪个层面的故障呢?
并行计算过程中,通常有两种类型的故障:一种是系统故障引起的计算中断(宕机和网络故障), 一种是业务逻辑意义上的错误数据。前者是框架关注的,后者是业务逻辑开发者关注的。
系统故障导致网络断掉或者宕机,框架会捕获故障信息并通告,工头在检验工人执行状态时会获知,并进行相应的业务上的故障处理,比如重发或者单独记录日志。业务逻辑意义上的错误数据,通常在工人的业务实现逻辑里去判断,比如计算结果的金额为负数是一个不符合业务要求的错误数据,这个是由开发者去控制,框架不做业务逻辑上的错误处理。
针对故障,框架又是怎样容灾的呢?
通常一个典型的分布式计算结构,由工头、工人、职介所组成,我们详细分析一下这几个角色在故障时各自如何容灾:
工头是嵌入式的,他不是一个服务程序,由嵌入他的系统new工头类并管理他的生命周期,工头不存在恢复或者容灾的概念,就好比我们写一个helloworld的main函数,很少考虑程序运行到hello, world没有输出时就宕机了。但是如果嵌入工头的系统是一个定时执行的计算任务时,也许要考虑容灾,因为涉及单点问题,可以让两个工头竞争一个分布式锁实现(
详细参考分布式锁demo)。
工人和职介所是服务程序,如果工人节点故障,职介所会实时感知,工头分配计算时会获取到最新活跃工人数量,如果是职介所节点故障,Fourinone实现了领导者选举机制,会实时切换到备份职介所上(
详细参考统一配置管理主备领导者切换)。
换句话说,如果一个工人节点在计算开始前发生故障不可用,工头通过getWaitingWorkers获取可用工人时不会包括该工人节点,因为职介所会感知每个工人的可用状态。
如果工人在计算过程中发生故障,框架会进行截获,然后提前返回计算结果,并设置结果的状态为异常。也就是正常完成计算时:result.getStatus()==WareHouse.READY
计算过程发生故障中断时:result.getStatus()==WareHouse.EXCEPTION
这样工头就可以根据检查结果的状态,来做故障时的容灾处理。
实际上也可以在工人的doTask实现方法内部捕捉业务异常,由开发者根据程序实现自由决定。
以下demo演示了Fourinone计算过程中的故障容灾处理:
FaultCtor:是一个工头实现,它调用集群中一个工人doTask执行任务,然后轮询该结果,判断结果是否完成或者是否异常,如果结果状态为异常,则打印消息。实际上这里只是简单演示机制,现实场景中,可以将任务先记录,工人执行成功后再删除并跳转下一个任务,如果异常则继续重发其他工人执行该任务,或者采用其他故障策略,统一记录到错误日志,在其他时间再另行排查处理。
FaultWorker:是一个工人实现,它模拟了一个任务执行,睡眠了8秒钟,然后再制造一个空指针异常。该工人模拟了两种系统异常状况,计算过程中可以关闭它,或者等待它运行到空指针异常查看效果,注意这里doTask本身是不抛出和捕捉异常的,由框架去处理。
运行步骤:
编译demo的java类:Javac –classpath fourinone.jar; *.java
1、 启动ParkServerDemo(它的IP端口已经在配置文件的PARK部分的SERVERS指定)
Java –classpath fourinone.jar; ParkServerDemo
2、 运行FaultWorker(传入端口号参数)
Java –classpath fourinone.jar; FaultWorker 2008
3、 运行FaultCtor
Java –classpath fourinone.jar; FaultCtor
运行后工人进入8秒中“任务执行”,这时可以将该工人进程关闭,然后会查看到工头界面输出something wrong about wks[0] result,说明框架已经屏蔽系统故障并反馈到任务结果的异常状态中,如果8秒中内不关闭,会引发另外一个空指针异常,产生同样的异常状态。
完整demo源码如下:
// ParkServerDemo
import com.fourinone.BeanContext;
public class ParkServerDemo
{
public static void main(String[] args)
{
BeanContext.startPark();
}
}
// FaultWorker
import com.fourinone.MigrantWorker;
import com.fourinone.WareHouse;
import com.fourinone.Workman;
public class FaultWorker extends MigrantWorker
{
public WareHouse doTask(WareHouse inhouse)
{
System.out.println(inhouse.getString("word"));
try{Thread.sleep(8000L);}catch(Exception ex){}
String[] strs = null;
System.out.println(strs.length);
WareHouse wh = new WareHouse("word", "hello ");
return wh;
}
public static void main(String[] args)
{
FaultWorker mw = new FaultWorker();
mw.waitWorking("localhost",Integer.parseInt(args[0]),"faultworker");
}
}
// FaultCtor
import com.fourinone.Contractor;
import com.fourinone.WareHouse;
import com.fourinone.WorkerLocal;
import java.util.ArrayList;
public class FaultCtor extends Contractor
{
public WareHouse giveTask(WareHouse inhouse)
{
WorkerLocal[] wks = getWaitingWorkers("faultworker");
System.out.println("wks.length:"+wks.length);
WareHouse wh = new WareHouse("word", "hello");
WareHouse result = wks[0].doTask(wh);
System.out.println("result:"+result);
while(true){
if(result.getStatus()==WareHouse.READY){
System.out.println("result:"+result);
break;
}
else if(result.getStatus()==WareHouse.EXCEPTION){
System.out.println("something wrong about wks[0] result");
//doTask(wh) again or put wh into log
break;
}
}
return null;
}
public static void main(String[] args)
{
FaultCtor a = new FaultCtor();
a.giveTask(null);
a.exit();
}
}
分享到:
相关推荐
我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算,把更多的cpu和内存利用上,来解决我们数量大和计算复杂的问题,当然这个过程中要考虑到分布式的协同和故障处理。如果仅仅是为了实现这个简单的初衷,为...
数据加密:对重要数据进行加密处理,确保数据在传输和存储过程中的安全性。 访问控制:设置严格的访问控制策略,限制非法用户对数据的访问和操作。 五、运维管理 监控系统:建立全面的监控系统,实时监控数据中心的...
我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算,把更多的cpu和内存利用上,来解决我们数量大和计算复杂的问题,当然这个过程中要考虑到分布式的协同和故障处理。如果仅仅是为了实现这个简单的初衷,为...
当ROSE HA代理程序监测到某个服务或硬件发生故障并作相应处理后(可由用户设定)仍不能成 功时,则开始切换服务:将IP飘移到相同用户名的另一台Standby服务器上,磁盘阵列中 的数据库由主服务器切换到从服务器,并...
当ROSE HA代理程序监测到某个效劳或硬件发生故障并作相应处理后〔可由用户设定〕仍不能成 功时,那么开场切换效劳:将IP飘移到一样用户名的另一台Standby效劳器上,磁盘阵列 中的数据库由主效劳器切换到从效劳器,...
网络入侵检测 为了有效的弥补防火墙在某些方面的弱点和不足,入侵检测系统作为一种积极主动的安 全防护工具,为网络安全提供内部攻击、外部攻击和误操作的实时和动态检测,在计算 机网络和系统收到危害之前进行报餐...
数据恢复在应急响应处理中具有举足轻重的作用。数据恢复包括:系统文件的恢复、系统配置内容的恢复、数据库数据的恢复等等 网络数据安全全文共38页,当前为第5页。 应急响应和数据恢复 应急响应的一般阶段: 1、确认...
三、自查发现的主要问题和面临的威胁分析 1、发现的主要问题和薄弱环节 在本次检查过程中,也暴露出了一些问题,如:由于投入不足,光电系统出现故障,致使系统设备停止运行,虽然不会丢失数据,但是服务会出现中断...
三、自查发现的主要问题和面临的威胁分析 1、发现的主要问题和薄弱环节 在本次检查过程中,也暴露出了一些问题,如:由于投入不足,光电系统出现故障,致使系统设备停止运行,虽然不会丢失数据,但是服务会出现中断...
确保用户的机密数据只能被经过授权的人,在授权的应用环境中,在指定的时间内,进行指定的权限操作,并且整个过程会被详细、完整的记录下来------这就是软旭DISE的独到之处,事前加密预防、事中监督控制、事后审计...
在分布式环境中,相同的业务应用分布在不同的机器上,有些业务逻辑(例如一些耗时的计算,网络I/O处理),往往只需要让整个集群中的某一台机器进行执行,其余机器可以共享这个结果,这样可以大大减少重复劳动,提高...
Access 微软 Access是一种桌面数据库,只适合数据量少的应用,在处理少量 数据和单机访问的数据库时是很好的,效率也很高 小型企业 三、 Oracle数据库概述 ORACLE数据库系统是美国ORACLE公司(甲骨文)提供的以...