ITeye博客

fourinone的博客

fourinone · 共 44 篇文章

[置顶] 下载地址和指南说明

Fourinone当前最新版本为4.17.10版本,原Google code迁移到github code,原国内oschina code和csdn code合并到gitee code 技术博客内容为时间倒排,新来朋友可以翻到最后一页按照数字标示查阅。 https://github.com/fourinone/fourinone https://gitee.com/fourinone/fourinone 本软件遵循apache2.0开源软件协议,自由分享 邮箱:Fourinone@yeah.net 企鹅群1:1313859 企鹅群2:241116021 企鹅群3:23321760 关于Four…

2013-08-09 14:42 · 分布式计算 并行计算 hadoop zookeeper 分布式缓存 mq 集群管理 · 评论(3)

Fourinone-4.17.10 新版本发布:单机毫秒完成上亿大数据常规统计

虽然现在最火的是AI,但是大数据和计算能力仍然是机器学习/AI算法的重要支撑,我们的业务场景大部分是通过手机终端、服务器日志不断产生日志数据,通过消息通道发送到大数据平台进行存储、加工和统计,然后在统计数据之上提供算法挖掘用户偏好行为和画像,为此,我们的关键任务是需要从海量数据里统计分析每项产品的去重用户、新增用户、pv、uv、dau(日活)、mau(月活)等指标,这个过程存储占用越少,计算时间越快越好。Fourinone(CoolHash)拥有原创数据库引擎设计能力和知识产权,能够在引擎层面灵活扩充各种功能支持,为了提供大数据统计计算的最优解决方案,4.17在引擎上增强了以下特性: 一、增…

2017-12-22 11:39 · 数据库引擎 大数据 · 评论(0)

搞懂深度学习到底需要哪些数学知识

**为了彻底理解深度学习,我们到底需要掌握哪些数学知识呢?**经常看到会列出一系列数学科目:微积分、线性代数、概率论、复变函数、数值计算等等。这些数学知识有相关性,但实际上这是一个最大化的知识范围,学习成本会非常久,本文尝试归纳理解深度学习所需要的最小化数学知识和推导过程。 http://blog.csdn.net/wemedia/details.html?id=41335

2017-07-28 16:36 · 人工智能 · 评论(0)

Fourinone如何实现并行计算和数据库引擎

本文整理自CSDN架构师专家群技术分享内容: 关于并行计算的概念有非常多,硬件落地其实就只有两种,CPU上的并行计算和GPU上的并行计算,GPU做点积这样的矢量计算(矩阵计算)有优势,但目前还运行不了操作系统和数据库,比较多用于研究性质的计算。在我们生产系统中运用最多的是CPU上的并行计算,其落地方式也只有两种,多线程和多进程。围绕多线程、多进程结合通信技术的灵活设计,它的应用范围非常广泛,不光用于并行计算,也是大部分的服务器技术、分布式技术、中间件技术的重要实现技术。 Fourinone同时提供多线程和多进程的并行计算,并且能实现两者之间的无缝切换,而不需要改一行业务计算的逻辑代码,计算过…

2016-03-03 14:05 · 并行计算 分布式计算 · 数据库引擎 · 评论(0)

如何用70行Java代码实现深度神经网络算法

http://www.iteye.com/news/31357

2016-02-18 11:43 · 并行计算 分布式计算 · 评论(0)

Fourinone-4.15.08(四不像)新版本发布

CoolHash数据库引擎介绍: http://www.iteye.com/news/29025-Fourinone-CoolHash 4.15.08升级版主要增强了CoolHash以下功能: 1、为了方便在Tomcat等多线程服务器内调用,开通了CoolHash的多线程客户端支持(4.05版由于jvm安全隔离性考虑只支持多进程客户端),提升数据库引擎对单条数据读写的高并发低延迟处理能力,做到1000-5000级别多线程并发读写几毫秒完成(网络访问,单server,8核8g内存普通配置)。详见自带Demo:ThreadClient.java 2、提供了CoolHash所有数据库操作的异步支持…

2015-08-24 14:12 · 并行计算 分布式计算 · 数据库引擎 · 评论(0)

2015年中国数据库大会CoolHash架构PPT

http://wenku.it168.com/d_001613593.shtml 或者本页附件下载

2015-04-22 20:24 · 数据库引擎 · 评论(0)

CoolHash数据库引擎压测对比报告

Coolhash当前性能指标:读写吞吐量超过百万,千万级别查询1秒完成,连续48小时打满CPU强压力运行稳定。redis官方公布读写性能在10万tps,leveldb官方公布写性能在40万tps,读在6万tps,redis和leveldb都是倾向k/v高速读写,但不具备高效检索功能,没有join关联设计。coolhash可以拿去pk世界上任何的数据库引擎产品。 下面以redis为例进行了详细测试和技术分析 ,leveldb的性能可详见其官方资料,在写性能上优于redis,但是读性能和多数据结构支持上不如redis,leveldb读代价高是因为需要在内存以及各级数据文件逐项查找并要优先考虑数据…

2014-07-09 21:09 · 分布式文件 · 评论(4)

CoolHash数据库的产品宣言(Fourinone4.0版)

Fourinone4.0版新特性:一个高性能的数据库引擎CoolHash(酷哈嘻) 一、前言:如何写一个数据库 如果将操作系统和业务应用之间的软件都统称中间件的话,那么最重要的软件无疑是数据库,它比web应用服务器市场更大,几乎所有的业务系统都需要数据库,所有的企业都会购买数据库。无论是早期的商业智能也好,数据分析挖掘也好,近年的分布式存储也好,大数据也好...围绕数据变着花样的新理念新技术再多,都是“乱花渐欲迷人眼,浅草才能没马蹄”,其实最核心的还是数据库技术。 就像华为想进军软件市场已经很久了,我脑海里一直惦记着数据库技术,几年来不断收集数据库实现技术,但是一直不得要领,几欲放弃,没有碰…

2014-05-06 21:29 · 分布式文件 · 并行计算 分布式计算 · 评论(11)

《大规模分布式系统架构与设计实战》图书上市

感谢java图书出版权威机械工业出版社出版了《大规模分布式系统架构与设计实战》一书,该书相对于技术博客和指南更加详细完整的介绍了fourinone的设计思想和架构原理,收集了众多典型示例并附有大量图示步骤,手把手教你掌握分布式核心技术。 详细参见: http://product.china-pub.com/3769476#con_a_1 前言 在大数据、云计算如火如荼的今天,各类技术产品顺应潮流层出不穷。大家是不是有这种感觉:Hadoop还没学完,Storm就来了;Storm刚学会安装配置,Spark、Hama、Yarn等又一起出现了;同时国内外各大云平台厂商,如Google、亚马逊、阿里云…

2014-03-17 19:58 · 分布式计算 并行计算 hadoop zookeeper 分布式缓存 mq 集群管理 · 评论(6)

如何设计一个实时流计算系统

实时流计算的场景归纳起来多半是: 业务系统根据实时的操作,不断生成事件(消息/调用),然后引起一系列的处理分析,这个过程是分散在多台计算机上并行完成的,看上去就像事件连续不断的流经多个计算节点处理,形成一个实时流计算系统。 市场上流计算产品有很多,主要是通过消息中枢结合工人模式实现,大致过程如下: 1、开发者实现好流程输入输出节点逻辑,上传job到任务生产者 2、任务生产者将任务发送到zookeeper,然后监控任务状态 3、任务消费者从zookeeper上获取任务 4、任务消费者启动多个工人进程,每个进程又启动多个线程执行任务 5、工人之间通过zeroMQ交互 我们看看如何做一个简单的流计…

2013-08-11 11:56 · 并行计算 分布式计算 · 评论(6)

fourinone-3.04.25最新版升级发布

fourinone-3.04.25最新版升级内容: 1、编译和运行环境升级为jdk7.0版本; 2、计算中止和超时中止的支持,比如多台计算机工人同时执行查找,一旦某台计算机工人找到,其余工人全部中止并返回。以及可以由工人控制或者框架控制的计算过程超时中止。 3、一次性启动多工人进程支持,可以通过程序api一次性启动和管理“ParkServer/工头/工人”多个进程,并附带良好的日志输出功能,用于代替写批处理脚本方式,方便部署和运行。 4、工人服务化模式的支持,把工人当作通用服务来使用和封装。 5、增加了相应指南和demo。 下载地址: http://code.google.com/p/fou…

2013-04-25 16:32 · 分布式计算 并行计算 hadoop zookeeper 分布式缓存 mq 云计算 · 评论(4)

从赌钱游戏看PageRank算法

谈到并行计算应用,会有人想到PageRank算法,我们有成千上万的网页分析链接关系确定排名先后,借助并行计算完成是一个很好的场景。长期以来,google的创始发明PageRank算法吸引了很多人学习研究,据说当年google创始者兴奋的找到yahoo公司,说他们找到一种更好的搜索引擎算法,但是被yahoo公司技术人员泼了冷水,说他们关心的不是更好的技术,而是搜索的盈利。后来google包装成了“更先进技术的新一代搜索引擎”的身份,逐渐取代了市场,并实现了盈利。 由于PageRank算法有非常高的知名度和普及度,我们接下来以PageRank算法为例讲述“ 并行计算+数据算法 ”的经典搭配,并且…

2013-03-27 14:09 · 并行计算 分布式计算 · 评论(1)

3月14日圆周率日—使用并行计算求圆周率π

关于圆周率大家再熟悉不过了: 我们从课本上学习到早在一千多年前,祖冲之将圆周率计算到3.1415926到3.1415927之间…计算机诞生后,计算圆周率被用来检测计算机的硬件性能,昼夜燃烧cpu看会不会出问题…另外一些人也想看看这个无限延伸的神秘数字背后是否有规律,能发现一些宇宙的秘密… 提起圆周率,不能不提及Fabrice Bellard,他被认为是一位计算机天才,在业界有着重要的影响。1996年他编写了一个简洁但是完整的C编译器和一个Java虚拟机Harissa。Fabrice Bellard发明的TinyCC是GNU/Linux环境下最小的ANSI C语言编译器,是目前号称编译速度最快…

2013-03-14 15:09 · 并行计算 分布式计算 · 评论(1)

计算过程中的故障和容灾处理

使用Fourinone可以完成大部分分布式并行计算需求, 但是计算过程中的故障和容灾处理是怎么进行的呢, 这里详细分析一下: 总的来说,Fourinone框架不会在设计中抛弃错误不处理或者容忍错误导致框架崩溃,框架通常会捕获所有的错误反馈给开发者去处理,但是框架本身不自作主张,替开发者考虑处理方案,只有这样框架才能从特定场景中抽象出来,给开发者更灵活的发挥和去满足各种更复杂业务容错情况。 那么框架究竟关注和不关注哪个层面的故障呢? 并行计算过程中,通常有两种类型的故障:一种是系统故障引起的计算中断(宕机和网络故障), 一种是业务逻辑意义上的错误数据。前者是框架关注的,后者是业务逻辑开发者关注…

2013-03-04 13:29 · 并行计算 分布式计算 · 评论(0)