ITeye博客

没有名称

s929498110 · 共 41 篇文章

《有限分布算法》来了! 抛弃一致性哈希吧

声明 《有限分布算法》由本文作者原创,知识产权为本文作者所有。该算法可以用于个人研究,以及其他非商业性或非盈利性用途,但同时您应该遵守著作权法以及其他相关法律的规定,不得侵犯本文作者的合法权益。 算法简介 该算法使用时首先需要限定集群中节点的最大数量MAX,接下来我用一个简单的例子来描述这个算法的原理。假设集群中最多有10个节点,集群中现在有一个文件test.log,那么test.log就在集群中按如下规则分布: 1. 根据文件名字符串获取哈希码:hash(test.log)=-1147914264 2. 使用哈希码作为SEED获取0-10(MAX)之间的随机序列: [9, 5, 7, 8,…

2013-07-30 11:25 · 云计算 · 技术杂谈 · 评论(3)

Google地图加密算法

几个月前因为公司的项目需要从谷歌地图抓取商户坐标,因此我花费了一个周末把谷歌地图中的地图坐标加密算法搞了出来。现在把这个算法共享出来,如果侵犯到任何人的权益,请与博主联系删除此博文。 var id = "34071021666017214025"; var x = 256 * parseInt(id.substr(0, 7), 10) + parseInt(id.substr(14, 3), 10); var y = 256 * parseInt(id.substr(7, 7), 10) + parseInt(id.substr(17, 3), 10); var lat = (2*Math.…

2013-07-29 21:26 · 技术杂谈 · 评论(4)

《转》Linux下高并发网络编程

1、修改用户进程可打开文件数限制 在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时, 最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统 为每个TCP连接都要创建一个socket句柄,每个socket句柄同时也是一个文件句柄)。 可使用ulimit命令查看系统允许当前用户进程打开的文件数限制: [speng@as4 ~]$ ulimit -n 1024 这表示当前用户的每个进程最多允许同时打开1024个文件,这1024个文件中还得除去 每个进程必然打开的标准输入,标准输出,标准错误,服务器监听 socket, 进程间通讯的unix…

2012-09-18 10:31 · Linux · 评论(0)

MFS(可能比HDFS更好的文件系统)开工了~~~

**名称:**暂命名为Magic File System(MFS) **思路:**吸取HDFS的优良设计原理,尽最大可能改良其弱点软肋。此文件系统的设计思路与HDFS有关,但是并非HDFS的衍生品,本人也尚未阅读HDFS源码。可能做到的改良以及兼容有如下几方面: 无限制的文件块数量。 采用更小更多的文件块,从而加快大文件读取。 理论上可存储无限数量的不分大小文件(前提是存储空间足够) 摒弃NameNode,所有节点可提供文件存储和文件读写功能 采用算法(Secret)可以在茫茫万计的服务器集群中精确定位特定文件所在位置,以及其副本位置。文件读取不受集群规模影响,甚至集群越大,大文件读取速度越…

2012-09-17 09:36 · 云计算 · 评论(0)

Hadoop启动异常:UnregisteredDatanodeException

启动Hadoop集群测试HBase时候,发现三台DataNode只启动成功了两台,未启动成功的那一台日志中出现了下列异常: 写道 2012-09-07 23:58:51,240 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DataNode is shutting down: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.protocol.UnregisteredDatanodeException: Data node 192.168.100.11:50…

2012-09-08 11:59 · 云计算 · 评论(2)

ZooKeeper安装与操作实例

单机安装 下载zookeeper3.4.3 ,解压缩至/usr/zookeeper. 复制conf/zoo_sample.cfg重命名为conf/zoo.cfg,执行命令 > sudo cp conf/zoo_sample.cfg conf/zoo.cfg 修改zoo.cfg文件,编辑为如下: tickTime=2000 #心跳间隔 dataDir=/home/sulin/zookeeper #数据存放目录 dataLogDir=/usr/zookeeper/logs #日志存放目录,手动存在。如果没有貌似启动不成功 clientPort=2181 #客户端连接端口 # 此时已经可以通过“b…

2012-08-03 09:40 · 云计算 · 评论(6)

ZooKeeper编程向导——源自官方文档

介绍(源自ZooKeeper官方文档) 学习HBase过程中,发现它与ZooKeeper的关系比较密切,于是专门学习了一下ZooKeeper,下面是ZooKeeper官方文档的半翻译版(我( magic-sulin )并非一字一句的照抄,而是写入了自己的理解)。此文档是为了向那些希望使用ZooKeeper协调优势自己分布式应用的人提供编程向导,它包含了理论和实战两部分!前四节将对ZooKeeper进行理论上比较深入的探讨,这对我们理解ZooKeeper的工作原理和怎么使用ZooKeeper非常重要。此四节不包含编程的源代码,但是它会通过讲解一些分布式计算相关的问题来让你对ZooKeeper加…

2012-08-03 09:16 · 云计算 · 评论(0)

[SpringMVC]修改源码使之能够更加智能的自动装配request请求参数.

记得以前用Struts2时候,有种说法好像叫做自动装配(可能名字记错了,见谅),就是将request中的<form>表单自动组装为java对象。然而后来使用SpringMVC之后,发现SpringMVC这一点做得有些差强人意。因为Struts2能够自动组装的是**<input name="obj.property">** 这种request参数名,而SpringMVC自动组装的是**<input name="property">** 这种参数名,虽然仅仅少了个obj. ,但是用起来差别很大。 比如在管理系统中,有时候一个form表单中会涉及多个类。我最近遇到的一个form表单中有两种类,一个…

2012-06-11 09:14 · 技术杂谈 · 项目构架 · 评论(0)

object file not found 错误

不得不说汇编编译环境太恶略了! 正常的一个程序链接时候提示错误: 写道 Object Modules [.obj]: exercise2_1.obj Run File [exercise2_1.exe]: "exercise2_1.exe" List File [nul.map]: NUL Libraries [.lib]: Definitions File [nul.def]: LINK : fatal error L1093: exercise2_1.obj : object file not found 反复baidu、google始终得不到答案, 最终突然鼓捣出来了问题所在。。。 原…

2011-10-27 15:32 · 兼顾C/C++ · 评论(1)

Java NIO实例诠释

几个月前看过一篇博文: http://suhuanzheng7784877.iteye.com/blog/1122131 写的很棒,也很重口味。。。 十一闲着没事,又想起这篇文章来(印象挺深的)。想着想着就感觉这篇文章有一处问题,写出来希望大家分析分析是我想错了,还是原文本就有些许Bug。 首先申明: 比较重口味,严谨者赶紧点击右上角 suhuanzheng7784877 写道 异步 I/O 是一种 没有阻塞地读写数据的方法。通常,在代码进行 read() 调用时,代码会阻塞直至有可供读取的数据。同样, write() 调用将会阻塞直至数据能够写入。异步 I/O 调用不会阻塞。相反,您将注册…

2011-10-03 13:18 · 技术杂谈 · 评论(0)

Java 书籍 Top-10

下面是Java Inside上推荐的十本Java书籍(文章来源),我把中文版的也列了出来。 1)Java Language Specification, Third Edition (by James Gosling) 本书由Java技术的发明者编写,是Java TM编程语言的权威性技术指南。如果你想知道语言之构造的精确含义,本书是最好的资源。 中文版链接:《Java编程规范》 英文版链接:《The Java Language Specification (3rd Edition) 》 2) Effective Java , Second Edition (by Joshua Bloch) …

2011-09-08 07:59 · 技术杂谈 · 闲言碎语 · 评论(1)

J2EE集群之failover小点子

对J2EE集群不太了解的人首先可以看看附件里面的《解开J2EE集群的神秘面纱》, 讲的挺好的。 J2EE的服务器集群主要的就是 负载均衡 和 失败转移 这些。 负载均衡这个话题都烂大街了,随处可以找到相关的帖子或博文,我也就不谈了。 但是这些帖子中大部分都只谈了负载均衡,顶多再说一下 Tomcat 的 HttpSession 复制(失败转移的一种解决方案吧)。更有甚者,直接决定“集群中服务器节点宕机丢失的部分 HttpSession 不碍事”。。。 我的感觉就是, 像 Tomcat 的 HttpSession 交叉复制,如果集群中服务器过多对性能的影响肯定非常之大。 像 JBoss、WebL…

2011-08-21 16:49 · 服务器深入 · 评论(0)

Spring集成Hibernate之Session管理

用Hibernate的人都知道Hibernate最原始的使用Session方式(异常忽略): 获取SessionFactory 打开Session 打开事务(可选) 执行操作 关闭事务(可选) 关闭Session 当然还有另外一个方法 getCurrentSession() 这个方法就是通过SessionContext来减少Session创建的。比如常用的ThreadLocalSessionContext: Session current = existingSession( factory ); if (current == null) { current = buildOrObtainS…

2011-08-14 16:03 · 技术杂谈 · 评论(0)

JDBC事务与隔离测试牵出的“代理”问题和“被屏蔽”问题

以前一直用数据库、JDBC、Hibernate。只知道事务有四个特性而没有深入探究一下 最近想测试一下他们到底是什么样的,还有各种各样的并发效果是什么样的。就自己搞了一个测试。 因为常规的JDBC插入数据、读取数据都基本上算是“瞬时”的,效果感觉很难扑捉,就想到了使用插入读取大对象(CLOB/BLOB)。并且使用 SocketInputStream 进行对象的“入库”(可以通过限制SocketInputStream 传输速度使一个JDBC事务延长到几秒、几十秒、等等)。 然后在“出库”时也进行了输入流的手动延阻。 最终效果什么的都实现了、 测试也挺不错。 但是这个 SocketInputSt…

2011-07-17 06:43 · 技术杂谈 · 评论(0)

Hibernate的动态模型

简介 Hibernate中持久化实体没有必要一定是POJO或者JavaBean对象。 Hibernate也支持动态模型进行持久化实体和数据库之间的映射。 官方文档(3.6)说“此功能正在试验中,也许会在未来版本中发生变化”,现在4.0也出了, 不知道是否发生了变化 动态模型就是完全抛弃了 Java 类的定义, 仅仅定义映射文件即可, 然后在程序中直接使用 Map 进行实体的操作(有一点像结构体那样额。。。)。 动态映射的好处(官方文档):数据变化所需要的时间少了,因为原型不需要实现实体类。你无法进行编译期的类型检查 ,并可能由此会处理很多的运行期异常。但是有了 Hibernate 映射,它使…

2011-07-10 11:05 · 技术杂谈 · 评论(0)