ITeye博客

RainSoul

白粥若水 · 共 47 篇文章

突然发现的HDFS与GFS在实现上的一些不同

GFS:Google File System HDFS:Hadoop Distribute File System 首先,有一点要确认的是,作为GFS的一个最重要的实现,HDFS设计目标和GFS是高度一致的。在架构、块大小、元数据等的实现上,HDFS与GFS大致一致。但是,在某些地方,HDFS与GFS又有些不同。如: 1、 快照(Snapshot): GFS中的快照功能是非常强大的,可以非常快的对文件或者目录进行拷贝,并且不影响当前操作(读/写/复制)。GFS中生成快照的方式叫copy-on-write。也就是说,文件的备份在某些时候只是将快照文件指向原chunk,增加对chunk的引用计数…

2012-05-13 21:41 · 云计算 · 评论(1)

日记 or 小小说 :想进腾讯的师弟师妹们,别学我 (四)

请原谅我用这样的标题将你们的注意力引来,其实这只是因为我想不到更好的标题了。 突然想起来文章可能会涉及到个人隐私(虽然我一直宣称是小说,文中人物是虚构的,但骗自己有意思么?),再加上最近发生的某些事,这个主题就不打算继续下去了。 虽然可能是我理解问题,也可能是我太过于敏感,甚至是我个人的异想天开,反正我是没心情没动力写下去了。难道我会当众说是我才华有限没有灵感写不下去的原因么? 文章虽然不咋地,但是确实花了我比较大的心血,也在某种程度上说出了我一直想说的话,停下来我自己也不好过的...但是没办法,人是会长大的(很奇怪,怎么突然上升到了这种层次?),可惜我一直没长大... 就这样吧。如果哪一天…

2012-05-02 08:24 · 扯淡的,你觉得呢 · 评论(0)

日记 or 小小说 :想进腾讯的师弟师妹们,别学我 (三)

建议您先看:日记 or 小小说 :想进腾讯的师弟师妹们,别学我 (一)(二) ~~~~~~~~~~~~~~~~~~~~~我是分割符号~~~~~~~~~ 每一个值得被历史铭记的时刻总是会出现一些不能用科学来解释的现象的,比如,刘邦起义时杀了一条白龙,比如,孔子出生时死了一条麒麟,又比如,我在一面的时候,天上竟然出现了一个圆圆的、发着刺眼亮光的东西,直到傍晚才慢慢消失... 不记得是谁说过的,人都会有一种阶段性懒惰症。就是说,一个人在完成了一个小的任务之后(并不意味着阶段性目标的结束),他(她)总是会不由自主的找寻借口,企图获得片刻的时间放松下来。我们也不例外。 兔子提议去武大看樱花。我发现女孩…

2012-04-26 20:03 · 扯淡的,你觉得呢 · 评论(4)

日记 or 小小说 :想进腾讯的师弟师妹们,别学我 (二)

建议您先看:日记 or 小小说 :想进腾讯的师弟师妹们,别学我 (一) ~~~~~~~~~~~~~~~~~~~~~我是分割符号~~~~~~~~~ 请先允许我介绍下下文可能出现的配角(注意,可能而已,配角就要有配角的觉悟!!) 小峰子:猥琐四眼文艺男,此人来自中国著名的犯罪之乡,却有着一颗出污泥而不染的心。平常关注过我并且仔细研读过我文章的同学可能知道,此人有一个特殊的爱好,就是偷看老奶奶。当然,这个爱好还并不足以让他从大信息院的众猥琐男中脱颖而出,他的另外一个爱好就是...小帕...你懂的... 压力哥,本名压力锅,又名十三哥。典型浪荡工科男,因总是感到责任大,压力大而出名。其人最大的爱好就…

2012-04-25 21:28 · 扯淡的,你觉得呢 · 评论(0)

日记 or 小小说 :想进腾讯的师弟师妹们,别学我 (一)

应该说,这一次的武汉之旅是一个临时而仓促的决定。 大约在十天之前,我混在一个约50人的团队中参加了腾讯在武汉举行的实习生笔试。那次,虽然我们一行人都极力克制自己(比如,我们游玩黄鹤楼都没买门票..),但是,我们仍然为武汉市的GDP的发展提供了一个强有力的增长点,使得武汉市更加接近“国际大都市”这个称谓了,从这一点讲,我们对不起长沙.. 从武汉回来之后就是等待。我发现别人总是喜欢用“漫长”来形容等待一词,可是我不喜欢。人们总是用“漫长”这次词来表现自己内心的在乎与最自己能力的认可——你如果觉得等不来你还会等么?我承认,在开始的那几天,我也一直在“漫长”的等待,可是过了几天,我似乎忘了这件事——…

2012-04-25 20:53 · 扯淡的,你觉得呢 · 评论(3)

各位师兄妹,来刷腾讯了,好多经验...

在经历了多次打击(其中金山那次尤为严重),蛰伏闭关一个月后,我们再次踏上了征程,组团去刷超级大BOSS----腾讯实习生招聘。 这次去武汉的团队规模较之上次更为庞大,DPS+Tank+奶妈,近50人了。而且,一个让队伍中别的寂寞男生异常兴奋的消息是,这次队伍中女孩子的比例非常大哦... 首先鄙视下分组,极端鄙视,原因就不说了。PS:某某某,我都这样了,你为什么要突然离开... 古人言伤春悲秋,你知不知道,芳菲的四月天里,K1074次火车上却撒下了我秋晨版的想念,落寞的神情和寂寞的背影(45度远目ing)... 靠,好恶心的话,我自己吐个先... 一上火车,大家都比较激动。松哥领袖群男打扑克,…

2012-04-16 13:30 · 扯淡的,你觉得呢 · 评论(13)

浅谈云计算中的平台无关性

云计算,这个词汇越来越成为IT企业的一种趋势,甚至于可能在未来的十年到二十年成为人们生活的一个重要组成部分。在2012年的博鳌亚洲论坛上,主持人这样形容:云计算将改变企业,社会,文化的关系,甚至于改变文明本身。 云计算,是一种集中管理服务资源的方式,这些资源包括计算能力、数据存取、软件服务等。峰子@风子柒认为未来的云计算会和另一个热门词汇“物联网”结合起来,理由很简单,物联网的实现背后会涉及极高量级的计算任务,考虑到超级计算机的局限,在当前技术下,云计算/分布式计算是唯一可能的解。那么,面对平台复杂度远超传统互联网的情形,比如容忍各式各样的传感器、OS、微型处理器,关注平台无关性成为必须的选…

2012-04-04 22:56 · 云计算 · 评论(0)

软件测试战略_测试那些事

这几天看了一些关于软件工程里面软件测试方面的书籍,感觉蛮有收获,试与诸君共分享之。 软件测试,对我这个才进入软件领域两年不到的菜鸟来说是一个既熟悉又陌生的词汇。每个软件行业的人不可能没听说过软件测试,但是,我相信大多数和我一样的菜鸟都没有真正对自己写的软件程序做过系统的测试工作。 说到这里,有很多同学都不乐意了。我怎么没测试了?!!我都是写一段代码就run一下,保证一段代码成功了才写后面的好不好。而且,我写的程序都能正确运行好不好。OK,OK,先不谈这个,当年我也是这么认为的,关于这点我们首先来界定下何为软件测试再说。 官话:软件测试的目的是为了发现软件设计和实现过程中的疏忽说造成的错误。 …

2012-03-21 16:35 · 读书心得 · 评论(0)

金山的两次笔试题目

都是2012金山在武昌招聘时的笔试题。都是考试完了自己回忆的,可能有误差 第一个是正式招聘的题目: 1:String、StringBuild、StringBuffer的区别 2:想让基类不被子类继承,用什么方法 3:Java为什么可以在不同平台上运行?(Java的跨平台性) 4:给定一个数组,求第二大数 5:用递归和非递归实现Fib(K,n)函数,Fib(K,n)定义略,记不太清楚了 6:设计(实现?)一个日志类框架。原题比较长,大致这个意思 第二个是后来单独出的对实习生的笔试,本来是没有的,后来单独出的貌似 1:求2个大整数之和 2.1:二叉树排序 2.2:将排好序的二叉树转为双向链表输出…

2012-03-14 11:15 · 扯淡的,你觉得呢 · 评论(2)

大武汉游记——金山历练

大武汉组团刷副本升级归来啦!!! 真心不知道该用什么样的词汇来形容这次的武汉之旅。悲催?伤心?应该不是,算起来除了久等面试通知不至那天心情很是低落以外,自己一直是很意气风发的,毕竟武汉的四天之旅阳光普照,春风和煦,MM众多,一扫长沙连续一个多月的阴霾湿气。那么,胜利欢呼?哎,被人无视的感觉也不好受啊... 重拾那些天的记忆,应该被记住的事情其实蛮多的。 首先,终于知道什么叫应聘,也终于知道了所谓廉价劳动力的“廉价”。第一次去投简历是在华科光谷体育馆内。网上看开始时间是上午10点,我们一行18人于9:50至是处,但见一条长龙蜿蜒而去,翻山越岭,过河搭桥,不知其所踪。我靠,从门口走到队伍最后排队…

2012-03-14 11:10 · 扯淡的,你觉得呢 · 评论(0)

OpenCV——Mat、CvMat、IplImage类型浅析

OpenCV中常见的与图像操作有关的数据容器有Mat,cvMat和IplImage。 一、Mat类型:矩阵类型,Matrix。 在openCV中,Mat是一个多维的密集数据数组。可以用来处理向量和矩阵、图像、直方图等等常见的多维数据。 Mat有3个重要的方法: 1、Mat mat = imread(const String* filename); 读取图像 2、imshow(const string frameName, InputArray mat); 显示图像 3、imwrite (const string& filename, InputArray img); 储存图像 Mat类型较C…

2012-02-17 16:50 · 开源软件学习 · 评论(4)

hadoop单机转伪分布笔记

<!-- @page { margin: 2cm } PRE.cjk { font-family: "文泉驿微米黑", monospace } P { margin-bottom: 0.21cm } --> 一、伪分布( Pseudo-Distributed )与分布式( Fully-Distributed )的区别 我们知道, hadoop 是运行在一个网络集群中的软件。在这个集群中,有 master 节点(一个逻辑上的节点包括二台物理节点),也有 node 节点(包括多台 namenode 节点和 datanode 节点)。也就是说,一个分布式 hadoop 程序的测试与运行,必须有多台…

2012-02-12 14:27 · 云计算 · 评论(0)

Linux相关__Linux目录配置标准FHS

目录配置标准? 虾米意思? 大多数Window用户对目录的概念就是C、D、E、F盘和树形目录,他们(也许是你们)对于文件目录管理有着个性的想法,甚至毫不关心。比如,读者们的JVM程序放在什么地方。相信答案会千奇百怪。 那么,这样的做法有什么问题没有?应该说是没什么大问题的。因为WIndow是单用户OS,也就是说它是“个人的”,外人很少接触,因此,也就不用关系你 的配置习惯,你可以随意配置。然而,Linux则不同。Linux是多用户OS,也就是说有可能你们公司的所有人用的是同一个操作系统,你能想象当你们公 司团队一起做项目时,你要不时的去问你的伙伴:“嘿,那个什么什么你放到哪了?”。或者,你进…

2012-02-12 14:24 · Linux相关 · 评论(0)

hadoop错误汇总

该文件记录学习hadoop过程中碰到的一系列问题 (1)、hadoop测试中碰到的log4j:NULLAppender问题 前面安装hadoop单机版,碰到一个问题,一直没解决,就是在用hadoop versione命令查询hadoop版本的时候,出现 log4j:ERROR Could not find value for key log4j.appender.NullAppender log4j:ERROR Could not instantiate appender named "NullAppender". 这个问题可能出现在hadoop应用中任何一个需要用到系统日志的应用当中(lo…

2012-01-15 12:51 · 云计算 · 评论(1)

Search Engine_从网络爬虫到PageRank算法

今天开始研究搜索引擎——2011_12_12,不知道能坚持到什么时候?? 要研究搜索引擎,我觉得必须要简单的了解如何获取网页和最简单的网页排名算法——PageRank算法。 一、Spider程序 蜘蛛、爬虫、机器人或者其它的别的名字,这些东西是搜索引擎的基础。这些程序会在网络上巡逻,在网络中的各个网页中穿梭,将收集到的网页内容(文本、链接等等)存储到数据库中,作为搜索引擎工作的“原材料”。 我们知道,一个网页通常会包含多个外部网页的链接地址(如,你从新浪首页可以链接到淘宝的页面),而这些外部链接本身也是网页,也会包含多个外部网页的链接地址,以此循环... 一个重要的理论是:从有限个网页出发,…

2011-12-13 20:41 · 搜索相关 · 评论(2)