Mac下Hadoop2.7.x配置伪分布环境(wordcount运行)

关于Hadoop的安装与配置其实挺多了,不过大多是1.x.x系列的.将自己的安装配置做个笔记记录.

前言

操作系统:Mac OS X 10.10
Hadoop版本: 2.7.2

安装JDK并配置环境变量

配置Mac OS自身ssh环境

配置ssh环境,在终端中输入

1
ssh localhost

Mac实用小技巧

使用Mac已经很长一段时间了,从最开始的生疏到慢慢熟悉,掌握了一些实用的小技巧,这里略作整理,不定期更新.

终端忽略大小写补全

打开终端,输入:

Mac设置环境变量

在mac,linux中配置环境变量对于新手来说,是一个有点头痛的问题.因为经常看到不同的方式配置环境变量.到底应该怎么配置,配置在什么地方(全局/用户级).做个简要的笔记.

Shell类型

首先需要判断下使用的Mac OS X是什么样的Shell,使用命令echo $SHELL
如果输出的是:csh或者tcsh.那么就是C Shell.
如果输出的事:bash,sh,zsh,那么就是Bourne Shell的一个变种.
Max OS X 10.2之前默认的是C Shell.
Mac os X 10.3之后默认的是Bourne Shell.

Oracle-数据库实例、表空间、用户、表之间的关系(转)

完整的Oracle数据库通常由两部分组成:Oracle数据库数据库实例

1)数据库是一系列物理文件的集合(数据文件,控制文件,联机日志,参数文件等);
2)Oracle数据库实例则是一组Oracle后台进程/线程以及在服务器分配的共享内存区;

在启动数据库服务时,实际上实在服务器内存中创建一个Oracle实例(即在服务器内存中分配共享内存的后台内存),然后由这个oracle数据库实例来访问和控制磁盘中的数据文件。Oracle有一个很大的内存块,称为全局区(SGA)

Spring MVC + Velocity实现国际化配置

web开发中,国际化是需要考虑的一个问题,而且这个问题一般是越早敲定越好(不然等到系统大了,翻译是个问题).下面是结合实际项目(Spring MVC+Velocity)对实现国际化的一些总结,项目地址:https://github.com/kiritor/hr
需要说明的是,该项目使用的是基于Cookie的国际化配置,其他方式参考本文.

Spring国际化

I18N:作为”国际化”的简称,其来源是英文单词internationalization的首末字符i和n,18为中间的字符数.

Oracle导出、导入、备份

Oracle数据库导入、导出imp/exp

       imp/exp命令可以实现oracle数据库的还原、备份、迁移.
       实际的开发中,由于测试和开发”并行”,会有开发库、测试库的数据迁移,切换,以及数据库升级等。这些操作都伴随着数据库的导入、导出操作.对于Oracle通过导出、导入来进行数据库的迁移(逻辑)是非常方便的,只要安装了oracle客户端,并建立了连接(通过Net configuration Assistant添加正确的服务命名),你就可以把远端的数据库导出到本地,同样你也可以把dmp文件从本地导入到远端数据库服务器中.利用这个功能,可以构建两个相同的数据库:开发库、测试库,并且快速的实现两个库之间数据的迁移.

Oracle dblink实践

前言

    项目开发中,涉及到不同模块之间的数据流转,但是模块间的底层数据又不在同一个数据库中,要实现不同模块间的数据交互方法其实很多。比较常见的两种方式便是webService和dblink。

    webService方式即是模块之间各自提供数据流入接口和流出接口,这种方式需要开发,而且由于业务变化很容易造成接口的调整,好处是各业务模块的底层数据库是完全耦合的。在大型系统(模块多且之间交互复杂)不利。

    dblink的方式是通过创建dblink到远程数据库,执行远程程序,这样一来,模块间的数据流转就会变得非常简单,各自模块无需提供数据接口。但是有一个问题是,模块底层数据库之间不是耦合的,在系统实际上线之前我们要规范好各个模块数据库之间的link关系,之后按照规范,部署数据库实例,前期的准备工作比较麻烦。

Oracle之物化视图

问题描述

    项目中,物料的摘要字段是通过视图拼接各个基础字段形成的,单条查询并不会存在性能问题。但是考虑到物料的结构化,对摘要进行搜索的时候,如果物料库的大小以量级的大小增加,那么性能将是一个严重的问题。单纯的视图优化(索引等)并不能根本上解决该问题。经过一些思考,决定采用物化视图的方式来解决。

物化视图概述

    物化视图(material view)是相对于普通视图而言的,普通的视图是虚拟表,本质上是DBMS转换为对视图SQL语句的查询,性能上没有好处。物化视图可以看成是一种特殊的物理表,他包括一个查询结果的数据库对象,可以是远程数据库的本地副本,也可以是基于数据基本求和的汇总表。物化视图存储基于远程的数据(本地可以以),也被称为快照。