Openfiler + Redhat 5.4 Oracle 11gR2 RAC 安装文档

Oracle 11gR2 RAC的安装。这个实验采用的架构：

虚拟机VMServer 2.0 + REDHAT 5.4 +Oracle 11gR2+openfiler存储+ DNS server (scan)，openfiler通过iscsi连接到虚拟机上，作为共享设备。

参考Oracle官方文档：

在Oracle Enterprise Linux和iSCSI上构建您自己的Oracle RAC 11g集群

http://www.oracle.com/technology/global/cn/pub/articles/hunter-rac11gr2-iscsi.html

一．准备工作

1.存储的分配：

这里对在openfiler上划分了3个target。CRS, FRA和Data。然后在服务器上通过multipath进行绑定。虚拟机的安装和openfiler的安装及配置，具体参考Blog：

openfiler搭建虚拟存储并配置服务端

http://blog.csdn.net/xujinyang/article/details/6933090

Multipath实现LUN设备名称的持久化

http://blog.csdn.net/xujinyang/article/details/6933103

Oracle 11gR2 RAC新特性说明

http://blog.csdn.net/xujinyang/article/details/6836370

配置完之后的信息如下：

[root@rac1 ~]# multipath -ll

crs (14f504e46494c4500315a6b5774512d4c5136482d6a424447) dm-0 OPNFILER,VIRTUAL-DISK

[size=2.0G][features=1 queue_if_no_path][hwhandler=0][rw]

/_ round-robin 0 [prio=2][active]

/_ 9:0:0:0sdb 8:16[active][ready]

/_ 10:0:0:0 sde 8:64[active][ready]

fra (14f504e46494c450039396b35564d2d643574372d33414c4a) dm-1 OPNFILER,VIRTUAL-DISK

[size=3.0G][features=1 queue_if_no_path][hwhandler=0][rw]

/_ round-robin 0 [prio=2][active]

/_ 7:0:0:0sdc 8:32[active][ready]

/_ 8:0:0:0sdd 8:48[active][ready]

data (14f504e46494c45004d574c6870432d756654352d33347766) dm-2 OPNFILER,VIRTUAL-DISK

[size=9.6G][features=1 queue_if_no_path][hwhandler=0][rw]

/_ round-robin 0 [prio=2][active]

/_ 11:0:0:0 sdf 8:80[active][ready]

/_ 12:0:0:0 sdg 8:96[active][ready]

[root@rac1 mapper]# ls -lrt /dev/mapper/*

crw------- 1 root root10, 62 Nov 12 04:42 /dev/mapper/control

brw-rw---- 1root disk253,0 Nov 12 05:24 /dev/mapper/crs

brw-rw---- 1root disk253,1 Nov 12 05:24 /dev/mapper/fra

brw-rw---- 1root disk253,2 Nov 12 05:24 /dev/mapper/data

2.安装所需要的安装包：

binutils-2.17.50.0.6

compat-libstdc++-33-3.2.3

elfutils-libelf-0.125

elfutils-libelf-devel-0.125

elfutils-libelf-devel-static-0.125

gcc-4.1.2

gcc-c++-4.1.2

glibc-2.5-24

glibc-common-2.5

glibc-devel-2.52

glibc-headers-2.5

kernel-headers-2.6.18

ksh-20060214

libaio-0.3.106

libaio-devel-0.3.106

libgcc-4.1.2

libgomp-4.1.2

libstdc++-4.1.2

libstdc++-devel-4.1.2

make-3.81

sysstat-7.0.2

unixODBC-2.2.11

unixODBC-devel-2.2.11

用rpm -q命令检查一下，如果没有，到系统安装盘里查找并安装一下

二.设备进行格式化：

[root@rac1 mapper]# fdisk /dev/mapper/crs

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel. Changes will remain in memory only,

until you decide to write them. After that, of course, the previous

content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help):n

Command action

eextended

pprimary partition (1-4)

p

Partition number (1-4):1

First cylinder (1-257, default 1):--直接敲回车，用默认值

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-257, default 257):--直接敲回车，用默认值

Using default value 257

Command (m for help):w

The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 22: Invalid argument.

The kernel still uses the old table.

The new table will be used at the next reboot.

Syncing disks.

[root@rac1 mapper]# fdisk /dev/mapper/fra

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel. Changes will remain in memory only,

until you decide to write them. After that, of course, the previous

content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n

Command action

eextended

pprimary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-387, default 1):

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-387, default 387):

Using default value 387

Command (m for help): w

The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 22: Invalid argument.

The kernel still uses the old table.

The new table will be used at the next reboot.

Syncing disks.

[root@rac1 mapper]# fdisk /dev/mapper/data

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel. Changes will remain in memory only,

until you decide to write them. After that, of course, the previous

content won't be recoverable.

The number of cylinders for this disk is set to 1248.

There is nothing wrong with that, but this is larger than 1024,

and could in certain setups cause problems with:

1) software that runs at boot time (e.g., old versions of LILO)

2) booting and partitioning software from other OSs

(e.g., DOS FDISK, OS/2 FDISK)

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): n

Command action

eextended

pprimary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-1248, default 1):

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-1248, default 1248):

Using default value 1248

Command (m for help): w

The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 22: Invalid argument.

The kernel still uses the old table.

The new table will be used at the next reboot.

Syncing disks.

[root@rac1 mapper]# multipath -F--刷新一下multipath，不然信息不能更新

[root@rac1 mapper]# ls -lrt /dev/mapper/*

crw------- 1 root root10, 62 Nov 12 04:42 /dev/mapper/control

brw-rw---- 1 root disk 253,0 Nov 12 05:33 /dev/mapper/crs

brw-rw---- 1 root disk 253,1 Nov 12 05:33 /dev/mapper/fra

brw-rw---- 1 root disk 253,2 Nov 12 05:33 /dev/mapper/data

brw-rw---- 1 root disk 253,3 Nov 12 05:33 /dev/mapper/crsp1

brw-rw---- 1 root disk 253,4 Nov 12 05:33 /dev/mapper/datap1

brw-rw---- 1 root disk 253,5 Nov 12 05:33 /dev/mapper/frap1

这里多了一下/dev/mapper/frap1，datap1和crsp1的分区，这些就是已经格式化之后的磁盘。我们可以直接使用。下面我来看安装ASM，并将上面创建的几个分区创建成ASM磁盘组。

这里要注意一个问题，权限问题。现在看到的用户是root。我们需要在Oracle用户。修改rc.local.让系统每次在启动时修改文件属性：

[root@rac1 mapper]#cat /etc/rc.d/rc.local

#!/bin/sh

#

# This script will be executed *after* all the other init scripts.

# You can put your own initialization stuff in here if you don't

# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

chown oracle:oinstall /dev/mapper/fra*

chown oracle:oinstall /dev/mapper/data*

chown oracle:oinstall /dev/mapper/crs*

执行下脚本：

[root@rac1 mapper]#sh /etc/rc.d/rc.local

[root@rac1 mapper]# ll

total 0

crw------- 1 rootroot10, 62 Nov 13 08:47 control

brw-rw---- 1 oracle oinstall 253,0 Nov 13 08:50 crs

brw-rw---- 1 oracle oinstall 253,3 Nov 13 08:50 crsp1

brw-rw---- 1 oracle oinstall 253,2 Nov 13 08:50 data

brw-rw---- 1 oracle oinstall 253,4 Nov 13 08:50 datap1

brw-rw---- 1 oracle oinstall 253,1 Nov 13 08:50 fra

brw-rw---- 1 oracle oinstall 253,5 Nov 13 08:50 frap1

三.创建用户和目录

1.在所有节点上创建用户、组、目录结构和权限的建立

描述	OS组名	分配给该组的OS用户	Oracle权限	Oracle组名
Oracle清单和软件所有者	oinstall	grid、oracle
Oracle自动存储管理组	asmadmin	grid	SYSASM	OSASM
ASM数据库管理员组	asmdba	grid、oracle	ASM的SYSDBA	OSDBA for ASM
ASM操作员组	asmoper	grid	ASM的SYSOPER	OSOPER for ASM
数据库管理员	dba	oracle	SYSDBA	OSDBA
数据库操作员	oper	oracle	SYSOPER	OSOPER

GRID用户：

#groupadd -g 1000 oinstall

#groupadd -g 1200 asmadmin

#groupadd -g 1201 asmdba

#groupadd -g 1202 asmoper

#useradd -m -u 1100 -g oinstall -G asmadmin,asmdba,asmoper -d /home/grid -s /bin/bash -c "Grid Infrastructure Owner" grid

# id grid

Oracle用户：

# groupadd -g 1300 dba

# groupadd -g 1301 oper

# useradd -m -u 1101 -g oinstall -G dba,oper,asmdba -d /home/oracle -s /bin/bash -c "Oracle Software Owner" oracle

# id oracle

修改密码：

passwd oracle

passwd grid

在所有节点上验证用户nobody存在

安装软件之前，执行以下过程，以验证在两个Oracle RAC节点上存在用户nobody，要确定该用户是否存在，输入以下命令：

# id nobody

uid=99(nobody) gid=99(nobody) groups=99(nobody)

如果该命令显示了nobody用户的信息，则无需创建该用户。如果用户nobody不存在，则输入以下命令进行创建：

# /usr/sbin/useradd nobody

2.在所有节点上创建安装目录

mkdir -p /u01/app/grid

mkdir -p /u01/app/11.2.0/grid

chown -R grid:oinstall /u01

mkdir -p /u01/app/oracle

chown -R oracle:oinstall /u01/app/oracle

chmod -R 775 /u01

chown -R oracle:oinstall /u01

chmod -R 775 /u01/

3.修改grid和Oracle用户的登陆脚本：bash_profile文件

Grid用户：

以grid用户帐户分别登录到两个Oracle RAC节点并创建以下登录脚本(.bash_profile)。在为每个Oracle RAC节点设置Oracle环境变量时，确保为每个RAC节点指定唯一的Oracle SID。如：

racnode1：ORACLE_SID=+ASM1

racnode2：ORACLE_SID=+ASM2

# su - grid

#vi ~/.bash_profile

# ---------------------------------------------------

# .bash_profile

# ---------------------------------------------------

# OS User:grid

# Application:Oracle Grid Infrastructure

# Version:Oracle 11g release 2

# ---------------------------------------------------

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

. ~/.bashrc

fi

ORACLE_SID=+ASM1; export ORACLE_SID

JAVA_HOME=/usr/local/java; export JAVA_HOME

ORACLE_BASE=/u01/app/grid; export ORACLE_BASE

ORACLE_HOME=/u01/app/11.2.0/grid; export ORACLE_HOME

ORACLE_PATH=/u01/app/oracle/common/oracle/sql; export ORACLE_PATH

# SQLPATH=/u01/app/common/oracle/sql; export SQLPATH

ORACLE_TERM=xterm; export ORACLE_TERM

NLS_DATE_FORMAT="DD-MON-YYYY HH24:MI:SS"; export NLS_DATE_FORMAT

TNS_ADMIN=$ORACLE_HOME/network/admin; export TNS_ADMIN

ORA_NLS11=$ORACLE_HOME/nls/data; export ORA_NLS11

PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin

PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

PATH=${PATH}:/u01/app/common/oracle/bin

export PATH

LD_LIBRARY_PATH=$ORACLE_HOME/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

export LD_LIBRARY_PATH

CLASSPATH=$ORACLE_HOME/JRE

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib

export CLASSPATH

THREADS_FLAG=native; export THREADS_FLAG

export TEMP=/tmp

export TMPDIR=/tmp

# ---------------------------------------------------

# Set the default file mode creation mask

# (umask) to 022 to ensure that the user performing

# the Oracle software installation creates files

# with 644 permissions.

# ---------------------------------------------------

umask 022

Oracle用户：

以oracle用户帐户分别登录到两个Oracle RAC节点并创建以下登录脚本(.bash_profile)，在为每个Oracle RAC节点设置Oracle环境变量时，确保为每个RAC节点指定唯一的Oracle SID。如：

racnode1：ORACLE_SID=racdb1

racnode2：ORACLE_SID=racdb2

# su - oracle

#vi ~/.bash_profile

# ---------------------------------------------------

# .bash_profile

# ---------------------------------------------------

# OS User:oracle

# Application:Oracle Database Software Owner

# Version:Oracle 11g release 2

# ---------------------------------------------------

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

. ~/.bashrc

fi

ORACLE_SID=racdb1; export ORACLE_SID

ORACLE_UNQNAME=racdb; export ORACLE_UNQNAME

JAVA_HOME=/usr/local/java; export JAVA_HOME

ORACLE_BASE=/u01/app/oracle; export ORACLE_BASE

ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1; export ORACLE_HOME

ORACLE_PATH=/u01/app/common/oracle/sql; export ORACLE_PATH

ORACLE_TERM=xterm; export ORACLE_TERM

NLS_DATE_FORMAT="DD-MON-YYYY HH24:MI:SS"; export NLS_DATE_FORMAT

TNS_ADMIN=$ORACLE_HOME/network/admin; export TNS_ADMIN

ORA_NLS11=$ORACLE_HOME/nls/data; export ORA_NLS11

PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin

PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

PATH=${PATH}:/u01/app/common/oracle/bin

export PATH

LD_LIBRARY_PATH=$ORACLE_HOME/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

export LD_LIBRARY_PATH

CLASSPATH=$ORACLE_HOME/JRE

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib

export CLASSPATH

THREADS_FLAG=native; export THREADS_FLAG

export TEMP=/tmp

export TMPDIR=/tmp

# ---------------------------------------------------

# UMASK

# ---------------------------------------------------

# Set the default file mode creation mask

# (umask) to 022 to ensure that the user performing

# the Oracle software installation creates files

# with 644 permissions.

# ---------------------------------------------------

umask 022

4.为Oracle软件安装用户设置资源限制

要改善Linux系统上的软件性能，必须对Oracle软件所有者用户（grid、oracle）增加以下资源限制：

Shell限制	limits.conf中的条目	硬限制
打开文件描述符的最大数	nofile	65536
可用于单个用户的最大进程数	nproc	16384
进程堆栈段的最大大小	stack	10240

以root用户身份，在每个Oracle RAC节点上，在/etc/security/limits.conf文件中添加以下几行代码：

[root@rac1 ~]#cat >> /etc/security/limits.conf <<EOF

grid soft nproc 2047

grid hard nproc 16384

grid soft nofile 1024

grid hard nofile 65536

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

EOF

--说明，绿色部分一起执行

在每个Oracle RAC节点上，在/etc/pam.d/login文件中添加或编辑下面一行内容：

[root@rac1 ~]#cat >> /etc/pam.d/login <<EOF

sessionrequiredpam_limits.so

EOF

--说明，绿色部分一起执行

对默认的shell启动文件进行以下更改，以便更改所有Oracle安装所有者的ulimit设置：

（1）对于Bourne、Bash或Korn shell，通过运行以下命令将以下行添加到/etc/profile文件：

[root@racnode1 ~]#cat >> /etc/profile <<EOF

if [ /$USER = "oracle" ] || [ /$USER = "grid" ]; then

if [ /$SHELL = "/bin/ksh" ]; then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

umask 022

fi

EOF

--说明，绿色部分一起执行

对于C shell（csh或tcsh），通过运行以下命令将以下行添加到/etc/csh.login文件：

[root@racnode1 ~]#cat >> /etc/csh.login <<EOF

if ( /$USER == "oracle" || /$USER == "grid" ) then

limit maxproc 16384

limit descriptors 65536

endif

EOF

--说明，绿色部分一起执行

四.安装配置ASM

1.安装ASM包

先安装ASM包，这个几个包可以从Oracle官网下载：

http://www.oracle.com/technology/tech/linux/asmlib/index.html

[root@rac1 mapper]# uname -rm

2.6.18-164.el5xen i686

[root@rac2 mnt]# ls -lrt

total 223

-rwxrwSrwx 1 root root 127565 Aug8 23:38 oracleasm-2.6.18-164.el5xen-2.0.5-1.el5.i686.rpm

-rwxrwSrwx 1 root root85382 Aug8 23:38 oracleasm-support-2.1.3-1.el5.i386.rpm

-rwxrwSrwx 1 root root13929 Aug8 23:39 oracleasmlib-2.0.4-1.el5.i386.rpm

[root@rac2 mnt]# rpm -Uvh *.rpm

warning: oracleasm-2.6.18-164.el5xen-2.0.5-1.el5.i686.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159

Preparing...########################################### [100%]

1:oracleasm-support########################################### [ 33%]

2:oracleasm-2.6.18-164.el########################################### [ 67%]

3:oracleasmlib########################################### [100%]

2.配置ASM

oracleasm命令的默认路径为/usr/sbin。以前版本中使用的/etc/init.d路径并未被弃用，但该路径下的oracleasm二进制文件现在一般用于内部命令。如果输入oracleasm configure命令时不带-i标志，则显示当前配置。

[root@rac1 mnt]# oracleasm configure

ORACLEASM_ENABLED=false

ORACLEASM_UID=

ORACLEASM_GID=

ORACLEASM_SCANBOOT=true

ORACLEASM_SCANORDER=""

ORACLEASM_SCANEXCLUDE=""

[root@rac2 mnt]# oracleasm configure -i--在所有节点都要执行。

Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library

driver.The following questions will determine whether the driver is

loaded on boot and what permissions it will have.The current values

will be shown in brackets ('[]').Hitting <ENTER> without typing an

answer will keep that current value.Ctrl-C will abort.

Default user to own the driver interface []:grid

Default group to own the driver interface []:asmadmin

Start Oracle ASM library driver on boot (y/n) [n]:y

Scan for Oracle ASM disks on boot (y/n) [y]:y

Writing Oracle ASM library driver configuration: done

You have new mail in /var/spool/mail/root

该脚本完成以下任务：

创建/etc/sysconfig/oracleasm配置文件

创建/dev/oracleasm挂载点

挂载ASMLib驱动程序文件系统

输入以下命令以加载oracleasm内核模块：

[root@rac1 mnt]# oracleasm init--在所有节点都要执行。

Creating /dev/oracleasm mount point: /dev/oracleasm

Loading module "oracleasm": oracleasm

Mounting ASMlib driver filesystem: /dev/oracleasm

如果这里没有配置，在安裝Clusterware后执行root.sh脚本时可能会触发错误，具体参考Blog：

oracle 11gR2 RAC root.sh错误ORA-15072 ORA-15018

http://blog.csdn.net/xujinyang/article/details/6834940

3.创建ASM磁盘

创建过程在一个节点执行即可。另一个节点扫描一下就可以识别到了。

在node1：

oracleasm createdisk CRS /dev/mapper/crsp1

oracleasm createdisk DATA /dev/mapper/datap1

oracleasm createdisk FRA /dev/mapper/frap1

node2：

[root@rac2 mnt]# oracleasm scandisks

Reloading disk partitions: done

Cleaning any stale ASM disks...

Scanning system for ASM disks...

Instantiating disk "CRS"

Instantiating disk "FRA"

Instantiating disk "DATA"

[root@rac2 mnt]# oracleasm listdisks

CRS

DATA

FRA

如果创建错误，可以用deletedisk参数，如：oracleasm deletedisk DATA

[root@rac2 mnt]# oracleasm querydisk DATA

Disk "DATA" is a valid ASM disk

到此，ASM的安装配置结束。

五.配置时间同步

在集群中的两个Oracle RAC节点上执行以下集群时间同步服务配置。Oracle Clusterware 11g第2版及更高版本要求在部署了Oracle RAC的集群的所有节点上实现时间同步。

Oracle提供了两种方法来实现时间同步：

一种方法是配置了网络时间协议(NTP)的操作系统，

另一种方法是新的Oracle集群时间同步服务(CTSS)。Oracle集群时间同步服务(ctssd)旨在为那些Oracle RAC数据库无法访问NTP服务的组织提供服务。

1.配置集群时间同步服务— (CTSS)

使用集群时间同步服务在集群中提供同步服务，需要卸载网络时间协议(NTP)及其配置。

要停用NTP服务，必须停止当前的ntpd服务，从初始化序列中禁用该服务，并删除ntp.conf文件。要在Oracle Enterprise Linux上完成这些步骤，以root用户身份在两个Oracle RAC节点上运行以下命令：

[root@racnode1 ~]# /sbin/service ntpd stop

[root@racnode1 ~]# chkconfig ntpd off

[root@racnode1 ~]# mv /etc/ntp.conf /etc/ntp.conf.original

还要删除以下文件：

[root@racnode1 ~]# rm /var/run/ntpd.pid

此文件保存了NTP后台程序的pid。

当安装程序发现NTP协议处于非活动状态时，安装集群时间同步服务将以活动模式自动进行安装并通过所有节点的时间。如果发现配置了NTP，则以观察者模式启动集群时间同步服务，Oracle Clusterware不会在集群中进行活动的时间同步。

在安装后，要确认ctssd处于活动状态，请作为网格安装所有者(grid)输入以下命令：

[grid@racnode1 ~]$ crsctl check ctss

CRS-4701: The Cluster Time Synchronization Service is in Active mode.

CRS-4702: Offset (in msec): 0

2.配置网络时间协议—（仅当不按如上所述使用CTSS时）

如果正在使用NTP，并且愿意继续使用它而不是集群时间同步服务，那么您需要修改NTP初始化文件，在其中设置-x标志，这样可避免向后调整时间。完成此任务后，重启网络时间协议后台程序。

为了在Oracle Enterprise Linux、Red Hat Linux和Asianux系统上完成此任务，编辑/etc/sysconfig/ntpd文件，添加-x标志，如下例所示：

[root@rac1 mapper]# cat /etc/sysconfig/ntpd

# Drop root to id 'ntp:ntp' by default.

OPTIONS="-x-u ntp:ntp -p /var/run/ntpd.pid"

# Set to 'yes' to sync hw clock after successful ntpdate

SYNC_HWCLOCK=no

# Additional options for ntpdate

NTPDATE_OPTIONS=""

然后，重启NTP服务。

# /sbin/service ntp restart

六.修改内核参数和Hosts文件

6.1内核参数：

RHEL/OEL 5上的Oracle Database 11g第2版需要如下所示的内核参数设置。给出的值都是最小值，因此如果您的系统使用更大的值，则不要更改。

#vi /etc/sysctl.conf

kernel.shmmax = 4294967295

kernel.shmall = 2097152

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

fs.file-max = 6815744

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default=262144

net.core.rmem_max=4194304

net.core.wmem_default=262144

net.core.wmem_max=1048576

fs.aio-max-nr=1048576

RHEL/OEL 5已经配置了为以下内核参数定义的默认值：

kernel.shmall

kernel.shmmax

如果这些默认值等于或大于必需值，则使用这些默认值。

使修改的参数生效：

[root@rac1 ~]# sysctl -p

net.ipv4.ip_forward = 0

net.ipv4.conf.default.rp_filter = 1

net.ipv4.conf.default.accept_source_route = 0

kernel.sysrq = 0

kernel.core_uses_pid = 1

net.ipv4.tcp_syncookies = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.shmmax = 4294967295

kernel.shmall = 268435456

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

fs.file-max = 6815744

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default = 262144

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048576

fs.aio-max-nr = 1048576

6.2修改hosts文件

[root@rac2 ~]# cat /etc/hosts

# Do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1localhost

# Public Network - (eth0)

192.168.6.223rac1

192.168.6.226rac2

# Private Interconnect - (eth1)

192.168.6.224rac1-priv

192.168.6.227rac2-priv

# Public Virtual IP (VIP) addresses - (eth0:1)

192.168.6.225rac1-vip

192.168.6.228rac2-vip

6.3配置SCAN IP

这里我们配置2个SCAN IP。

192.168.6.233rac-scan.tianlesoftware.com

192.168.6.232rac-scan.tianlesoftware.com

关于Linux DNS Server的配置参考：

Linux DNS Server配置-- for Oracle 11gR2 RAC SCAN IP

http://blog.csdn.net/xujinyang/article/details/6834935

配置完后，我们修改每个节点的dns：

[root@rac1 named]# vim /etc/resolv.conf

nameserver 192.168.6.223

七.安装Clusterware

用mount命令将安装文件挂载到linux系统上：

mount -o username=administrator,password=888//192.168.6.80/Software /mnt

用NoMachine工具连接上节点1.关于Nomachine工具的使用，参考blog：

远程桌面工具-- NoMachine

http://blog.csdn.net/xujinyang/article/details/6924796

11g中Grid用户管理cluster和ocr。所以这两个也是用grid用户来安装的。运行./runInstaller命令，弹出安装界面。

开始安装：

1. Install and Configure Grid infrastructure a Cluster

2. Advanced Installation

3.配置SCAN。我们选择在DNS中定义域名的方式来解决，不配置GNS。

SCAN Name: rac-scan.tianlesoftware.com

SCAN Port : 1521

4.添加Hostname和Virtual IP Name

5.设置SSH连接。在10g里我们需要手工的去配置。在11g中集成到安装中。点击ssh connectivety.然后输入密码，在设置一下，最后测试成功即可。设置的过程要等一会。

6.选择网卡类型：eth0：public；eth1：private

7.选择ASM来存放OCR

8.创建一个ASM磁盘组来存放OCR。

9.设置ASM实例密码。这个密码设置后会在$ORACLE_HOME/dbs/下生成一个orcl_+ASM的口令文件，如果忘记密码，可以用orapwd命令来修改。

10.下一步，在安装之前会有个检测，如果有条件失败，就修改它，在检测。完全通过之后，进入安装。

这里物理内存提示至少需要1.5G。我的虚拟机给了1G。报错，忽略，继续安装。

还有要注意的，对于交换区，在安装操作系统的时候，最好设置在3G以上。不然也会有警告。

11.安装技术提示执行2个脚本。如果在第二个节点出现错误，用命令：

[root@rac2 ~]# /u01/app/11.2.0/grid/crs/install/roothas.pl -delete -force -verbose

删除相关信息，在执行，具体参考我的Blog：

oracle 11gR2 RAC root.sh错误ORA-15072 ORA-15018

http://blog.csdn.net/xujinyang/article/details/6834940

12.执行完，点ok。结束Clusterware的安装

八.创建ASM磁盘组

在安装Clusterware的时候，会创建ASM实例，但是它只创建了一个CRS组来安装OCR和Voting Disk。在我们继续安装Oracle数据库之前，我们需要创建一个DATA和FRA的ASM磁盘组来存放这些文件。创建过程很简单。

运行asmca（ASM Configuration Assistant）命令就可以弹出创建窗口。

在窗口中创建完DATA和FRA组后，退出窗口即可。

九.安装数据库软件

1.用Oracle用户运行安装软件

2.选择只安装软件

3.选择集群安装，并选中所有节点。

4.验证SSH

5.选择语言。

6.选择数据库版本：企业版

7.选择数据库安装的位置

8.选择用户组。

9.开始安装，安装结束之后提示运行一个脚本。

10.脚本运行完，结束安装。

十.创建实例

1.用Oracle用户运行dbca命令

2.选择Oracle集群

3.选择数据库类型：custom database

4.选择配置类型：admin-Managed，实例名，最后选中所有节点，下一步

5.设置密码

6.选择存储类型，Database Area选我们刚才在ASM实例中创建的DATA组。

7.指定ASM实例的ASMSNMP口令，就是我们在安装Clusterware时指定的ASM密码。

8.创建FRA，指定位置，ASM实例中的FRA组，指定FRA大小。

9.设置内存和字符集等参数。

10.开始创建实例。创建结束后退出。安装结束。

到此安装已经结束。

关于11gR2下RAC进程的说明，参考我的Blog：

Oracle 11gR2 RAC进程说明

http://blog.csdn.net/xujinyang/article/details/6834928

在Linux下，Oracle 11gR2多了一个MEMORY_TARGET参数。该参数用来管理SGA和PGA。但是当设置超过一定值的时候，Oracle实例就不能启动。我之前设置的是12G。就报错了。解决方法如下：

Oracle 11gR2 RAC ORA-00845 MEMORY_TARGET not supported on this system解决方法

http://blog.csdn.net/xujinyang/article/details/6834909

在客户端连接实例的使用，监听配置中使用SCAN IP就可以了。因为这个IP是固定的。所以维护起来要简单一点。

------------------------------------------------------------------------------