Mailing List Archive

$B9-@%MM(B

$B$R$,$7$H?=$7$^$9!#$*@$OC$K$J$j$^$9!#(B

> $B$7$+$7$J$,$i!"$I$A$i$+$R$H$D$N%5!<%P$K#2%0%k!<%WA4It4s$;$?$"$H!"40A4$K%9%?(B
> $B%s%P%$5!$H2=$7$?%5!<%PB&$N(BHeartbeat$B$rDd;_$9$k$H!"(BDRBD$B$,%3%1$F$7$^$$7k2LE*(B
> $B$K(BMySQL$B$,;`K4$9$k$3$H$K$J$k$N$G!"(BHA$B$,Jx2u$7$^$9(B
$B;d$,(BDRBD$B$K$"$^$jL@$k$/$J$$$;$$$b$"$j!"@_Dj$r8+$?$@$1$G$O(B
$B$A$g$C$H860x$,$o$+$j$^$;$s$G$7$?!#(B

$B!V(BDRBD$B$,%3%1$k!W$H$"$k$N$G!"2?$i$+$N%(%i!<$,Mm$s$G$$$k$N(B
$B$G$O$J$$$+$H;W$$$^$9!#(B

$B2r@O$N$?$a!"Ev3:;v>]H/@8;~$N(BPacemaker$B$N%m%0(B(ha-log$B$^$?$O(B/var/log/messages)$B$H(B
OS$B%m%0(B(/var/log/messages)$B$r$$$?$@$1$J$$$G$7$g$&$+!#(B


$B0J>e$G$9!#(B
$B$h$m$7$/$*4j$$$$$?$7$^$9!#(B

----- $B85$N%a%C%;!<%8(B -----
From: momoko@mail.t-momoko.org
$B08@h(B: linux-ha-japan@lists.osdn.me
$BAw?.:Q$_(B: 2016$BG/(B1$B7n(B26$BF|(B, $B2PMKF|(B $B8aA0(B 1:33:45
$B7oL>(B: [Linux-ha-jp] $B%9%?%s%P%$B&$r@Z$jN%$9$H(BDRBD$B$,(BFail$B$r5/$3$7$F$7$^$&(B

$B9-@%$H?=$7$^$9(B


$B!z4D6-(B
$B!!(BCentOS6.7 x86_64
$B!!(BPacemaker(1.0.13-2.el6.x86_64)
$B!!(BHeartbeat(3.0.5-1.1.el6.x86_64)


$B>e5-4D6-$K$*$$$F!"(B1$B9f5!B&$G$O%"%W%j%1!<%7%g%s(BA$B!"(B2$B9f5!B&$G$O(BMySQL$B!\(BDRBD$B$r(B
Active$B$H$7$?!"G[CV@)Ls0c$$$NN>7O(BAct/Act$B9=@.$r$H$j$^$7$?(B($B%3%s%U%#%0$O:G8e(B
$B$KD%$jIU$1$^$9(B)


$B6qBNE*$K$O(Brg_mysqld$B%0%k!<%W$O(B2$B9f5!$G5/F0$5$;!"(Brg_application$B%0%k!<%W$O(B1$B9f(B
$B5!$G5/F0$5$;!"$I$A$i$+$,8N>c!"Dd;_$7$?>l9g$O@8$-;D$C$F$$$k%5!<%PB&$K4s$k(B
$B$h$&$K9=@.$7$^$7$?(B(HA$B5/F0;~$NM%@h5/F0=g$H$7$F(B)
$B9=@.$H$7$F$O!"8x3+$5$l$F$$$k(BLinuxHA-JP$B$N2a5n$N(BOSC$B$N8x3+;qNA$K$"$kEl$5$^$N(B
$B!VMk!W%Q%?!<%s$K6a$$$H9M$($F$$$?$@$1$l$P$H;W$$$^$9!#(B

$B!!"(!V(BCRM-CLI$B$G(BHA$B%/%i%9%?$r<+:_$K@)8f$7$h$&!*!W;29M(B

$B$?$@$7!">e5-;qNA$N>l9g$O%0%k!<%W2=$O$;$:!"C10l%j%=!<%9$r%P%i%P%i$K5/F0$5$;(B
$B$?$$>l9g!"3n$D(BDRBD$B$OB8:_$7$J$$A0Ds$N$?$a!"(BMS$B%j%=!<%9$rMm$a$?3F<o$N@)Ls>r7o(B
$BDj5A$OFH<+$N2r<a$K4p$E$$$?$b$N$H$J$j$^$9!#(B


$B!z%0%k!<%WDj5A(B
group rg_mysqld res_vip_chk_db res_vip_db res_fs_db res_mysql_app res_MailTo_db
group rg_app res_vip_chk_app res_vip_app res_app_svr res_app_jgw res_MailTo_app


$B!zG[CV@)LsDj5A(B
location loc_app rg_app \
rule $id="l_app-01" $role="master" 200: #uname eq appwd01p.local \
rule $id="l_app-02" $role="master" 100: #uname eq appwd02p.local \


location loc_mysql ms_drbd_app \
rule $id="l_sql-01" $role="master" 200: #uname eq appwd02p.local \
rule $id="l_sql-02" $role="master" 100: #uname eq appwd01p.local \


$B4pK\E*$J!"(Blocation$B!"(Bcolocation$B!"(Border$B$N@)Ls$K4X$7$F$O4|BTDL$j$N5/F0!"JB$S$K(B
$B%^%$%0%l!<%7%g%sF0:n$r$7$^$9(B
$B$7$+$7$J$,$i!"$I$A$i$+$R$H$D$N%5!<%P$K#2%0%k!<%WA4It4s$;$?$"$H!"40A4$K%9%?(B
$B%s%P%$5!$H2=$7$?%5!<%PB&$N(BHeartbeat$B$rDd;_$9$k$H!"(BDRBD$B$,%3%1$F$7$^$$7k2LE*(B
$B$K(BMySQL$B$,;`K4$9$k$3$H$K$J$k$N$G!"(BHA$B$,Jx2u$7$^$9(B


$B5/0x$O(BDRBD$B$N>uBV$K$"$k$H$_$F$$$k$N$G!"(BMS$B%j%=!<%9$NF15o@)Ls!"G[CV$K$J$s$i$+(B
$B$NLdBj$,$"$k$H$_$F$$$^$9(B(Diskd$B$b4X78$9$k$+!&!&!&(B)
$B;d$H$7$F$bFq0WEY$N9b$$9=@.$K$7$?$J$!$H>/$78e2y5$L#$G$9$,!"(BMySQL$B$r<g<4$H$9$k(B
$B%0%k!<%W$H!"(BJava$B$r<g<4$H$9$k%"%W%j%1!<%7%g%s%0%k!<%W$N%a%b%j$NMxMQN($,$H$b(B
$B$K9b$$$N$G!"J,N%$5$;$?<!Bh$G$9(B($B$^$!!"$"$H%9%?%s%P%$5!$,M7$s$G$$$k$H$b$C$?$$(B
$B$J$$$N$G(B)


$B4JJX$J$4<ALdFbMF$GBgJQ?=$7Lu$4$6$$$^$;$s$,!"K\7o2?$+$4;XE&$$$?$@$1$kItJ,$,(B
$B8f:B$$$^$7$?$i!"$4JVEz$$$?$@$1$k$H=u$+$j$^$9(B


$B0J>e!"$h$m$7$/$*4j$$$$$?$7$^$9(B

$B!z0J2<%Q%i%a!<%?(B(primitive$B$N>\:Y$O$*$=$i$/4X78$,L5$$$N$G>J$$$F$^$9(B)
$B!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a(B
primitive res_MailTo_db ocf:heartbeat:MailTo \
primitive res_MailTo_app ocf:heartbeat:MailTo \
primitive res_diskd_db ocf:pacemaker:diskd \
primitive res_diskd_os ocf:pacemaker:diskd \
primitive res_drbd_app ocf:linbit:drbd \
primitive res_fs_db ocf:heartbeat:Filesystem \
primitive res_mysql_app ocf:heartbeat:mysql \
primitive res_pingd_ope ocf:pacemaker:pingd \
primitive res_vip_chk_db ocf:heartbeat:VIPcheck \
primitive res_vip_chk_app ocf:heartbeat:VIPcheck \
primitive res_vip_db ocf:heartbeat:IPaddr2 \
primitive res_vip_app ocf:heartbeat:IPaddr2 \
primitive res_app_jgw lsb:java_application \
primitive res_app_svr ocf:heartbeat:application \

group rg_mysqld res_vip_chk_db res_vip_db res_fs_db res_mysql_app res_MailTo_db
group rg_app res_vip_chk_app res_vip_app res_app_svr res_app_jgw res_MailTo_app

ms ms_drbd_app res_drbd_app \
meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"

clone cl_diskd_db res_diskd_db \
meta clone-max="2" clone-node-max="1"
clone cl_diskd_os res_diskd_os \
meta clone-max="2" clone-node-max="1"
clone cl_pingd_ope res_pingd_ope \
meta clone-max="2" clone-node-max="1"

location loc_mysql ms_drbd_app \
rule $id="l_sql-01" $role="master" 200: #uname eq appwd02p.local \
rule $id="l_sql-02" $role="master" 100: #uname eq appwd01p.local \
rule $id="l_sql-03" $role="master" -inf: defined ope_l3sw_chk and ope_l3sw_chk lt 100 \
rule $id="l_sql-04" -inf: defined os_disk_chk and os_disk_chk eq ERROR \
rule $id="l_sql-05" -inf: defined db_disk_chk and db_disk_chk eq ERROR
location loc_apprg_app \
rule $id="l_app-01" $role="master" 200: #uname eq appwd01p.local \
rule $id="l_app-02" $role="master" 100: #uname eq appwd02p.local \
rule $id="l_app-03" $role="master" -inf: defined ope_l3sw_chk and ope_l3sw_chk lt 100 \
rule $id="l_app-04" -inf: defined os_disk_chk and os_disk_chk eq ERROR \
rule $id="l_app-05" -inf: defined db_disk_chk and db_disk_chk eq ERROR

colocation col_app-01 inf: ms_drbd_app cl_diskd_db
colocation col_app-02 inf: ms_drbd_app cl_diskd_os
colocation col_app-03 inf: ms_drbd_app cl_pingd_ope
colocation col_app-04 inf: rg_mysqld ms_drbd_app:Master

order odr_app-01 inf: cl_diskd_db ms_drbd_app
order odr_app-02 inf: cl_diskd_os ms_drbd_app
order odr_app-03 inf: cl_pingd_ope ms_drbd_app
order odr_app-04 inf: ms_drbd_app:promote rg_mysqld rg_app:start

property $id="cib-bootstrap-options" \
default-resource-stickiness="200" \
no-quorum-policy="ignore" \
stonith-enabled="false" \
dc-version="1.0.13-a83fae5" \
cluster-infrastructure="Heartbeat"
$B!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a(B

_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.osdn.me
http://lists.osdn.me/mailman/listinfo/linux-ha-japan

_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.osdn.me
http://lists.osdn.me/mailman/listinfo/linux-ha-japan

$B$R$,$7$5$^(B


$B$*@$OC$K$J$C$F$*$j$^$9!"9-@%$G$9!#(B
$BE:IU$H$7$^$9$,!"$4;X<(DL$j$K(Bha-log$B$H(Bmessages$B$N%m%0$r$=$l$>$l(B
$B<hF@$$$?$7$^$7$?!#2r7h$N;e8}$,$"$l$P$h$$$N$G$9$,!&!&!&(B

$B>0!"$3$N%m%0=PNOA0$K$*$3$J$C$?$3$H$G$9$,!"0J2<$NDL$j$G$9!#(B


$B"!@5>o>uBV(B
$B-!(B1$B9f5!B&$G!"(Brg_app$B%0%k!<%W$,5/F0Cf(B

$B-"(B2$B9f5!B&$G!"(Brg_mysqld$B%0%k!<%W$,5/F0Cf(B


$B"!%^%$%0%l!<%7%g%s(B

$B-!>e5-!"@5>o>uBV$+$i(B1$B9f5!$G2TF/$7$F$$$?(Brg_app$B%0%k!<%W$r!"(B2$B9f5!(B
$B!!$K(Bmigrate$B%3%^%s%I$G0\F0!c(Bunmigrate$B$O9T$o$:(B

$B-"@5>o$K0\F0$7$?$3$H$r3NG'(B


$B!!"M$3$N>uBV$+$i!"%m%0$NEG$-=P$7$,Mn$ACe$$$?%?%$%_%s%0$G!"%m%0(B
$B!!!!%j%M!<%`$7$F!"0J9_$N?75,%m%0$r:#2s$4Ds<($5$;$FD:$-$^$7$?!#(B

$B!!"M>e5-$N%m%0$O(B2$B9f5!B&$N$_$H$J$j$^$9!c(B1$B9f5!B&$bI,MW$J>l9g$O$4Ds<(2DG=$G$9(B


$B"!40A4$K%9%?%s%P%$$H2=$7$?(B1$B9f5!$NDd;_(B

$B-!(Bheartbeat$BDd;_$r<B;\(B

$B!!"M(B2$B9f5!B&$G(Bcrm_mon -fA$B$r<B9T$7$^$9$,!"$9$0$K(BDRBD$B$N(Bdemote$B=hM}$G(B
$B!!!!%(%i!<$rEG$-=P$7$?LOMM!c$J$*!"H/@8$7$?$N$O2?8N$+(B2$B9f5!B&$N(BDRBD
$B!!!!%j%=!<%9!c(B1$B9f5!$N%j%=!<%9$G$OL5$$(B

$B-";~4V$O78$k$b$N$N!"(B1$B9f5!$N(BHA$B$O:G=*E*$K$ODd;_$7$^$9(B


$B!!"M%m%0$O35$M(B1$B9f5!B&$,Dd;_$7!"%m%0$,Mn$ACe$$$?Ev$?$j$^$G$G$9(B


$B0J>e$H$J$j$^$9!#$h$m$7$/$*4j$$$$$?$7$^$9!#(B

$B!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a(B
$BDI?-(B

$B>e5-BP1~D>8e$N(Bcrm_mon -fA$B7k2L$O0J2<$H$J$j$^$9(B

Online: [ appwd02p.local ]
OFFLINE: [ appwd01p.local ]

Resource Group: rg_app
res_vip_chk_app (ocf::heartbeat:VIPcheck): Started appwd02p.local
res_vip_app (ocf::heartbeat:IPaddr2): Started appwd02p.local
res_app_svr (ocf::heartbeat:appserver): Started appwd02p.local
res_app_jgw (lsb:javagateway): Started appwd02p.local
res_MailTo_app (ocf::heartbeat:MailTo): Started appwd02p.local
Master/Slave Set: ms_drbd_app
res_drbd_app:0 (ocf::linbit:drbd): Slave appwd02p.local (unmanaged) FAILED
Stopped: [ res_drbd_app:1 ]
Clone Set: cl_diskd_db
Started: [ appwd02p.local ]
Stopped: [ res_diskd_db:1 ]
Clone Set: cl_diskd_os
Started: [ appwd02p.local ]
Stopped: [ res_diskd_os:1 ]
Clone Set: cl_pingd_ope
Started: [ appwd02p.local ]
Stopped: [ res_pingd_ope:1 ]

Node Attributes:
* Node appwd02p.local:
+ disk_chk_db : normal
+ disk_chk_os : normal
+ master-res_drbd_app:0 : 10000
+ ope_l3sw_chk : 100

Migration summary:
* Node appwd02p.local:
res_drbd_app:0: migration-threshold=1 fail-count=1000000

Failed actions:
res_drbd_app:0_demote_0 (node=appwd02p.local, call=71, rc=-2, status=Timed Out): unknown exec
error
res_drbd_app:0_stop_0 (node=appwd02p.local, call=76, rc=-2, status=Timed Out): unknown exec e
rror
$B!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a(B





kazuh@goo.jp$B$5$s!'(B
> $B9-@%MM(B
>
> $B$R$,$7$H?=$7$^$9!#$*@$OC$K$J$j$^$9!#(B
>
> > $B$7$+$7$J$,$i!"$I$A$i$+$R$H$D$N%5!<%P$K#2%0%k!<%WA4It4s$;$?$"$H!"40A4$K%9%?(B
> > $B%s%P%$5!$H2=$7$?%5!<%PB&$N(BHeartbeat$B$rDd;_$9$k$H!"(BDRBD$B$,%3%1$F$7$^$$7k2LE*(B
> > $B$K(BMySQL$B$,;`K4$9$k$3$H$K$J$k$N$G!"(BHA$B$,Jx2u$7$^$9(B
> $B;d$,(BDRBD$B$K$"$^$jL@$k$/$J$$$;$$$b$"$j!"@_Dj$r8+$?$@$1$G$O(B
> $B$A$g$C$H860x$,$o$+$j$^$;$s$G$7$?!#(B
>
> $B!V(BDRBD$B$,%3%1$k!W$H$"$k$N$G!"2?$i$+$N%(%i!<$,Mm$s$G$$$k$N(B
> $B$G$O$J$$$+$H;W$$$^$9!#(B
>
> $B2r@O$N$?$a!"Ev3:;v>]H/@8;~$N(BPacemaker$B$N%m%0(B(ha-log$B$^$?$O(B/var/log/messages)$B$H(B
> OS$B%m%0(B(/var/log/messages)$B$r$$$?$@$1$J$$$G$7$g$&$+!#(B
>
>
> $B0J>e$G$9!#(B
> $B$h$m$7$/$*4j$$$$$?$7$^$9!#(B
>
> ----- $B85$N%a%C%;!<%8(B -----
> From: momoko@mail.t-momoko.org
> $B08@h(B: linux-ha-japan@lists.osdn.me
> $BAw?.:Q$_(B: 2016$BG/(B1$B7n(B26$BF|(B, $B2PMKF|(B $B8aA0(B 1:33:45
> $B7oL>(B: [Linux-ha-jp] $B%9%?%s%P%$B&$r@Z$jN%$9$H(BDRBD$B$,(BFail$B$r5/$3$7$F$7$^$&(B
>
> $B9-@%$H?=$7$^$9(B
>
>
> $B!z4D6-(B
> $B!!(BCentOS6.7 x86_64
> $B!!(BPacemaker(1.0.13-2.el6.x86_64)
> $B!!(BHeartbeat(3.0.5-1.1.el6.x86_64)
>
>
> $B>e5-4D6-$K$*$$$F!"(B1$B9f5!B&$G$O%"%W%j%1!<%7%g%s(BA$B!"(B2$B9f5!B&$G$O(BMySQL$B!\(BDRBD$B$r(B
> Active$B$H$7$?!"G[CV@)Ls0c$$$NN>7O(BAct/Act$B9=@.$r$H$j$^$7$?(B($B%3%s%U%#%0$O:G8e(B
> $B$KD%$jIU$1$^$9(B)
>
>
> $B6qBNE*$K$O(Brg_mysqld$B%0%k!<%W$O(B2$B9f5!$G5/F0$5$;!"(Brg_application$B%0%k!<%W$O(B1$B9f(B
> $B5!$G5/F0$5$;!"$I$A$i$+$,8N>c!"Dd;_$7$?>l9g$O@8$-;D$C$F$$$k%5!<%PB&$K4s$k(B
> $B$h$&$K9=@.$7$^$7$?(B(HA$B5/F0;~$NM%@h5/F0=g$H$7$F(B)
> $B9=@.$H$7$F$O!"8x3+$5$l$F$$$k(BLinuxHA-JP$B$N2a5n$N(BOSC$B$N8x3+;qNA$K$"$kEl$5$^$N(B
> $B!VMk!W%Q%?!<%s$K6a$$$H9M$($F$$$?$@$1$l$P$H;W$$$^$9!#(B
>
> $B!!"(!V(BCRM-CLI$B$G(BHA$B%/%i%9%?$r<+:_$K@)8f$7$h$&!*!W;29M(B
>
> $B$?$@$7!">e5-;qNA$N>l9g$O%0%k!<%W2=$O$;$:!"C10l%j%=!<%9$r%P%i%P%i$K5/F0$5$;(B
> $B$?$$>l9g!"3n$D(BDRBD$B$OB8:_$7$J$$A0Ds$N$?$a!"(BMS$B%j%=!<%9$rMm$a$?3F<o$N@)Ls>r7o(B
> $BDj5A$OFH<+$N2r<a$K4p$E$$$?$b$N$H$J$j$^$9!#(B
>
>
> $B!z%0%k!<%WDj5A(B
> group rg_mysqld res_vip_chk_db res_vip_db res_fs_db res_mysql_app res_MailTo_db
> group rg_app res_vip_chk_app res_vip_app res_app_svr res_app_jgw res_MailTo_app
>
>
> $B!zG[CV@)LsDj5A(B
> location loc_app rg_app \
> rule $id="l_app-01" $role="master" 200: #uname eq appwd01p.local \
> rule $id="l_app-02" $role="master" 100: #uname eq appwd02p.local \
>
>
> location loc_mysql ms_drbd_app \
> rule $id="l_sql-01" $role="master" 200: #uname eq appwd02p.local \
> rule $id="l_sql-02" $role="master" 100: #uname eq appwd01p.local \
>
>
> $B4pK\E*$J!"(Blocation$B!"(Bcolocation$B!"(Border$B$N@)Ls$K4X$7$F$O4|BTDL$j$N5/F0!"JB$S$K(B
> $B%^%$%0%l!<%7%g%sF0:n$r$7$^$9(B
> $B$7$+$7$J$,$i!"$I$A$i$+$R$H$D$N%5!<%P$K#2%0%k!<%WA4It4s$;$?$"$H!"40A4$K%9%?(B
> $B%s%P%$5!$H2=$7$?%5!<%PB&$N(BHeartbeat$B$rDd;_$9$k$H!"(BDRBD$B$,%3%1$F$7$^$$7k2LE*(B
> $B$K(BMySQL$B$,;`K4$9$k$3$H$K$J$k$N$G!"(BHA$B$,Jx2u$7$^$9(B
>
>
> $B5/0x$O(BDRBD$B$N>uBV$K$"$k$H$_$F$$$k$N$G!"(BMS$B%j%=!<%9$NF15o@)Ls!"G[CV$K$J$s$i$+(B
> $B$NLdBj$,$"$k$H$_$F$$$^$9(B(Diskd$B$b4X78$9$k$+!&!&!&(B)
> $B;d$H$7$F$bFq0WEY$N9b$$9=@.$K$7$?$J$!$H>/$78e2y5$L#$G$9$,!"(BMySQL$B$r<g<4$H$9$k(B
> $B%0%k!<%W$H!"(BJava$B$r<g<4$H$9$k%"%W%j%1!<%7%g%s%0%k!<%W$N%a%b%j$NMxMQN($,$H$b(B
> $B$K9b$$$N$G!"J,N%$5$;$?<!Bh$G$9(B($B$^$!!"$"$H%9%?%s%P%$5!$,M7$s$G$$$k$H$b$C$?$$(B
> $B$J$$$N$G(B)
>
>
> $B4JJX$J$4<ALdFbMF$GBgJQ?=$7Lu$4$6$$$^$;$s$,!"K\7o2?$+$4;XE&$$$?$@$1$kItJ,$,(B
> $B8f:B$$$^$7$?$i!"$4JVEz$$$?$@$1$k$H=u$+$j$^$9(B
>
>
> $B0J>e!"$h$m$7$/$*4j$$$$$?$7$^$9(B
>
> $B!z0J2<%Q%i%a!<%?(B(primitive$B$N>\:Y$O$*$=$i$/4X78$,L5$$$N$G>J$$$F$^$9(B)
> $B!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a(B
> primitive res_MailTo_db ocf:heartbeat:MailTo \
> primitive res_MailTo_app ocf:heartbeat:MailTo \
> primitive res_diskd_db ocf:pacemaker:diskd \
> primitive res_diskd_os ocf:pacemaker:diskd \
> primitive res_drbd_app ocf:linbit:drbd \
> primitive res_fs_db ocf:heartbeat:Filesystem \
> primitive res_mysql_app ocf:heartbeat:mysql \
> primitive res_pingd_ope ocf:pacemaker:pingd \
> primitive res_vip_chk_db ocf:heartbeat:VIPcheck \
> primitive res_vip_chk_app ocf:heartbeat:VIPcheck \
> primitive res_vip_db ocf:heartbeat:IPaddr2 \
> primitive res_vip_app ocf:heartbeat:IPaddr2 \
> primitive res_app_jgw lsb:java_application \
> primitive res_app_svr ocf:heartbeat:application \
>
> group rg_mysqld res_vip_chk_db res_vip_db res_fs_db res_mysql_app res_MailTo_db
> group rg_app res_vip_chk_app res_vip_app res_app_svr res_app_jgw res_MailTo_app
>
> ms ms_drbd_app res_drbd_app \
> meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
>
> clone cl_diskd_db res_diskd_db \
> meta clone-max="2" clone-node-max="1"
> clone cl_diskd_os res_diskd_os \
> meta clone-max="2" clone-node-max="1"
> clone cl_pingd_ope res_pingd_ope \
> meta clone-max="2" clone-node-max="1"
>
> location loc_mysql ms_drbd_app \
> rule $id="l_sql-01" $role="master" 200: #uname eq appwd02p.local \
> rule $id="l_sql-02" $role="master" 100: #uname eq appwd01p.local \
> rule $id="l_sql-03" $role="master" -inf: defined ope_l3sw_chk and ope_l3sw_chk lt 100 \
> rule $id="l_sql-04" -inf: defined os_disk_chk and os_disk_chk eq ERROR \
> rule $id="l_sql-05" -inf: defined db_disk_chk and db_disk_chk eq ERROR
> location loc_apprg_app \
> rule $id="l_app-01" $role="master" 200: #uname eq appwd01p.local \
> rule $id="l_app-02" $role="master" 100: #uname eq appwd02p.local \
> rule $id="l_app-03" $role="master" -inf: defined ope_l3sw_chk and ope_l3sw_chk lt 100 \
> rule $id="l_app-04" -inf: defined os_disk_chk and os_disk_chk eq ERROR \
> rule $id="l_app-05" -inf: defined db_disk_chk and db_disk_chk eq ERROR
>
> colocation col_app-01 inf: ms_drbd_app cl_diskd_db
> colocation col_app-02 inf: ms_drbd_app cl_diskd_os
> colocation col_app-03 inf: ms_drbd_app cl_pingd_ope
> colocation col_app-04 inf: rg_mysqld ms_drbd_app:Master
>
> order odr_app-01 inf: cl_diskd_db ms_drbd_app
> order odr_app-02 inf: cl_diskd_os ms_drbd_app
> order odr_app-03 inf: cl_pingd_ope ms_drbd_app
> order odr_app-04 inf: ms_drbd_app:promote rg_mysqld rg_app:start
>
> property $id="cib-bootstrap-options" \
> default-resource-stickiness="200" \
> no-quorum-policy="ignore" \
> stonith-enabled="false" \
> dc-version="1.0.13-a83fae5" \
> cluster-infrastructure="Heartbeat"
> $B!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a!a(B
>
> _______________________________________________
> Linux-ha-japan mailing list
> Linux-ha-japan@lists.osdn.me
> http://lists.osdn.me/mailman/listinfo/linux-ha-japan
>
> _______________________________________________
> Linux-ha-japan mailing list
> Linux-ha-japan@lists.osdn.me
> http://lists.osdn.me/mailman/listinfo/linux-ha-japan

広瀬様

ひがしです。お世話になります。

いただいたha-logより、1系のshutdown実行直後の状態遷移計算で、
特にエラーは発生していないのに、2系側のDRBD（res_drbd_app:0）が
再起動(Restart)されるようPacemakerによって判断されています。

　Jan 26 21:53:39 appwd02p pengine: [22849]: info: stage6: Scheduling Node appwd01p.local for shutdown
　Jan 26 21:53:39 appwd02p.local pengine: [22849]: notice: LogActions: Restart resource res_drbd_app:0 (Master appwd02p.local)

その状態遷移計算結果にのっとり、Pacemakerは2系側のDRBDを
demote→stop→start→promoteしようとしましたが、demoteは、
DRBDデバイスを誰か(おそらくmysql)が使用中のため失敗し、
タイムアウトしています。

　Jan 26 21:53:40 appwd02p lrmd: [22835]: info: rsc:res_drbd_app:0 demote[71] (pid 30997)
　Jan 26 21:53:40 appwd02p lrmd: [22835]: info: RA output: (res_drbd_app:0:demote:stderr) 0: State change failed: (-12) Device is held open by someone
　Jan 26 21:53:40 appwd02p lrmd: [22835]: info: RA output: (res_drbd_app:0:demote:stderr) Command 'drbdsetup-84 secondary 0' terminated with exit code 11
　・・・demoteを繰り返し試みるが失敗し続ける・・
　Jan 26 21:54:00 appwd02p lrmd: [22835]: WARN: res_drbd_app:0:demote process (PID 30997) timed out (try 1). Killing with signal SIGTERM (15).


demoteの失敗(タイムアウト)により故障フラグが立ったため
PacemakerはDRBDの停止を試みます。しかし、これもdemote時と
同様の理由で失敗(タイムアウト)しています。

　Jan 26 21:54:01 appwd02p pengine: [22849]: WARN: unpack_rsc_op: Forcing res_drbd_app:0 to stop after a failed demote action
　Jan 26 21:54:01 appwd02p lrmd: [22835]: info: rsc:res_drbd_app:0 stop[76] (pid 31995)
　Jan 26 21:54:02 appwd02p lrmd: [22835]: info: RA output: (res_drbd_app:0:stop:stderr) 0: State change failed: (-12) Device is held open by someone
　Jan 26 21:54:02 appwd02p lrmd: [22835]: info: RA output: (res_drbd_app:0:stop:stderr) Command 'drbdsetup-84 secondary 0' terminated with exit code 11
　・・・stopを繰り返し試みるが失敗し続ける・・
　Jan 26 21:56:01 appwd02p lrmd: [22835]: WARN: res_drbd_app:0:stop process (PID 31995) timed out (try 1). Killing with signal SIGTERM (15).


さて、では、なぜ、
「特にエラーは発生していないのに、2系側のDRBD（res_drbd_app:0）が
再起動されるようPacemakerに判断された」
か、ですが、これは、おそらく、クローンリソースとDRBDリソースの
order設定がinfで設定されていることと、「symmetrical」がtrue(デフォルト)
になっていることが原因のようです。

おそらく、1系のshutdownに伴う1系のクローンリソースの停止で、
このorder制約が働き、両系のDRBDを(一旦)停止しようとしたと
思われます。

以下、「order回避案」のようにorder制約のスコアを0にし、
「symmetrical=false」を設定してみてください。

---- order変更前 ----
order odr_app-01 inf: cl_diskd_db ms_drbd_app
order odr_app-02 inf: cl_diskd_os ms_drbd_app
order odr_app-03 inf: cl_pingd_ope ms_drbd_app
---------------------
　　↓以下の通り変更してみてください。
---- order回避案 ----
order odr_app-01 0: cl_diskd_db ms_drbd_app symmetrical=false
order odr_app-02 0: cl_diskd_os ms_drbd_app symmetrical=false
order odr_app-03 0: cl_pingd_ope ms_drbd_app symmetrical=false
---------------------


＃外していたらごめんなさい。

＃なお、Pacemaker1.1系では、上記orderでも、1系のクローン停止に
　2系のDRBDが道連れになる、ということは無いようです。
　制約の仕様がPacemaker1.0と1.1で微妙に変わっているようですね・・


以上です。
よろしくお願いいたします。

----- 元のメッセージ -----
From: momoko@mail.t-momoko.org
宛先: linux-ha-japan@lists.osdn.me
送信済み: 2016年1月26日, 火曜日 午後 10:30:08
件名: Re: [Linux-ha-jp] スタンバイ側を切り離すとDRBDがFailを起こしてしまう

ひがしさま


お世話になっております、広瀬です。
添付としますが、ご指示通りにha-logとmessagesのログをそれぞれ
取得いたしました。解決の糸口があればよいのですが・・・

尚、このログ出力前におこなったことですが、以下の通りです。


◆正常状態
�1号機側で、rg_appグループが起動中

�2号機側で、rg_mysqldグループが起動中


◆マイグレーション

�上記、正常状態から1号機で稼働していたrg_appグループを、2号機
　にmigrateコマンドで移動＜unmigrateは行わず

�正常に移動したことを確認


　⇒この状態から、ログの吐き出しが落ち着いたタイミングで、ログ
　　リネームして、以降の新規ログを今回ご提示させて頂きました。

　⇒上記のログは2号機側のみとなります＜1号機側も必要な場合はご提示可能です


◆完全にスタンバイと化した1号機の停止

�heartbeat停止を実施

　⇒2号機側でcrm_mon -fAを実行しますが、すぐにDRBDのdemote処理で
　　エラーを吐き出した模様＜なお、発生したのは何故か2号機側のDRBD
　　リソース＜1号機のリソースでは無い

�時間は係るものの、1号機のHAは最終的には停止します


　⇒ログは概ね1号機側が停止し、ログが落ち着いた当たりまでです


以上となります。よろしくお願いいたします。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
追伸

上記対応直後のcrm_mon -fA結果は以下となります

Online: [ appwd02p.local ]
OFFLINE: [ appwd01p.local ]

Resource Group: rg_app
res_vip_chk_app (ocf::heartbeat:VIPcheck): Started appwd02p.local
res_vip_app (ocf::heartbeat:IPaddr2): Started appwd02p.local
res_app_svr (ocf::heartbeat:appserver): Started appwd02p.local
res_app_jgw (lsb:javagateway): Started appwd02p.local
res_MailTo_app (ocf::heartbeat:MailTo): Started appwd02p.local
Master/Slave Set: ms_drbd_app
res_drbd_app:0 (ocf::linbit:drbd): Slave appwd02p.local (unmanaged) FAILED
Stopped: [ res_drbd_app:1 ]
Clone Set: cl_diskd_db
Started: [ appwd02p.local ]
Stopped: [ res_diskd_db:1 ]
Clone Set: cl_diskd_os
Started: [ appwd02p.local ]
Stopped: [ res_diskd_os:1 ]
Clone Set: cl_pingd_ope
Started: [ appwd02p.local ]
Stopped: [ res_pingd_ope:1 ]

Node Attributes:
* Node appwd02p.local:
+ disk_chk_db : normal
+ disk_chk_os : normal
+ master-res_drbd_app:0 : 10000
+ ope_l3sw_chk : 100

Migration summary:
* Node appwd02p.local:
res_drbd_app:0: migration-threshold=1 fail-count=1000000

Failed actions:
res_drbd_app:0_demote_0 (node=appwd02p.local, call=71, rc=-2, status=Timed Out): unknown exec
error
res_drbd_app:0_stop_0 (node=appwd02p.local, call=76, rc=-2, status=Timed Out): unknown exec e
rror
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝





kazuh@goo.jpさん：
> 広瀬様
>
> ひがしと申します。お世話になります。
>
> > しかしながら、どちらかひとつのサーバに２グループ全部寄せたあと、完全にスタ
> > ンバイ機と化したサーバ側のHeartbeatを停止すると、DRBDがコケてしまい結果的
> > にMySQLが死亡することになるので、HAが崩壊します
> 私がDRBDにあまり明るくないせいもあり、設定を見ただけでは
> ちょっと原因がわかりませんでした。
>
> 「DRBDがコケる」とあるので、何らかのエラーが絡んでいるの
> ではないかと思います。
>
> 解析のため、当該事象発生時のPacemakerのログ(ha-logまたは/var/log/messages)と
> OSログ(/var/log/messages)をいただけないでしょうか。
>
>
> 以上です。
> よろしくお願いいたします。
>
> ----- 元のメッセージ -----
> From: momoko@mail.t-momoko.org
> 宛先: linux-ha-japan@lists.osdn.me
> 送信済み: 2016年1月26日, 火曜日 午前 1:33:45
> 件名: [Linux-ha-jp] スタンバイ側を切り離すとDRBDがFailを起こしてしまう
>
> 広瀬と申します
>
>
> ★環境
> 　CentOS6.7 x86_64
> 　Pacemaker(1.0.13-2.el6.x86_64)
> 　Heartbeat(3.0.5-1.1.el6.x86_64)
>
>
> 上記環境において、1号機側ではアプリケーションA、2号機側ではMySQL＋DRBDを
> Activeとした、配置制約違いの両系Act/Act構成をとりました(コンフィグは最後
> に張り付けます)
>
>
> 具体的にはrg_mysqldグループは2号機で起動させ、rg_applicationグループは1号
> 機で起動させ、どちらかが故障、停止した場合は生き残っているサーバ側に寄る
> ように構成しました(HA起動時の優先起動順として)
> 構成としては、公開されているLinuxHA-JPの過去のOSCの公開資料にある東さまの
> 「雷」パターンに近いと考えていただければと思います。
>
> 　※「CRM-CLIでHAクラスタを自在に制御しよう！」参考
>
> ただし、上記資料の場合はグループ化はせず、単一リソースをバラバラに起動させ
> たい場合、且つDRBDは存在しない前提のため、MSリソースを絡めた各種の制約条件
> 定義は独自の解釈に基づいたものとなります。
>
>
> ★グループ定義
> group rg_mysqld res_vip_chk_db res_vip_db res_fs_db res_mysql_app res_MailTo_db
> group rg_app res_vip_chk_app res_vip_app res_app_svr res_app_jgw res_MailTo_app
>
>
> ★配置制約定義
> location loc_app rg_app \
> rule $id="l_app-01" $role="master" 200: #uname eq appwd01p.local \
> rule $id="l_app-02" $role="master" 100: #uname eq appwd02p.local \
>
>
> location loc_mysql ms_drbd_app \
> rule $id="l_sql-01" $role="master" 200: #uname eq appwd02p.local \
> rule $id="l_sql-02" $role="master" 100: #uname eq appwd01p.local \
>
>
> 基本的な、location、colocation、orderの制約に関しては期待通りの起動、並びに
> マイグレーション動作をします
> しかしながら、どちらかひとつのサーバに２グループ全部寄せたあと、完全にスタ
> ンバイ機と化したサーバ側のHeartbeatを停止すると、DRBDがコケてしまい結果的
> にMySQLが死亡することになるので、HAが崩壊します
>
>
> 起因はDRBDの状態にあるとみているので、MSリソースの同居制約、配置になんらか
> の問題があるとみています(Diskdも関係するか・・・)
> 私としても難易度の高い構成にしたなぁと少し後悔気味ですが、MySQLを主軸とする
> グループと、Javaを主軸とするアプリケーショングループのメモリの利用率がとも
> に高いので、分離させた次第です(まぁ、あとスタンバイ機が遊んでいるともったい
> ないので)
>
>
> 簡便なご質問内容で大変申し訳ございませんが、本件何かご指摘いただける部分が
> 御座いましたら、ご返答いただけると助かります
>
>
> 以上、よろしくお願いいたします
>
> ★以下パラメータ(primitiveの詳細はおそらく関係が無いので省いてます)
> ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
> primitive res_MailTo_db ocf:heartbeat:MailTo \
> primitive res_MailTo_app ocf:heartbeat:MailTo \
> primitive res_diskd_db ocf:pacemaker:diskd \
> primitive res_diskd_os ocf:pacemaker:diskd \
> primitive res_drbd_app ocf:linbit:drbd \
> primitive res_fs_db ocf:heartbeat:Filesystem \
> primitive res_mysql_app ocf:heartbeat:mysql \
> primitive res_pingd_ope ocf:pacemaker:pingd \
> primitive res_vip_chk_db ocf:heartbeat:VIPcheck \
> primitive res_vip_chk_app ocf:heartbeat:VIPcheck \
> primitive res_vip_db ocf:heartbeat:IPaddr2 \
> primitive res_vip_app ocf:heartbeat:IPaddr2 \
> primitive res_app_jgw lsb:java_application \
> primitive res_app_svr ocf:heartbeat:application \
>
> group rg_mysqld res_vip_chk_db res_vip_db res_fs_db res_mysql_app res_MailTo_db
> group rg_app res_vip_chk_app res_vip_app res_app_svr res_app_jgw res_MailTo_app
>
> ms ms_drbd_app res_drbd_app \
> meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
>
> clone cl_diskd_db res_diskd_db \
> meta clone-max="2" clone-node-max="1"
> clone cl_diskd_os res_diskd_os \
> meta clone-max="2" clone-node-max="1"
> clone cl_pingd_ope res_pingd_ope \
> meta clone-max="2" clone-node-max="1"
>
> location loc_mysql ms_drbd_app \
> rule $id="l_sql-01" $role="master" 200: #uname eq appwd02p.local \
> rule $id="l_sql-02" $role="master" 100: #uname eq appwd01p.local \
> rule $id="l_sql-03" $role="master" -inf: defined ope_l3sw_chk and ope_l3sw_chk lt 100 \
> rule $id="l_sql-04" -inf: defined os_disk_chk and os_disk_chk eq ERROR \
> rule $id="l_sql-05" -inf: defined db_disk_chk and db_disk_chk eq ERROR
> location loc_apprg_app \
> rule $id="l_app-01" $role="master" 200: #uname eq appwd01p.local \
> rule $id="l_app-02" $role="master" 100: #uname eq appwd02p.local \
> rule $id="l_app-03" $role="master" -inf: defined ope_l3sw_chk and ope_l3sw_chk lt 100 \
> rule $id="l_app-04" -inf: defined os_disk_chk and os_disk_chk eq ERROR \
> rule $id="l_app-05" -inf: defined db_disk_chk and db_disk_chk eq ERROR
>
> colocation col_app-01 inf: ms_drbd_app cl_diskd_db
> colocation col_app-02 inf: ms_drbd_app cl_diskd_os
> colocation col_app-03 inf: ms_drbd_app cl_pingd_ope
> colocation col_app-04 inf: rg_mysqld ms_drbd_app:Master
>
> order odr_app-01 inf: cl_diskd_db ms_drbd_app
> order odr_app-02 inf: cl_diskd_os ms_drbd_app
> order odr_app-03 inf: cl_pingd_ope ms_drbd_app
> order odr_app-04 inf: ms_drbd_app:promote rg_mysqld rg_app:start
>
> property $id="cib-bootstrap-options" \
> default-resource-stickiness="200" \
> no-quorum-policy="ignore" \
> stonith-enabled="false" \
> dc-version="1.0.13-a83fae5" \
> cluster-infrastructure="Heartbeat"
> ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
>
> _______________________________________________
> Linux-ha-japan mailing list
> Linux-ha-japan@lists.osdn.me
> http://lists.osdn.me/mailman/listinfo/linux-ha-japan
>
> _______________________________________________
> Linux-ha-japan mailing list
> Linux-ha-japan@lists.osdn.me
> http://lists.osdn.me/mailman/listinfo/linux-ha-japan

_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.osdn.me
http://lists.osdn.me/mailman/listinfo/linux-ha-japan
_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.osdn.me
http://lists.osdn.me/mailman/listinfo/linux-ha-japan