Mailing List Archive

igaharaさん

こんにちは、山内です。

RHELのサイトを確認したわけではありませんが、該当メッセージがcorosyncで出力される
場合、一瞬でもcorosyncが認識しているクラスタの構成が変化したことを意味しています。

F/Oしていないということですので、すぐに正しいクラスタ構成が再度行われたのではないでしょうか？
＃このあたりは、ログを見せて頂ければ確認可能ですが・・・

ちなみに、正常にクラスタを構成出来ている場合でも、

1.通信状態が不安定
2.クラスタを構成するノード(corosyncを機動してるノード）が高負荷

などで、このようなメッセージが出る可能性があります。
corosync.confのtokenパラメータを伸ばすなどである程度のメッセージの抑制が可能ですので、
一度、発生する場合の負荷状態などを確認されては如何でしょうか？


以上です。


----- Original Message -----
>From: "k,igahara" <digitalpeak@gmail.com>
>To: linux-ha-japan@lists.osdn.me
>Date: 2016/3/22, Tue 23:10
>Subject: [Linux-ha-jp] corosync の "A processor failed, forming new configuration."について
>
>
>Linux-ha-japanの皆様
>
>
>igaharaと申します。
>
>
>pacemaker+corosyncで運用しているのですが、[TOTEM ] A processor failed, forming new configuration.が出力されることがあります。 
>F/Oしてるようではないようですが、発生原因が分かりません。
>サブクリプションが必要なので、詳細はわからないのですが、RHELのサイトに当該事象について言及しているものがあります。
>
>
>$ sudo pcs property show
>Cluster Properties:
> cluster-infrastructure: corosync
> dc-version: 1.1.13-6052cd1
> have-watchdog: false
> no-quorum-policy: ignore
> stonith-enabled: false
>$ sudo pcs resource show
> resource1      (lsb:*****): Started *****
>
>
>以上、よろしくお願いいたします。
>_______________________________________________
>Linux-ha-japan mailing list
>Linux-ha-japan@lists.osdn.me
>http://lists.osdn.me/mailman/listinfo/linux-ha-japan
>
>
>

_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.osdn.me
http://lists.osdn.me/mailman/listinfo/linux-ha-japan

山内さん

igaharaです、ご回答ありがとうございます。

ログの最後に下記が出力されているので、クラスタが再構成？されたのかなと思っています。
[MAIN ] Completed service synchronization, ready to provide service.

>＃このあたりは、ログを見せて頂ければ確認可能ですが・・・
ログを添付いたします。よろしくお願いします。

>corosync.confのtokenパラメータを伸ばすなどである程度のメッセージの抑制が可能ですので、
corosync.confに明示的にtokenについて記述していないので、1+1構成の場合の推奨値であるデフォルトの1000ミリ秒ですので、調整したいと思います。

当該時間にはサーバのリソース、NWの上昇は見受けられませんでした。

以上、よろしくお願いします。

2016年3月23日 16:25 <renayama19661014@ybb.ne.jp>:

>
> igaharaさん
>
> こんにちは、山内です。
>
> RHELのサイトを確認したわけではありませんが、該当メッセージがcorosyncで出力される
> 場合、一瞬でもcorosyncが認識しているクラスタの構成が変化したことを意味しています。
>
> F/Oしていないということですので、すぐに正しいクラスタ構成が再度行われたのではないでしょうか？
> ＃このあたりは、ログを見せて頂ければ確認可能ですが・・・
>
> ちなみに、正常にクラスタを構成出来ている場合でも、
>
> 1.通信状態が不安定
> 2.クラスタを構成するノード(corosyncを機動してるノード）が高負荷
>
> などで、このようなメッセージが出る可能性があります。
> corosync.confのtokenパラメータを伸ばすなどである程度のメッセージの抑制が可能ですので、
> 一度、発生する場合の負荷状態などを確認されては如何でしょうか？
>
>
> 以上です。
>
>
> ----- Original Message -----
> >From: "k,igahara" <digitalpeak@gmail.com>
> >To: linux-ha-japan@lists.osdn.me
> >Date: 2016/3/22, Tue 23:10
> >Subject: [Linux-ha-jp] corosync の "A processor failed, forming new
> configuration."について
> >
> >
> >Linux-ha-japanの皆様
> >
> >
> >igaharaと申します。
> >
> >
> >pacemaker+corosyncで運用しているのですが、[TOTEM ] A processor failed, forming new
> configuration.が出力されることがあります。
> >F/Oしてるようではないようですが、発生原因が分かりません。
> >サブクリプションが必要なので、詳細はわからないのですが、RHELのサイトに当該事象について言及しているものがあります。
> >
> >
> >$ sudo pcs property show
> >Cluster Properties:
> > cluster-infrastructure: corosync
> > dc-version: 1.1.13-6052cd1
> > have-watchdog: false
> > no-quorum-policy: ignore
> > stonith-enabled: false
> >$ sudo pcs resource show
> > resource1 (lsb:*****): Started *****
> >
> >
> >以上、よろしくお願いいたします。
> >_______________________________________________
> >Linux-ha-japan mailing list
> >Linux-ha-japan@lists.osdn.me
> >http://lists.osdn.me/mailman/listinfo/linux-ha-japan
> >
> >
> >
>
> _______________________________________________
> Linux-ha-japan mailing list
> Linux-ha-japan@lists.osdn.me
> http://lists.osdn.me/mailman/listinfo/linux-ha-japan
>

igaharaさん

こんばんは、山内です。

ログを拝見しましたが、以下のような挙動となっています。（ログは日時の出力がなかったので、下から上に時系列は進んでいるものとしています）

結果として、ノード故障とは判定していませんので、F/Oなどは発生していません。

①corosyncでは、tokenというメッセージをノード間で巡回させていますが、このtokenが一定時間内(1s)に到着しなかった。（マシン性能、負荷、ネットワーク状況などに要因によりますが、tokenが極端に短い場合なども発生する可能性があります。）

[TOTEM
] entering GATHER state from 2(The token was lost in the OPERATIONAL
state.).
[TOTEM ] A processor failed, forming new
configuration.

②再度、corosyncはクラスタを構成する為に、制御メッセージをやり取りします。
(snip)
[TOTEM
] entering RECOVERY state.
[TOTEM ] got commit token
[TOTEM ]
entering COMMIT
state.
(snip)

③結果、再度、クラスタ構成を完了しましたが、クラスタの構成は再構成出来き、クラスタ構成に変化はなかった。(直前のメンバーで再構成された）
[TOTEM
] A new membership (***.***.1.***:316) was formed.
Members
※変化があった場合には、Membersの後に情報が出ます。(例:joined:xxxx,
left:xxx)

④その後、Pacemakerのプロセスなども正しく認識し、何事もなかったように動作を続けています。


以上です。

----- Original Message -----
>From: "k,igahara" <digitalpeak@gmail.com>
>To: renayama19661014@ybb.ne.jp; linux-ha-japan@lists.osdn.me
>Date: 2016/3/23, Wed 22:41
>Subject: Re: [Linux-ha-jp] corosync の "A processor failed, forming new configuration."について
>
>
>山内さん
>
>
>igaharaです、ご回答ありがとうございます。
>
>
>ログの最後に下記が出力されているので、クラスタが再構成？されたのかなと思っています。
>[MAIN  ] Completed service synchronization, ready to provide service.
>
>
>
>>＃このあたりは、ログを見せて頂ければ確認可能ですが・・・
>ログを添付いたします。よろしくお願いします。
>
>
>>corosync.confのtokenパラメータを伸ばすなどである程度のメッセージの抑制が可能ですので、
>corosync.confに明示的にtokenについて記述していないので、1+1構成の場合の推奨値であるデフォルトの1000ミリ秒ですので、調整したいと思います。
>
>
>当該時間にはサーバのリソース、NWの上昇は見受けられませんでした。
>
>
>以上、よろしくお願いします。
>
>
>2016年3月23日 16:25 <renayama19661014@ybb.ne.jp>:
>
>
>>igaharaさん
>>
>>こんにちは、山内です。
>>
>>RHELのサイトを確認したわけではありませんが、該当メッセージがcorosyncで出力される
>>場合、一瞬でもcorosyncが認識しているクラスタの構成が変化したことを意味しています。
>>
>>F/Oしていないということですので、すぐに正しいクラスタ構成が再度行われたのではないでしょうか？
>>＃このあたりは、ログを見せて頂ければ確認可能ですが・・・
>>
>>ちなみに、正常にクラスタを構成出来ている場合でも、
>>
>>1.通信状態が不安定
>>2.クラスタを構成するノード(corosyncを機動してるノード）が高負荷
>>
>>などで、このようなメッセージが出る可能性があります。
>>corosync.confのtokenパラメータを伸ばすなどである程度のメッセージの抑制が可能ですので、
>>一度、発生する場合の負荷状態などを確認されては如何でしょうか？
>>
>>
>>以上です。
>>
>>
>>
>>----- Original Message -----
>>>From: "k,igahara" <digitalpeak@gmail.com>
>>>To: linux-ha-japan@lists.osdn.me
>>>Date: 2016/3/22, Tue 23:10
>>>Subject: [Linux-ha-jp] corosync の "A processor failed, forming new configuration."について
>>>
>>>
>>>Linux-ha-japanの皆様
>>>
>>>
>>>igaharaと申します。
>>>
>>>
>>>pacemaker+corosyncで運用しているのですが、[TOTEM ] A processor failed, forming new configuration.が出力されることがあります。 
>>>F/Oしてるようではないようですが、発生原因が分かりません。
>>>サブクリプションが必要なので、詳細はわからないのですが、RHELのサイトに当該事象について言及しているものがあります。
>>>
>>>
>>>$ sudo pcs property show
>>>Cluster Properties:
>>> cluster-infrastructure: corosync
>>> dc-version: 1.1.13-6052cd1
>>> have-watchdog: false
>>> no-quorum-policy: ignore
>>> stonith-enabled: false
>>>$ sudo pcs resource show
>>> resource1      (lsb:*****): Started *****
>>>
>>>
>>>以上、よろしくお願いいたします。
>>>_______________________________________________
>>>Linux-ha-japan mailing list
>>>Linux-ha-japan@lists.osdn.me
>>>http://lists.osdn.me/mailman/listinfo/linux-ha-japan
>>>
>>>
>>>
>>
>>_______________________________________________
>>Linux-ha-japan mailing list
>>Linux-ha-japan@lists.osdn.me
>>http://lists.osdn.me/mailman/listinfo/linux-ha-japan
>>
>
>
>

_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.osdn.me
http://lists.osdn.me/mailman/listinfo/linux-ha-japan

山内さん

igaharaです。

ご確認いただきありがとうございます。
pacemaker+corosyncで構成したものが他にも複数あり、このMSGが出力される頻度が高いのもエージェントとの通信が多いサーバのみですので、
ご提案頂いたtokenの値を調整したい思います。
また、tokenとタイムアウトを制御しているパラメータのconsensusは最小でも<1.2*token値>とされていますが、confに明示的に記述しなくても自動で算出されるという認識で合っていますでしょうか。

以上、よろしくお願いします。

2016年3月24日 18:01 <renayama19661014@ybb.ne.jp>:

>
>
> igaharaさん
>
> こんばんは、山内です。
>
> ログを拝見しましたが、以下のような挙動となっています。（ログは日時の出力がなかったので、下から上に時系列は進んでいるものとしています）
>
> 結果として、ノード故障とは判定していませんので、F/Oなどは発生していません。
>
>
> ①corosyncでは、tokenというメッセージをノード間で巡回させていますが、このtokenが一定時間内(1s)に到着しなかった。（マシン性能、負荷、ネットワーク状況などに要因によりますが、tokenが極端に短い場合なども発生する可能性があります。）
>
> [TOTEM
> ] entering GATHER state from 2(The token was lost in the OPERATIONAL
> state.).
> [TOTEM ] A processor failed, forming new
> configuration.
>
> ②再度、corosyncはクラスタを構成する為に、制御メッセージをやり取りします。
> (snip)
> [TOTEM
> ] entering RECOVERY state.
> [TOTEM ] got commit token
> [TOTEM ]
> entering COMMIT
> state.
> (snip)
>
> ③結果、再度、クラスタ構成を完了しましたが、クラスタの構成は再構成出来き、クラスタ構成に変化はなかった。(直前のメンバーで再構成された）
> [TOTEM
> ] A new membership (***.***.1.***:316) was formed.
> Members
> ※変化があった場合には、Membersの後に情報が出ます。(例:joined:xxxx,
> left:xxx)
>
> ④その後、Pacemakerのプロセスなども正しく認識し、何事もなかったように動作を続けています。
>
>
> 以上です。
>
> ----- Original Message -----
> >From: "k,igahara" <digitalpeak@gmail.com>
> >To: renayama19661014@ybb.ne.jp; linux-ha-japan@lists.osdn.me
> >Date: 2016/3/23, Wed 22:41
> >Subject: Re: [Linux-ha-jp] corosync の "A processor failed, forming new
> configuration."について
> >
> >
> >山内さん
> >
> >
> >igaharaです、ご回答ありがとうございます。
> >
> >
> >ログの最後に下記が出力されているので、クラスタが再構成？されたのかなと思っています。
> >[MAIN ] Completed service synchronization, ready to provide service.
> >
> >
> >
> >>＃このあたりは、ログを見せて頂ければ確認可能ですが・・・
> >ログを添付いたします。よろしくお願いします。
> >
> >
> >>corosync.confのtokenパラメータを伸ばすなどである程度のメッセージの抑制が可能ですので、
>
> >corosync.confに明示的にtokenについて記述していないので、1+1構成の場合の推奨値であるデフォルトの1000ミリ秒ですので、調整したいと思います。
> >
> >
> >当該時間にはサーバのリソース、NWの上昇は見受けられませんでした。
> >
> >
> >以上、よろしくお願いします。
> >
> >
> >2016年3月23日 16:25 <renayama19661014@ybb.ne.jp>:
> >
> >
> >>igaharaさん
> >>
> >>こんにちは、山内です。
> >>
> >>RHELのサイトを確認したわけではありませんが、該当メッセージがcorosyncで出力される
> >>場合、一瞬でもcorosyncが認識しているクラスタの構成が変化したことを意味しています。
> >>
> >>F/Oしていないということですので、すぐに正しいクラスタ構成が再度行われたのではないでしょうか？
> >>＃このあたりは、ログを見せて頂ければ確認可能ですが・・・
> >>
> >>ちなみに、正常にクラスタを構成出来ている場合でも、
> >>
> >>1.通信状態が不安定
> >>2.クラスタを構成するノード(corosyncを機動してるノード）が高負荷
> >>
> >>などで、このようなメッセージが出る可能性があります。
> >>corosync.confのtokenパラメータを伸ばすなどである程度のメッセージの抑制が可能ですので、
> >>一度、発生する場合の負荷状態などを確認されては如何でしょうか？
> >>
> >>
> >>以上です。
> >>
> >>
> >>
> >>----- Original Message -----
> >>>From: "k,igahara" <digitalpeak@gmail.com>
> >>>To: linux-ha-japan@lists.osdn.me
> >>>Date: 2016/3/22, Tue 23:10
> >>>Subject: [Linux-ha-jp] corosync の "A processor failed, forming new
> configuration."について
> >>>
> >>>
> >>>Linux-ha-japanの皆様
> >>>
> >>>
> >>>igaharaと申します。
> >>>
> >>>
> >>>pacemaker+corosyncで運用しているのですが、[TOTEM ] A processor failed, forming new
> configuration.が出力されることがあります。
> >>>F/Oしてるようではないようですが、発生原因が分かりません。
> >>>サブクリプションが必要なので、詳細はわからないのですが、RHELのサイトに当該事象について言及しているものがあります。
> >>>
> >>>
> >>>$ sudo pcs property show
> >>>Cluster Properties:
> >>> cluster-infrastructure: corosync
> >>> dc-version: 1.1.13-6052cd1
> >>> have-watchdog: false
> >>> no-quorum-policy: ignore
> >>> stonith-enabled: false
> >>>$ sudo pcs resource show
> >>> resource1 (lsb:*****): Started *****
> >>>
> >>>
> >>>以上、よろしくお願いいたします。
> >>>_______________________________________________
> >>>Linux-ha-japan mailing list
> >>>Linux-ha-japan@lists.osdn.me
> >>>http://lists.osdn.me/mailman/listinfo/linux-ha-japan
> >>>
> >>>
> >>>
> >>
> >>_______________________________________________
> >>Linux-ha-japan mailing list
> >>Linux-ha-japan@lists.osdn.me
> >>http://lists.osdn.me/mailman/listinfo/linux-ha-japan
> >>
> >
> >
> >
>

igaharaさん

こんばんは、山内です。

>ご提案頂いたtokenの値を調整したい思います。
>また、tokenとタイムアウトを制御しているパラメータのconsensusは最小でも<1.2*token値>とされていますが、confに明示的に記述しなくても自動で算出されるという認識で合っていますでしょうか。


はい。
その認識であっています。consensusはtoken値を元に自動で設定されます。
値の関連で問題がある場合には、エラーログが出力されますので、設定時の助けになると思います。

以上です。



----- Original Message -----
>From: "k,igahara" <digitalpeak@gmail.com>
>To: 山内英生 <renayama19661014@ybb.ne.jp>
>Cc: "linux-ha-japan@lists.osdn.me" <linux-ha-japan@lists.osdn.me>
>Date: 2016/3/24, Thu 23:10
>Subject: Re: [Linux-ha-jp] corosync の "A processor failed, forming new configuration."について
>
>
>山内さん
>
>
>igaharaです。
>
>
>ご確認いただきありがとうございます。
>pacemaker+corosyncで構成したものが他にも複数あり、このMSGが出力される頻度が高いのもエージェントとの通信が多いサーバのみですので、
>
>ご提案頂いたtokenの値を調整したい思います。
>また、tokenとタイムアウトを制御しているパラメータのconsensusは最小でも<1.2*token値>とされていますが、confに明示的に記述しなくても自動で算出されるという認識で合っていますでしょうか。
>
>
>以上、よろしくお願いします。
>
>
>2016年3月24日 18:01 <renayama19661014@ybb.ne.jp>:
>
>
>>
>> igaharaさん
>>
>>こんばんは、山内です。
>>
>>ログを拝見しましたが、以下のような挙動となっています。（ログは日時の出力がなかったので、下から上に時系列は進んでいるものとしています）
>>
>>結果として、ノード故障とは判定していませんので、F/Oなどは発生していません。
>>
>>①corosyncでは、tokenというメッセージをノード間で巡回させていますが、このtokenが一定時間内(1s)に到着しなかった。（マシン性能、負荷、ネットワーク状況などに要因によりますが、tokenが極端に短い場合なども発生する可能性があります。）
>>
>>[TOTEM
>>] entering GATHER state from 2(The token was lost in the OPERATIONAL
>>state.).
>>[TOTEM ] A processor failed, forming new
>>configuration.
>>
>>②再度、corosyncはクラスタを構成する為に、制御メッセージをやり取りします。
>>(snip)
>>[TOTEM
>>] entering RECOVERY state.
>>[TOTEM ] got commit token
>>[TOTEM ]
>>entering COMMIT
>>state.
>>(snip)
>>
>>③結果、再度、クラスタ構成を完了しましたが、クラスタの構成は再構成出来き、クラスタ構成に変化はなかった。(直前のメンバーで再構成された）
>>[TOTEM
>>] A new membership (***.***.1.***:316) was formed.
>>Members
>>※変化があった場合には、Membersの後に情報が出ます。(例:joined:xxxx,
>>left:xxx)
>>
>>④その後、Pacemakerのプロセスなども正しく認識し、何事もなかったように動作を続けています。
>>
>>
>>以上です。
>>
>>----- Original Message -----
>>>From: "k,igahara" <digitalpeak@gmail.com>
>>
>>>To: renayama19661014@ybb.ne.jp; linux-ha-japan@lists.osdn.me
>>>Date: 2016/3/23, Wed 22:41
>>>Subject: Re: [Linux-ha-jp] corosync の "A processor failed, forming new configuration."について
>>>
>>>
>>>山内さん
>>>
>>>
>>>igaharaです、ご回答ありがとうございます。
>>>
>>>
>>>ログの最後に下記が出力されているので、クラスタが再構成？されたのかなと思っています。
>>>[MAIN  ] Completed service synchronization, ready to provide service.
>>>
>>>
>>>
>>>>＃このあたりは、ログを見せて頂ければ確認可能ですが・・・
>>>ログを添付いたします。よろしくお願いします。
>>>
>>>
>>>>corosync.confのtokenパラメータを伸ばすなどである程度のメッセージの抑制が可能ですので、
>>>corosync.confに明示的にtokenについて記述していないので、1+1構成の場合の推奨値であるデフォルトの1000ミリ秒ですので、調整したいと思います。
>>>
>>>
>>>当該時間にはサーバのリソース、NWの上昇は見受けられませんでした。
>>>
>>>
>>>以上、よろしくお願いします。
>>>
>>>
>>>2016年3月23日 16:25 <renayama19661014@ybb.ne.jp>:
>>>
>>>
>>>>igaharaさん
>>>>
>>>>こんにちは、山内です。
>>>>
>>>>RHELのサイトを確認したわけではありませんが、該当メッセージがcorosyncで出力される
>>>>場合、一瞬でもcorosyncが認識しているクラスタの構成が変化したことを意味しています。
>>>>
>>>>F/Oしていないということですので、すぐに正しいクラスタ構成が再度行われたのではないでしょうか？
>>>>＃このあたりは、ログを見せて頂ければ確認可能ですが・・・
>>>>
>>>>ちなみに、正常にクラスタを構成出来ている場合でも、
>>>>
>>>>1.通信状態が不安定
>>>>2.クラスタを構成するノード(corosyncを機動してるノード）が高負荷
>>>>
>>>>などで、このようなメッセージが出る可能性があります。
>>>>corosync.confのtokenパラメータを伸ばすなどである程度のメッセージの抑制が可能ですので、
>>>>一度、発生する場合の負荷状態などを確認されては如何でしょうか？
>>>>
>>>>
>>>>以上です。
>>>>
>>>>
>>>>
>>>>----- Original Message -----
>>>>>From: "k,igahara" <digitalpeak@gmail.com>
>>>>>To: linux-ha-japan@lists.osdn.me
>>>>>Date: 2016/3/22, Tue 23:10
>>>>>Subject: [Linux-ha-jp] corosync の "A processor failed, forming new configuration."について
>>>>>
>>>>>
>>>>>Linux-ha-japanの皆様
>>>>>
>>>>>
>>>>>igaharaと申します。
>>>>>
>>>>>
>>>>>pacemaker+corosyncで運用しているのですが、[TOTEM ] A processor failed, forming new configuration.が出力されることがあります。 
>>>>>F/Oしてるようではないようですが、発生原因が分かりません。
>>>>>サブクリプションが必要なので、詳細はわからないのですが、RHELのサイトに当該事象について言及しているものがあります。
>>>>>
>>>>>
>>>>>$ sudo pcs property show
>>>>>Cluster Properties:
>>>>> cluster-infrastructure: corosync
>>>>> dc-version: 1.1.13-6052cd1
>>>>> have-watchdog: false
>>>>> no-quorum-policy: ignore
>>>>> stonith-enabled: false
>>>>>$ sudo pcs resource show
>>>>> resource1      (lsb:*****): Started *****
>>>>>
>>>>>
>>>>>以上、よろしくお願いいたします。
>>>>>_______________________________________________
>>>>>Linux-ha-japan mailing list
>>>>>Linux-ha-japan@lists.osdn.me
>>>>>http://lists.osdn.me/mailman/listinfo/linux-ha-japan
>>>>>
>>>>>
>>>>>
>>>>
>>>>_______________________________________________
>>>>Linux-ha-japan mailing list
>>>>Linux-ha-japan@lists.osdn.me
>>>>http://lists.osdn.me/mailman/listinfo/linux-ha-japan
>>>>
>>>
>>>
>>>
>>
>
>
>

_______________________________________________
Linux-ha-japan mailing list
Linux-ha-japan@lists.osdn.me
http://lists.osdn.me/mailman/listinfo/linux-ha-japan