Нарушена связь Cassandra между центрами обработки данных

У меня есть два входа данных DC1 и DC2. Оба общаются по частной ссылке. Вчера у нас была проблема с приватной ссылкой на 10 минут. С момента решения проблемы узлы в обоих дата-центрах не могут обмениваться данными друг с другом. Когда я делаю статус nodetool на узле в DC1, узлы в DC2 указываются как отключенные. При попытке в DC2 узлы в DC1 отображаются как отключенные.

Но в логах cassandra мы ясно видим, что рукопожатие прерывается каждые 5 секунд для связи между центрами обработки данных. На уровне TCP слишком много fin_wait1 сгенерировано cassandra, что все еще остается загадкой. Closed_wait топовых переходов из-за этого очень высокий. Из-за такой проблемы с падением TCP-прослушивания мы перешли с версии 2.0.1 на версию 2.0.3. В версии 2.0.1 он находился в самом центре обработки данных. Но здесь между дата-центрами. Если это как-то связано с конфигурацией снитча, я использую GossipingPropertyFileSnitch.

Это явно начало происходить после сбоя приватной ссылки. Есть идеи по этому поводу?

Используемая версия Cassandra 2.0.3.


person Ananth    schedule 25.02.2014    source источник
comment
Можете ли вы подключиться к порту хранилища cassandra с узла в одном контроллере домена на другой контроллер домена?   -  person Arya    schedule 27.02.2014
comment
Со стороны сети вроде все нормально. Два узла пытаются установить связь TCP на сетевом уровне. Cassandra не завершает подтверждение связи на уровне приложения. Я сделал последовательную перезагрузку всех серверов, и теперь все работает нормально. Но меня беспокоит еще один сбой частной связи, который довольно распространен. Каждый раз, когда это происходит, нельзя перезапускать все узлы cassandra. Cassandra должен иметь механизм обнаружения и повторного подключения, поскольку повторные попытки продолжаются с интервалом в 5 секунд.   -  person Ananth    schedule 27.02.2014
comment
Я обсуждаю то же самое и здесь, в jira - issues.apache.org/jira/browse/ КАССАНДРА-6772   -  person Ananth    schedule 27.02.2014