Журналы Stackdriver недоступны для заданий Cloud ML с момента перехода на V2

Поскольку переход на журналы V2 из Cloud ML больше не доступен в консоли журналов Stackdriver. Последний отображаемый журнал

Waiting for Tensorflow to start.

Задание выполнено и завершено успешно, я просто не могу получить доступ к результатам в журналах

Все API-интерфейсы Stackdriver включены для проекта.

введите описание изображения здесь


stackdriver google-cloud-ml
person znat    schedule 15.12.2016    source источник
comment
Спасибо за отчет. Мы проведем расследование и свяжемся с вами.   -  person rhaertel80    schedule 15.12.2016

Ответы (2)


arrow_upward
1
arrow_downward

Нет известных проблем с ведением журнала Stackdriver Cloud ML. Тот факт, что вы видите «Ожидание запуска Tensorflow». указывает на то, что вы видите сообщения журнала от Cloud ML.

Если журналы из вашей программы Python / TensorFlow отсутствуют, это обычно означает, что Cloud ML не авторизован для отправки журналов в Stackdriver logging для вашего проекта. Чтобы проверить разрешения, сделайте следующее

  1. Определите учетную запись службы Cloud ML, следуя этим инструкциям
  2. В облачной консоли выберите вкладку IAM.
  3. Убедитесь, что учетная запись службы Cloud ML указана и имеет разрешения Logs Writer.
person Jeremy Lewi    schedule 16.12.2016
comment
Работа успешно завершена. Я получаю доступ к пользовательскому интерфейсу Stackdriver либо по ссылке, возвращаемой в Cloud Datalab при запуске задания, либо с консоли заданий. - person znat; 16.12.2016
comment
Не могли бы вы объяснить, какие журналы вы ожидаете увидеть и не увидите? Есть ли у учетной записи Cloud ML Service доступ на запись для ведения журнала драйверов стека для проекта? Эти инструкции объясняют, как идентифицировать службу. учетная запись. В облачной консоли вы можете выбрать учетную запись IAM и посмотреть, какие разрешения были предоставлены. - person Jeremy Lewi; 18.12.2016
comment
Да. Думаю, без него я не смог бы писать контрольные точки и сводки. Работало с V1 - person znat; 18.12.2016
comment
Спасибо. Итак, какие именно журналы вы ожидаете увидеть и не увидите? - person Jeremy Lewi; 19.12.2016
comment
Я ожидаю увидеть вывод Tensorflow: предупреждение TF, ошибки TF и ​​журналы, отправленные tf.logging.info/warn, как это было раньше с V1. Теперь у меня есть только журналы из Cloud ML (до запуска TF, после остановки TF) - person znat; 19.12.2016
comment
О какой миграции V2 вы имеете в виду? - person Jeremy Lewi; 20.12.2016
comment
См. Снимок экрана со страницы журналов вакансий. - person znat; 20.12.2016
comment
Я думаю, это совпадение. Stackdriver перешел на V2, и нет известных проблем с V2 и Cloud ML. Здесь есть пара возможностей; 1. либо журналы не отправляются в Stackdriver, либо 2. проблема в пользовательском интерфейсе. Предположение, что вы получаете доступ к нему из Cloud ML UI 2, маловероятно. Вы настраиваете регистратор? Не могли бы вы попробовать отправить простую программу вроде this в качестве задания на обучение и посмотреть, появятся ли журналы. - person Jeremy Lewi; 20.12.2016
comment
Это не пользовательский интерфейс. Журналы также недоступны из gcloud. Tensorlfow выводит много логов при запуске + несколько предупреждений. В тот день, когда пользовательский интерфейс стекового драйвера изменился, все они исчезли. Не изменив ни строчки в моей программе tf. - person znat; 20.12.2016
comment
Не могли бы вы попробовать запустить простую программу? - person Jeremy Lewi; 20.12.2016
comment
Я обновил свой ответ, чтобы объяснить, как проверить, есть ли у учетной записи службы Cloud ML доступ для записи журналов. Я бы посоветовал подтвердить, что доступ к модулю записи журналов включен, поскольку это наиболее частая причина того, что журналы не отображаются. - person Jeremy Lewi; 28.12.2016

arrow_upward
1
arrow_downward

Эта проблема также заняла у меня две недели, чтобы искать ответы в Интернете с разочарованием, пока я не наткнулся на этот пост. Я не видел «миграции на V2», как упоминает OP, но я просто не мог получить журналы приложений в StackDriver, только системные журналы запуска / завершения задания. Следование тому, что отвечает Джереми, решает проблему.

Чтобы упростить понимание ответа Джереми, по сути, вы добавляете учетную запись службы машинного обучения.

cloud-ml-service@<project-id>.iam.gserviceaccount.com

членам IAM вашего проекта, по крайней мере, с ролью «Автор журналов».

Вы можете получить "идентификатор проекта":

gcloud config list project --format "value(core.project)"

Я также назначил роль Project-> Editor, чтобы разрешить доступ к Bucket.

person Jimmy Chen    schedule 13.10.2017