Cloud-ML Job Нет такого файла или каталога

Я отправил задание на обучение в cloud ml. Но он не может найти файл csv. это там в ведре. это код.

# Use scikit-learn to grid search the batch size and epochs
import numpy
from sklearn.model_selection import GridSearchCV
from keras.models import Sequential
from keras.layers import Dense
from keras.wrappers.scikit_learn import KerasClassifier

def create_model():
    model = Sequential()
    model.add(Dense(12, input_dim=11, activation='relu'))
    model.add(Dense(1, activation='sigmoid'))
    model.compile(loss='binary_crossentropy', optimizer='nadam', metrics=['accuracy'])
    return model
seed = 7
numpy.random.seed(seed)

FIL = "gs://bubbly-hexagon-112008-ml/dataset/mixed.csv"
dataset = numpy.loadtxt(FIL, delimiter=",")
X = dataset[:,0:11]
Y = dataset[:,11]

model = KerasClassifier(build_fn=create_model, verbose=1)
batch_size = [10, 20, 40, 60, 80, 100]
epochs = [10, 50, 100, 500, 1000]
param_grid = dict(batch_size=batch_size, nb_epoch=epochs)
grid = GridSearchCV(estimator=model, param_grid=param_grid, n_jobs=-1)
grid_result = grid.fit(X, Y)
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
stds = grid_result.cv_results_['std_test_score']
params = grid_result.cv_results_['params']
for mean, stdev, param in zip(means, stds, params):
    print("%f (%f) with: %r" % (mean, stdev, param))

после отправки задания я получаю эту ошибку.

Traceback (most recent call last): File "/usr/lib/python2.7/runpy.py", line 162, in _run_module_as_main "__main__", fname, loader, pkg_name) File "/usr/lib/python2.7/runpy.py", line 72, in _run_code exec code in
run_globals File "/root/.local/lib/python2.7/
site-packages/trainer/task.py", line 18, in <module> dataset = numpy.loadtxt(FIL, delimiter=",") File "/root/.local/lib/python2.7/
site-packages/numpy/lib/npyio.py", line 803, in loadtxt fh = iter(open(fname, 'U')) IOError: [Errno 2] No such file or directory: 
'gs://bubbly-hexagon-112008-ml/dataset/mixed.csv'

-Файл находится в указанном сегменте, и его разрешение включает облачный мл как читатель.

-Я также использовал gcloud beta ml init-project для инициализации проекта.

-И я создал новую корзину и поместил туда файл, но получил ту же ошибку.

-Мое ведро находится в том же регионе, что и моя отправленная работа.

Спасибо


google-cloud-ml
person Androidification    schedule 07.01.2017    source источник

Ответы (3)


arrow_upward
0
arrow_downward

file_io из tensorflow отлично работает:

from tensorflow.python.lib.io import file_io
import numpy as np
import json

Чтобы прочитать массив numpy:

with file_io.FileIO(path_npx, 'rb') as f:
    np_arr = np.load( BytesIO(f.read()) )
    print(np_arr)

Чтобы прочитать файл json:

with file_io.FileIO(path_json, 'r') as f:
    print(json.loads(f.read()))
person Tobias Ernst    schedule 08.04.2019

arrow_upward
0
arrow_downward

Вы не можете читать напрямую из gfs, вам нужно использовать какую-то библиотеку io.

from io import BytesIO
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

FIL = "gs://bubbly-hexagon-112008-ml/dataset/mixed.csv"
f = BytesIO(file_io.read_file_to_string(FIL, binary_mode=True))
data = np.load(f)
person convolutionBoy    schedule 19.12.2018

arrow_upward
-1
arrow_downward

Я не думаю, что вы можете читать файлы gcs напрямую с помощью numpy.

person roger    schedule 07.01.2017