Как я могу добавить несколько записей в общий файл настроек

Вы должны использовать разные ключи, например:

            SharedPreferences settings = getSharedPreferences("users", 0);

            SharedPreferences.Editor editorUser = settings.edit();
            for (int i = 0; i < users.size(); i++) 
                 editorUser.putString("user" + i, users.get(i));

            editorUser.commit();

Вы столкнулись с этой проблемой переопределения, потому что каждый раз используете одну и ту же общую настройку key для сохранения файла value. Предполагая, что вы используете один и тот же EditText для нескольких записей, я думаю, следующий фрагмент поможет вам.

counter=0;
        save.setOnClickListener(new OnClickListener() {

            @Override
            public void onClick(View v) {

                  settings = getSharedPreferences("users", 0);
                    SharedPreferences.Editor editorUser = settings.edit();
                    editorUser.putString("user"+counter, Edittext.getText().toString());
                    editorUser.commit();
                    counter++;
                    Edittext.setText("");
            }
        });
        show.setOnClickListener(new OnClickListener() {

            @Override
            public void onClick(View v) {


                for(int i=0;i<counter;i++)
                {
                    Log.i("User "+i, ""+settings.getString("user"+i, ""));
                }
            }
        });

Здесь я использовал кнопку show OnClickListner только для проверки нескольких записей через EditText. Но здесь я хотел бы предложить вам использовать базу данных SQLite, если вы действительно хотите хранить информацию о нескольких пользователях.

Вот как вы можете это сделать

Пройдите через эти 2 URL, это поможет вам

vogella.

mobile.tutsplus.com

Сохранить

 public void saveInformation(String username,String password) {
        SharedPreferences shared = getSharedPreferences("shared", MODE_PRIVATE);
        SharedPreferences.Editor editor = shared.edit();
        editor.putString("username", username);
        editor.putString("password", password);
        editor.commit();
    }

Загрузить

private void LoadPreferences(){
    SharedPreferences sharedPreferences = getPreferences(MODE_PRIVATE);
    String username = sharedPreferences.getString("username", "");
    String password = sharedPreferences.getString("password", "");

   }

Изменить

 private void editDate(){
    SharedPreferences.Editor editor = getPreferences(MODE_PRIVATE).edit();
    editor.putString("username", mSaved.getText().toString());
    editor.putInt("selection-start", mSaved.getSelectionStart());
    editor.putInt("selection-end", mSaved.getSelectionEnd());
    editor.commit();
   }

Чтобы сохранить данные нескольких пользователей, вам будет предложено создать несколько файлов для каждого пользователя, а затем сохранить их в общей папке.

Просто просмотрите разницу между getDefaultSharedPreferences и getSharedPreferences отсюда Различная ссылка