открыть новое окно на той же странице небольшого размера

Ниже должен работать ваш пример кода, подумайте, что вы искали target="_blank", а не _self, поскольку _self - это то же окно и имеет тот же эффект, что и вообще не имеет целевого значения. Также не думайте, что target="_blank" в наши дни очень поощряется, плюс в браузерах с вкладками он просто откроется в новой вкладке и не будет изменять размер.

Надеюсь, нижеследующее поможет

<form target="popup" action="google.com" onsubmit="window.open('', this.target,    'width=300,height=300,resizable,scrollbars=yes'); return true;">
<input type="submit" value="click here"/>
</form>

Новый пример кода, основанный на попытке центрировать всплывающее окно.

Я думаю, что вопрос сбивает с толку, поскольку неясно, обращается ли всплывающее окно к материалам на стороне сервера или нет, и нужен ли ему доступ к содержимому формы. Другой ответ, предложенный на этот вопрос, также может подойти вам в зависимости от ваших обстоятельств. Ниже приведен мой исправленный код, надеюсь, он поможет, но не уверен на 100%, так как контекст немного сбивает с толку.

<script>
function openWindow(h, w, url) {
  leftOffset = (screen.width/2) - w/2;
  topOffset = (screen.height/2) - h/2;
  window.open(url, this.target, 'left=' + leftOffset + ',top=' + topOffset + ',width=' + w + ',height=' + h + ',resizable,scrollbars=yes');

}
</script>
<form name="form2" id="form2" method="post" action="google.com" onsubmit="openWindow(300, 300, 'google.com');">
<input type="submit" value="click here"/>
</form>

Я совершенно не уверен, понимаю ли я ваш вопрос, но, может быть, это вам поможет?

<a class=".openWin" href="_#">click here</a>

$('.openWin').click(function(ev){
    window.open('/newwindow.jsp','Title','width=200,height=400');
    ev.preventDefault();
    return false;
});

если это не то, что вы имели в виду, я предлагаю взглянуть на плагин диалогового окна jquery.

редактировать после комментариев:

возможно, вы пытаетесь сделать что-то, что не требует обращения к серверу. если все, что вам нужно сделать, это открыть «окно», содержащее значение из формы. вы можете получить доступ к любому значению поля формы, подобному этому...

var formFieldVal = $('input[name="myInput"]).val();

Теперь вы можете (также с помощью jquery) создать «окно» следующим образом:

var divWindow = $('<div class="overlay"><div>' + formFieldVal + '</div></div>');

и добавьте его в свой документ

$(body).append(divWindow);

Теперь стилизуйте динамически добавляемые элементы div следующим образом (css), и вы получите вид окна:

.overlay {
     visibility: hidden;
     position: absolute;
     left: 0px;
     top: 0px;
     width:100%;
     height:100%;
     text-align:center;
     z-index: 1000;
}

.overlay div {
     width:300px;
     margin: 100px auto;
     background-color: #fff;
     border:1px solid #000;
     padding:15px;
     text-align:center;
}