В обычной ситуации никто не даст подключаться к себе рандомному сокету хотя бы из-за настроек сети (а еще это вообще не особо безопасно). Есть алгоритмы, позволяющие это обойти и при этом не скомпрометировать обоих клиентов, но это всё равно не всегда возможно. Гугли "NAT hole punching".