Silencios

¿Por que a mucha gente le incomodan los silencios?
Tengo la buena o mala costumbre de quedarme en silencio a veces, en un bar, en la cafetería, donde sea, simplemente callo. Si somos tres personas no hay problema, pero si somos dos... el otro lo pasa mal, no se como hacerle saber que no hace falta hablar para estar a gusto.
Si callo es para no contar tonterías, pero no puedo evitar oirlas por la necedad de evitar los silencios.