Что делать,если он намного старше или я боюсь влюбиться.

То, что он старше Вас, лично на мой взгляд, не проблема - огромное количество пар очень счастливы. Дело не в возрасте, а в личности, и тут уж только жизнь покажет, что это за человек.
Если он не делает никаких попыток к сближению, то, возможно, в его жизни есть обстоятельства, которые этому препятствуют, несмотря на симпатию к Вам. Я бы на Вашем месте заняла бы выжидательную позицию, не отталкиваейте его, но и не форсируйте - пусть он решает. К тому же, если он был уже женат, значит, это человек с уже сложившейся системой координат (в отношениях).
Удачи!