La présence gallo-romaine 

Sur la rive gauche du Loing, le site d'une ville gallo-romaine importante avait été mis à jour: plan rectangulaire avec abside orientale semi-circulaire, conduits de chauffage au sol par hypocauste, l'ensemble étant tout à fait identifiable comme appartenant à une importante exploitation agricole. Ce site a malheureusement été recouvert depuis. 

Par ailleurs, des sarcophages gallo-romains ont été découverts en 1885 dans le sol de l'ancien cloître devenu cour d'école. 

Le village médiéval 

Le village de Grez occupait au Moyen-Age, une place importante entre la route signalée par les bornes royales à fleur de lys toutes les lieues et la rivière du Loing, voies par lesquelles transitaient les marchandises à destination de Paris: bois, pierres de grès, céréales... 

Du village médiéval, outre les trois monuments dont l'Eglise et les ruines de la Tour de Ganne, classés monuments historiques en 1887, il ne subsiste aujourd'hui que les caves du centre du bourg, caves voûtées aux escaliers de pierre dont certaines très remarquables. 

Quatre portes protégeaient le village, dont la porte de Paris, située au Nord et celle qui commandait l'entrée du village par le pont de pierre. 

A cette époque, le territoire de Grez comptait sept moulins, ce qui est une indication sur l'importance qu'occupait le village dans la région. Quatre d'entre eux subsistent encore aujourd'hui, l'un deux ayant moulu le blé jusque dans les années cinquante, l'autre fabriquant son électricité. 

La Commanderie de Beauvais en Gastinois

Le site de Grès accueillait une Commanderie de Templiers, la Commanderie de Beauvais; centre agricole très actif créé au XIIIème siècle, elle avait de multiples dépendances dans la région. Elle était associée au Moulin de Hulay où se trouve la pierre tombale de son premier commandeur connu, Frère Simon. Il n'en reste que peu de vestiges: des vestiges d'un mur d'enceinte, une cave à absidioles bien dégagée et un puits. Lorsque les Templiers furent condamnés par Philippe le Bel, ils furent remplacés par les Hospitaliers.