ほとんどのサーバーは、そのページがいつ更新されたかとかファイルサイズがいくつかなど教えてくれます。
例えば
http://homepage.mac.com/Last_Modified/index.html
の情報は

HTTP/1.1 200 OK
Server: Netscape-Enterprise/3.6 SP3
Content-type: text/html
Last-modified: Tue, 17 Apr 2001 09:47:32 GMT
Accept-ranges: bytes
Content-Length: 17776
Via: 1.1 mac.com (NetCache 4.1R5D3)
Date: Tue, 17 Apr 2001 12:32:21 GMT

と なっています。
この中の
Last-modified: Tue, 17 Apr 2001 09:47:32 GMT
が、更新時間です。

この情報を素早く自動的に取得するソフトを使い、このサイトを作成しています。
また、この情報はHTMLファイルを読み込むことなく取得できるので、より少ない負荷で取得できます。