在Squid或任何代理服务器上预取和cachingHTTP请求

有没有一个代理服务器(最好是Squid)或类似的软件,让我从列表或API预先排队100个URL,并透明地cachingHTML数据(并行请求)。

之后,当我请求一个URL时,它会很快给出一个caching版本?

使用任何你喜欢的caching代理,你都可以编写caching预热请求的脚本 – 代理将负责根据策略caching响应(确保分配足够的存储并设置足够的持久保留)。

以下例子的精神中的一些脚本可以通过代理获得URL列表:

#!/bin/bash http_proxy=http://proxy.exemple.net:3128/; export http_proxy for my_url in `cat one_url_per_line_file` do wget -r -nd --delete-after $my_url done