IPSec não é o mecanismo de encriptação ou autenticação, mas sim o que vem gerenciar estes. Em poucas palavras, é um framework (um conjunto de diversas ferramentas, compondo um sistema) de padrões abertos que visa a garantir uma comunicação segura em redes IP. Baseado em padrões desenvolvidos pela IETF (Internet Engineering Task Force, organização que desenvolve os padrões da Internet), o IPSec busca garantir confidencialidade, integridade e autenticidade nas comunicações de dados em uma rede IP pública.
Encriptação e autenticação podem ser implementadas tanto na camada de rede, quanto na de enlace ou aplicação. Antes do IPSec, as redes adotavam soluções parciais, que resolviam apenas parte dos problemas. Por exemplo, a utilização de SSL (Secure Sockets Layer, que simulam túneis seguros entre aplicativos) fornece encriptação no nível de aplicação, muito usado em navegadores de Internet, por exemplo, para acesso à serviços bancários. Uma das deficiências da encriptação no nível de aplicação é que ela protege somente os dados enviados pela aplicação que a está usando, mas não de todas as outras. Cada sistema ou aplicativo deve estar adaptado a SSL, para que uma segurança geral possa ser garantida. Atualmente, a maior parte dos aplicativos não utiliza SSL.
Já em instituições militares, o que vem sendo usado há anos é a encriptação no nível do enlace de dados. Neste esquema, todas as comunicações estarão protegidas por dispositivos de encriptação colocados em cada fim do enlace. Apesar de oferecer excelente cobertura, este tipo de encriptação necessita de um par de dispositivos de encriptação a cada enlace, o que pode ser inviável; também não é adequado para a Internet, já que apenas os enlaces dentro de um sistema autônomo estarão ao alcance das empresas/instituições.
O IPSec implementa encriptação e autenticação na camada de rede, fornecendo uma solução de segurança fim-a-fim, ao contrário da anterior (enlace), que é ponto-a-ponto. O IPSec pode ser implementado nos roteadores ou no sistema operacional dos terminais, assim os aplicativos não precisam de alterações para poder utilizar comunicações seguras. Como os pacotes encriptados têm o mesmo formato de pacotes IP comuns, eles podem ser roteados sem problemas em qualquer rede IP, e sem qualquer alteração nos equipamentos de rede intermediários. Os únicos dispositivos de rede que precisam ser alterados são os do início e fim das comunicações IPSec, reduzindo assim os custos de implementação e gerenciamento.
A figura abaixo mostra onde a encriptação atua nas diferentes camadas:
Encriptação na camada de enlace, na de rede e na aplicação.
Fonte: http://www.gta.ufrj.br/~rezende/cursos/eel879/trabalhos/vpn/ipsec.html#mozTocId786656
