Ensaios sobre sistemas, inteligência artificial e infraestrutura

Tradução de EPUBs com LLMs: fila resiliente, retry por capítulo e modelos baratos

Um livro não é uma requisição. São centenas de documentos XHTML, cada um levando minutos de inferência, e um servidor que reinicia no meio do trabalho. A primeira versão do meu tradutor tratava o livro como um job único: um deploy no meio da tarde era suficiente para perder horas de tradução. O desenho que sobrou depois disso vive num aplicativo pequeno, com SQLite e um arquivo por livro, e resolve os três problemas que um serviço de LLM tem: interrupção, validação e custo.