A era dos LLMs transformou a relação entre humanos e conhecimento técnico. Na década de 2010, lacunas de habilidade, como não saber escrever CSS, exigiam depender de colegas ou buscar respostas na internet. Hoje, qualquer pessoa pode delegar tarefas a um modelo de linguagem e obter resultados razoáveis. Os LLMs transformaram todos em generalistas.

Essa democratização gerou a percepção de que não há habilidade envolvida no uso dessas ferramentas. Afinal, se todos conversam com os mesmos modelos, por que um ‘prompter experiente’ teria vantagem sobre um iniciante? A resposta, segundo o ensaio de seangoedecke.com, é que essa visão está errada. A habilidade mais importante ao interagir com LLMs é justamente a expertise no domínio em questão.

O texto cita o exemplo do matemático Terence Tao em uma conversa com o ChatGPT sobre um contraexemplo recém-descoberto para a Conjectura de Jacobi. O autor observa que não conseguiria chegar ao mesmo resultado, mesmo com tokens ilimitados. A diferença não está no modelo, mas na forma como Tao o utiliza.

A análise da conversa revela técnicas específicas. Tao escreve mensagens curtas e objetivas, respondendo à essência, não ponto a ponto. As respostas do modelo são mais concisas, pois ele sinaliza estar falando com um matemático, não com um leigo. Tao questiona respostas que parecem erradas, mas sem contradizer diretamente, usando frases como ‘isso parece mais complexo do que eu esperava’. Ele também faz seus próprios saltos e sugestões, raramente seguindo o conselho do modelo sobre os próximos passos.

No entanto, seguir essas dicas não é suficiente. A chave da técnica de Tao é a compreensão profunda da matemática: extrair a ideia relevante de uma resposta longa, sugerir abordagens alternativas e identificar o que ‘parece estranho’. O autor, que se considera um programador inferior a Tao como matemático, reconhece o mesmo princípio em seu trabalho: ter uma boa teoria do código permite pressionar o LLM muito mais do que sem familiaridade.

Essa ideia conecta-se a um conceito já explorado pelo autor: problemas de design de sistemas são dominados por especificidades concretas, não por princípios genéricos. Ele prefere familiaridade com o código a uma compreensão geral profunda. Tao faz perguntas específicas como ‘X funciona aqui?’ ou ‘dado Y e Z, por que A?’. O autor não pode fazer essas perguntas sobre a Conjectura de Jacobi, mas pode fazê-las sobre os sistemas que gerencia no GitHub.

Sem conhecimento de domínio, é possível se agarrar ao LLM para obter algo, o que não é ruim. Mas com expertise, é possível extrair muito mais valor do mesmo modelo, direcionando-o firmemente na direção desejada. A maioria das pessoas usará uma mistura dessas abordagens, pois tem conhecimento em algumas áreas, mas não em outras.

A utilidade do conhecimento de domínio sugere que a expertise humana continuará relevante mesmo com modelos mais fortes. Em muitas tarefas, o gargalo é o humano, não o modelo, pois a parte difícil é comunicar exatamente que tipo de solução se deseja. A informação já está ‘no modelo’, mas é preciso um humano muito inteligente para extraí-la.

O post gerou muitos comentários no Hacker News. Alguns compartilham anedotas sobre como a expertise ajudou e a falta dela atrapalhou. Outros expressam suspeita sensata de uma visão que os tranquiliza sobre seu próprio valor. O autor concorda, mas suspeita que, quando o assunto for estudado, o cenário já terá mudado. Alguns comentaristas apontam que os prompts matemáticos da OpenAI eram inexperientes, sugerindo que expertise não é necessária. O autor rebate: a OpenAI tem uma equipe de matemáticos especialistas que verificou e filtrou as descobertas sugeridas pelo modelo, e essa etapa não pode ser pulada.

A conclusão é clara: em um mundo onde LLMs estão disponíveis para todos, a expertise humana se torna o diferencial. Saber o que pedir, como avaliar respostas e como direcionar o modelo são habilidades que separam resultados medianos de descobertas notáveis.