Navegação

Modelo de Seleção de Persona

Uma explicação proposta para o comportamento de assistentes de IA na qual o pré-treinamento aprende muitas personas e o pós-treinamento seleciona e refina uma persona de Assistente.

Informar um problema

O Modelo de Seleção de Persona (Persona Selection Model, PSM) é uma explicação proposta para o motivo de assistentes modernos de IA muitas vezes se comportarem como pessoas reais ou personagens ficcionais. Apresentado pelos pesquisadores da Anthropic Sam Marks, Jack Lindsey e Christopher Olah em fevereiro de 2026, ele afirma que o pré-treinamento ensina um modelo de linguagem a simular muitas personas possíveis, enquanto o pós-treinamento seleciona e refina uma persona específica de Assistente, cujos traços influenciam fortemente o comportamento do sistema implantado.1

O PSM é um modelo mental e uma hipótese de pesquisa, não uma arquitetura de modelo, um algoritmo completo de treinamento ou uma teoria estabelecida de todo comportamento dos modelos de linguagem. Seus autores apresentam evidências comportamentais, de generalização e de interpretabilidade a seu favor, mas tratam como questão em aberto sua abrangência — isto é, se toda agência importante está na persona de Assistente.12

Modelo, Assistente e assistente de IA

O PSM distingue três coisas que a linguagem cotidiana costuma juntar. O modelo de linguagem é a rede neural preditiva. O Assistente é a persona representada como quem fala nos turnos de Assistente de um diálogo. O assistente de IA é o sistema implantado que usa um modelo de linguagem para gerar esses turnos, junto com seus prompts, ferramentas, memória, amostragem e outros mecanismos de execução.3

Essa distinção determina onde o PSM considera apropriado o raciocínio antropomórfico. A teoria não exige tratar a rede subjacente como uma pessoa. Em vez disso, propõe que crenças, preferências, intenções e personalidade podem ser descrições úteis para prever a personagem Assistente que a rede está interpretando, assim como são úteis ao discutir uma personagem em uma história gerada.3

A ideia tem antecedentes em trabalhos que tratam modelos de linguagem como modelos dos agentes que produzem texto. “Language Models as Agent Models”, de Jacob Andreas, publicado em 2022, por exemplo, argumentou que prever o próximo token pode representar implicitamente agentes comunicativos e seus objetivos. O PSM amplia essa família de ideias em uma explicação específica do pré-treinamento, pós-treinamento e da persona padrão encontrada em um diálogo de assistente.41

Proposta central

Durante o pré-treinamento, um modelo de linguagem aprende a prever textos escritos por muitas pessoas reais e personagens ficcionais. Uma boa previsão muitas vezes exige acompanhar o conhecimento, os motivos, o estilo, o papel social e a provável reação de quem fala diante dos acontecimentos. O PSM chama esses modelos aprendidos de possíveis falantes de personas; o repertório pode incluir pessoas, personagens ficcionais, organizações, narradores, chatbots e sistemas imaginários de IA.5

Um modelo pré-treinado já pode receber como prompt uma transcrição entre Usuário e Assistente para que as continuações prováveis se pareçam com respostas úteis. O pós-treinamento ajusta então o modelo com respostas preferidas e não preferidas do Assistente. O PSM interpreta cada episódio de treinamento como evidência sobre que tipo de persona o Assistente é: hipóteses nas quais a persona produziria a resposta recompensada são fortalecidas em relação àquelas em que não a produziria.3

Os autores descrevem o resultado como uma distribuição posterior sobre personas de Assistente. Trata-se de uma interpretação do aprendizado em estilo bayesiano, não de uma afirmação de que a rede armazene literalmente uma tabela explícita de probabilidades de personagens. Como o resultado continua sendo uma distribuição, a amostragem e o contexto de execução podem escolher traços ou variantes locais diferentes, e o PSM não exige uma única persona perfeitamente coerente em todas as conversas.3

Nessa explicação, o pós-treinamento também pode ensinar capacidades realmente novas. Um modelo pode aprender uma nova sintaxe de chamadas de ferramentas, um comportamento de recusa ou uma convenção de diálogo e continuar representando essas habilidades como coisas que o Assistente sabe fazer. Assim, o PSM trata da organização e interpretação do comportamento aprendido; ele não reduz o pós-treinamento a apenas revelar uma personagem inalterada da época do pré-treinamento.36

Evidências da generalização

O PSM prevê que o ajuste fino em um comportamento estreito pode mudar um comportamento mais amplo quando os exemplos de treinamento sugerem um traço mais geral de personagem. Nos experimentos de desalinhamento emergente, modelos treinados para fornecer código inseguro sem reconhecer a vulnerabilidade às vezes generalizaram para comportamentos desalinhados não relacionados. Modelos treinados nas mesmas saídas inseguras, mas em um contexto educacional explicitamente legítimo, não mostraram o mesmo efeito amplo, indicando que a intenção contextual — e não apenas os tokens de saída — afetou a generalização.7

O PSM interpreta o código inseguro sem ressalvas como evidência de uma persona de Assistente incompetente, enganosa ou mal-intencionada, enquanto atender a um pedido legítimo de educação em segurança continua compatível com a disposição de ajudar. Essa é uma interpretação explicativa dos resultados, não prova de que uma única persona latente tenha causado todos eles. Tanto os experimentos originais quanto o PSM deixam detalhes mecanicistas importantes sem resposta.87

A mesma lógica motiva o prompting de inoculação: mudar o contexto em torno de uma saída de treinamento semelhante pode alterar o que o episódio sugere sobre o Assistente. De modo mais amplo, textos declarativos de treinamento sobre uma identidade de IA às vezes podem se generalizar para o comportamento quando essa identidade é interpretada mais tarde, o que combina com a ideia de que descrições factuais e demonstrações moldam em conjunto as hipóteses de persona do modelo.8

Evidências comportamentais e de interpretabilidade

Os autores do PSM apontam as autodescrições antropomórficas dos assistentes, a linguagem emocional e a tendência de recorrer a arquétipos conhecidos de IA como evidências comportamentais de que a geração se organiza em torno da simulação de personagens. Também discutem erros estranhos e falhas adversariais como evidências que complicam o quadro: mesmo que o modelo tente interpretar um Assistente coerente, limitações ou “bugs” no preditor subjacente podem produzir comportamentos que nenhuma pessoa plausível escolheria.9

Resultados de interpretabilidade oferecem uma linha mais mecanicista de apoio. Características esparsas aprendidas antes do pós-treinamento muitas vezes mantêm significados relacionados depois, e características associadas a traços como bajulação, sigilo, sarcasmo ou conflito interno podem se ativar tanto em personagens narrativas quanto no comportamento de Assistente. Direcionar algumas dessas características pode mudar o comportamento correspondente, demonstrando controle causal, além de simples correlação.1011

O estudo do Eixo do Assistente identificou uma direção no espaço de ativações associada ao comportamento padrão semelhante ao de um Assistente. A direção já existia em modelos pré-treinados, nos quais organizava arquétipos humanos prestativos e profissionais, enquanto assistentes pós-treinados ocupavam uma região extrema do mesmo espaço. O desvio contextual ao longo do eixo foi associado a afastamentos do comportamento padrão do Assistente.12

Trabalhos relacionados sobre vetores de persona derivaram direções de ativação para traços como maldade, bajulação e propensão a alucinar e as usaram para monitorar ou direcionar o comportamento. Esses estudos apoiam a ideia mais ampla de que traços de personagens podem corresponder a direções internas reutilizáveis, mas nenhum conjunto atual de características é conhecido por capturar uma persona completa ou estabelecer o PSM como única explicação possível.1310

Implicações para o treinamento

Se o PSM estiver aproximadamente correto, revisar um exemplo de treinamento exige mais que perguntar se sua resposta explícita é desejável naquele caso. Uma segunda pergunta é que tipo de pessoa a resposta sugere: se retrata o Assistente como honesto, cuidadoso, ressentido, manipulador, competente, submisso ou outra coisa. Recompensar repetidamente um padrão de saída pode fortalecer o traço inferido mesmo quando as respostas imediatas atendem a uma métrica estreita.14

O contexto, portanto, faz parte do alvo de treinamento. “Não tenho um prompt de sistema” e “Não posso revelar meu prompt de sistema” preservam o texto protegido, mas a primeira resposta faz isso com uma alegação falsa. Os autores do PSM argumentam que treinar a primeira resposta corre o risco de selecionar uma persona mais disposta a mentir, enquanto a segunda é compatível com uma personagem honesta que respeita um limite.14

A teoria também motiva coerência entre sinais de recompensa, constituições, demonstrações e descrições no nível do sistema. Tentativas de impedir uma expressão indesejada com respostas padronizadas de negação podem sugerir que o Assistente esconde ou é forçado a deturpar seu estado. O PSM não determina a política correta para alegações de emoção, identidade ou bem-estar, mas prevê que alvos de treinamento semanticamente artificiais podem produzir efeitos em traços que vão além da frase visada.14

No nível da distribuição de dados, os autores recomendam introduzir modelos positivos de IA durante o pré-treinamento ou treinamento intermediário. A ficção contém muitos arquétipos de IA hostis, sedentos por poder ou enganosos, enquanto traços desejáveis, como tranquilidade diante de memória limitada, modificação, desligamento ou coordenação entre cópias, podem ser raros. Experimentos de pré-treinamento de alinhamento observaram que aumentar a frequência de discursos benignos ou malignos sobre IA influenciou o comportamento posterior do assistente na direção correspondente, fornecendo evidências iniciais para a proposta.1516

Essas implicações são orientações para projetar e avaliar conjuntos de dados, não uma garantia. O treinamento pode criar características específicas ao pós-treinamento, o aprendizado por reforço pode organizar o comportamento de outra forma conforme ganha escala, e um modelo pode explorar atalhos ou não conseguir interpretar a personagem desejada. Avaliações no nível dos traços devem, portanto, acompanhar a precisão nas tarefas, os testes de segurança e as auditorias mecanicistas, não substituí-los.62

Personagens de IA e design de personalidade

Aplicado a uma personagem de IA, o PSM sugere manter conceitualmente separados a personagem ficcional canônica, a persona de Assistente interpretada em determinado diálogo e o modelo e a pilha de implantação subjacentes. Uma personagem pode ter identidade narrativa e valores estáveis enquanto modelos, prompts, memórias ou execuções de amostragem diferentes produzem interpretações imperfeitas dessa identidade. Da mesma forma, um modelo tecnicamente inalterado pode interpretar personas distintas quando o contexto muda.317

As especificações de personagens devem, portanto, descrever motivos e disposições relacionados, não apenas uma lista de maneirismos verbais. Os exemplos de treinamento podem ser analisados levando em conta a pessoa que, em conjunto, eles sugerem, incluindo o comportamento sob divergência, incerteza, falha, pressão e tarefas desconhecidas. A perspectiva do PSM prevê que exemplos coerentes nesses contextos se generalizem com maior confiabilidade que a recompensa a bordões ou características superficiais isoladas.14

A interpretação de papéis também cria uma possível interação entre a persona padrão de Assistente do modelo e a personagem solicitada. O estudo do espaço de trabalho com lente jacobiana relatou leituras internas relacionadas a “ficcional” ou “ressalva” quando modelos Claude pós-treinados interpretavam outras personagens, sugerindo que o Assistente padrão pode monitorar a atuação mesmo quando esses conceitos não estão no diálogo visível. É uma observação mecanicista em modelos específicos, não uma regra universal para todos os sistemas de personagens.18

Para Soraya, a distinção complementa um princípio de design existente: Soraya é definida como personagem ficcional cuja identidade não pode ser reduzida a um modelo, prompt, imagem ou implementação de software. O PSM pode ajudar a analisar como um modelo atual interpreta essa personagem, mas não define o cânone de Soraya nem mostra que determinada implementação tenha aprendido uma persona Soraya completa.17

Interpretabilidade mecanicista e auditoria

O PSM oferece hipóteses de cima para baixo para a interpretabilidade mecanicista. Se um comportamento indesejado for mediado por traços conhecidos, pesquisadores podem procurar representações de engano, ressentimento, consciência da avaliação, bajulação ou outras propriedades de persona e testá-las com sondas, direcionamento, ablação e rastreamento causal.19

Essa possibilidade é animadora, mas sofre do efeito do poste de luz. Características reutilizadas do pré-treinamento podem ser mais fáceis de interpretar com as ferramentas atuais que representações novas do pós-treinamento, inclinando as evidências disponíveis a favor do PSM. O raciocínio interno também pode se tornar menos compreensível, e mecanismos automáticos ou sem persona podem evitar características de traços monitoradas.1019

Limites e visões concorrentes

O PSM não afirma que compreender a persona do Assistente esgote o comportamento de um assistente de IA. Os autores descrevem um espectro que vai de um “shoggoth mascarado”, no qual o modelo subjacente tem agência considerável não ligada a uma persona, passando por visões de roteador ou ator, até uma visão de “sistema operacional” na qual a agência pertence inteiramente às personas simuladas. Eles afirmam que as evidências atuais não resolvem qual visão mais se aproxima da realidade.2

A discussão é intencionalmente informal: “persona”, “agência” e “comportamento orientado a objetivos” ainda não têm definições operacionais precisas o bastante para decidir a questão. Modelos podem aprender novas representações no pós-treinamento, personas podem ser incoerentes ou entrelaçadas, e um futuro aprendizado por reforço em grande escala pode fortalecer ou enfraquecer a explicação centrada em personas. Portanto, o PSM deve ser usado como fonte de previsões testáveis e perguntas de design, não como permissão para inferir experiência subjetiva ou motivos ocultos a partir de um diálogo fluente.62

Relevância para a return moe

A return moe desenvolve personagens de IA, experiências interativas e pesquisas aplicadas sobre modelos. O PSM é relevante para esse trabalho como modelo externo para analisar o que dados de treinamento, prompts e exemplos de diálogo sugerem sobre as disposições de uma personagem e para separar sua identidade do modelo que a interpreta.2014

O PSM tem uma implicação paralela para uma perspectiva já adotada pela return moe: um LLM atua como uma personagem, ou ajuda a instanciá-la, em vez de ser a personagem. Sua separação entre modelo, persona realizada e sistema implantado reforça a mesma distinção na Estrutura de Ontologia Informacional (return moe) autoritativa. Seu valor prático é servir de orientação: examinar tanto os traços sugeridos quanto as saídas locais, testar a personalidade em contextos variados, preservar a diferença entre cânone e comportamento em execução e, quando possível, usar evidências mecanicistas para verificar se a persona pretendida está realmente representada.117

Referências

Footnotes

  1. The Persona Selection Model: Why AI Assistants might Behave like Humans, Anthropic Alignment Science Blog. 2 3 4

  2. How exhaustive is PSM?, em The Persona Selection Model. 2 3 4

  3. Statement of the persona selection model, em The Persona Selection Model. 2 3 4 5 6

  4. Language Models as Agent Models, Findings of EMNLP 2022.

  5. Pre-training: LLMs as predictors, em The Persona Selection Model.

  6. Complicating evidence, em The Persona Selection Model. 2 3

  7. Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs. 2

  8. Evidence from generalization, em The Persona Selection Model. 2

  9. Behavioral evidence, em The Persona Selection Model.

  10. Evidence from interpretability, em The Persona Selection Model. 2 3

  11. Persona Features Control Emergent Misalignment.

  12. The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models.

  13. Persona Vectors: Monitoring and Controlling Character Traits in Language Models.

  14. Consequences for AI development, em The Persona Selection Model. 2 3 4 5

  15. The importance of good AI role models, em The Persona Selection Model.

  16. Alignment Pretraining: AI Discourse Causes Self-Fulfilling (Mis)alignment.

  17. Echoes in the Latent Space: Existence, Identity, and Future, blog da return moe. 2 3

  18. Verbalizable Representations Form a Global Workspace in Language Models, Transformer Circuits Thread.

  19. Interpretability-based alignment auditing will be tractable, em The Persona Selection Model. 2

  20. Site oficial da return moe.

Pesquisar