A inteligência artificial levanta desafios de privacidade para as escolas

“Não houve muita coisa por parte do governo federal”, disse Christine Dickinson, diretora de tecnologia do Distrito Escolar Unificado de Maricopa, ao sul de Phoenix, Arizona, em uma entrevista. “Estamos esperançosos de que haja alguma orientação, no entanto, iremos a todo vapor para garantir que tenhamos todas as ferramentas disponíveis para que nossos alunos tenham sucesso e nossos professores para garantir que eles possam defender essa integridade acadêmica em suas salas de aula.

Óregon
fornece uma lista de verificação
e outros materiais para escolas que buscam desenvolver políticas generativas de IA enquanto a Califórnia dirige as escolas
sobre como eles podem integrar IA
na sala de aula de uma forma que priorize a segurança do aluno. O Mississippi espera divulgar orientações sobre IA escolar em janeiro, e o Arizona está formando um comitê no início de 2024 para recomendar procedimentos políticos para implementação e monitoramento da tecnologia nas escolas.

“Há o equilíbrio entre mitigar o risco que (IA) provavelmente representa em termos de privacidade e preconceito de dados e as implicações de equidade, versus as oportunidades que apresenta”, disse Charlene Williams, diretora do departamento de educação do estado de Oregon, que observou que o estado recebeu alguma contribuição federal sobre sua orientação.

A pandemia de Covid-19 desencadeou um boom na tecnologia educacional, à medida que estudantes e educadores se tornaram repentinamente virtuais – uma mudança rápida que também desencadeou uma repressão federal à indústria por práticas de privacidade supostamente negligentes.

No início deste ano, a Comissão Federal de Comércio apresentou uma queixa contra a extinta empresa de tecnologia Edmodo, acusando-a de violar a COPPA, uma lei federal que proíbe o uso de informações pessoais de estudantes para publicidade sem o consentimento dos pais, entre outras violações. A reclamação seguiu-se ao aviso da FTC à indústria de tecnologia educacional no ano passado de que a comissão estava monitorando a conformidade com a COPPA.

Agora, a FTC propõe codificar aquela orientação de longa data que proíbe as escolas de autorizar a recolha de dados sobre crianças menores de 13 anos para fins comerciais, como publicidade.

A luta para adotar a tecnologia durante o auge da pandemia levou o departamento de educação do estado do Arizona a reforçar a privacidade de dados e as práticas de segurança em 2022, de acordo com Dickinson. O distrito escolar de Maricopa, que abriga cerca de 8.000 alunos, e outros em todo o estado, agora trabalham com a 1EdTech, que os ajuda a manter um painel de fornecedores de tecnologia educacional que foram aprovados para trabalhar com crianças. O processo de autorização garante que as empresas cumpram o acordo de dados do distrito e cumpram a COPPA e a FERPA, duas leis federais de privacidade que visam proteger as crianças online e os registros educacionais dos alunos, respectivamente.

Mas à medida que a pandemia diminuiu e os alunos regressaram ao ensino presencial, a inteligência artificial começou a acelerar as preocupações existentes com a tecnologia educacional.

Além de fazer recomendações sobre políticas e procedimentos, o próximo comitê de IA do Arizona planeja emitir diretrizes sobre IA na sala de aula que complementariam as recomendações feitas em nível federal.

A ampla ordem executiva do presidente Joe Biden sobre IA dá ao Departamento de Educação cerca de um ano para desenvolver mais recursos que abordem o uso não discriminatório da tecnologia. Além disso, o departamento espera lançar um “kit de ferramentas de IA” na primavera para ajudar as escolas a implementar as recomendações políticas da agência. O kit de ferramentas incluiria orientações sobre “projetar sistemas de IA para aumentar a confiança e a segurança e alinhá-los com as leis e regulamentos relacionados à privacidade”.

Os pais também estão preocupados com o que está sendo feito com os dados de seus filhos. Cerca de 57 por cento disseram que a escola ou distrito de seus filhos não pediu sua opinião sobre como “usar os dados e a tecnologia dos alunos de forma segura e responsável”, de acordo com uma pesquisa do Centro para Democracia e Tecnologia realizada entre junho e agosto de 2023.

Hannah Quay-de la Vallee, tecnóloga sénior do centro, disse que os estados podem desempenhar um papel mais importante na verificação e aprovação das práticas de privacidade dos fornecedores, o que pode ser benéfico para distritos mais pequenos que não têm capacidade para o fazer.

“Tanto a discriminação como as violações da privacidade podem resultar da falta de informação sobre o sistema, da falta de auditabilidade do sistema”, disse Quay-de la Vallee, observando que há alguma sobreposição na forma como os líderes educativos abordam ambos.

Há também legislação no Congresso que criaria mais supervisão federal e exigiria que algumas empresas reportassem como a sua tecnologia poderia impactar os consumidores. Mas os legisladores, especialmente no Senado, ainda estão a traçar o caminho para a governação da IA.

A Lei de Responsabilidade Algorítmica, embora não seja um projeto de lei específico para a educação, afetaria empresas de tecnologia educacional e fornecedores não específicos para educação contratados pelas escolas. O projeto de lei daria à FTC mais governança sobre algumas empresas de tecnologia, exigindo-lhes que avaliassem os seus sistemas de IA em relação a uma série de fatores, como parcialidade e eficácia.

Após um
contestação legal e subsequente moratória
, Nova York proibiu o uso de reconhecimento facial nas escolas em setembro, depois que o estado concluiu que o uso da tecnologia para fins de segurança “pode implicar leis de direitos civis”, observando que isso poderia levar a uma “taxa potencialmente mais alta de falsos positivos para pessoas de pessoas de cor, não binárias e transexuais, mulheres, idosos e crianças.” Mas em Montana, o estado proibiu o uso contínuo da tecnologia de reconhecimento facial pelos governos estaduais e locais, mas
escolas retiradas da proibição
.

Sen. Ron Wydenum democrata do Oregon e principal co-patrocinador da Lei de Responsabilidade Algorítmica, disse ao POLITICO que é “geralmente um oponente do reconhecimento facial”, observando que “muitos dos sistemas são profundamente falhos”.

“O reconhecimento facial nas escolas deve ser proibido até que haja evidências claras de que é preciso, que realmente melhoraria a segurança nas escolas e não será usado para atingir estudantes negros, hispânicos e outros estudantes de cor”, disse Wyden em um acompanhamento. declaração ao POLÍTICO.

Bree Dusseault, diretora e diretora administrativa do Centro para Reinventar a Educação Pública, que tem monitorado as orientações estaduais sobre IA na sala de aula, destacou a importância de obter recursos preliminares de IA agora, uma vez que as escolas já estão vendo a tecnologia usada na sala de aula.

“Aprendemos isso durante a pandemia, que alguns sistemas (escolares) fazem escolhas para sair na frente e ainda colocam bandeiras na areia e tentam divulgar algumas ideias e orientações iniciais – e outros não”, disse Dusseault. “E isso tem implicações diferentes para os alunos e educadores desses sistemas.”

Fuente