Manipula casos em que a qualidade dos dados varia. Um dos pressupostos comuns subjacentes à maioria dos métodos de modelagem de processos. Incluindo regressão de mínimos quadrados linear e não linear, é que cada ponto de dados fornece informações igualmente precisas sobre a parte determinista da variação total do processo. Em outras palavras, o desvio padrão do termo de erro é constante em todos os valores do preditor ou variáveis explicativas. Esta suposição, no entanto, claramente não é válida, mesmo aproximadamente, em todas as aplicações de modelagem. Por exemplo, nos dados de pontos de transmissão de fotomask de semicondutores mostrados abaixo, parece que a precisão das medidas de distâncias de linha diminui à medida que o espaçamento entre linhas aumenta. Em situações como esta, quando pode não ser razoável supor que cada observação deve ser tratada de forma igual, os mínimos quadrados ponderados podem ser usados para maximizar a eficiência da estimação de parâmetros. Isso é feito tentando dar a cada ponto de dados a quantidade adequada de influência sobre as estimativas dos parâmetros. Um procedimento que trata todos os dados igualmente proporcionaria pontos menos precisos mais influenciados do que eles deveriam ter e dar pontos muito precisos com pouca influência. Tipos de modelo de dados de erro de medição de linha e mínimos quadrados ponderados Ao contrário da regressão dos mínimos quadrados linear e não linear, a regressão dos mínimos quadrados ponderados não está associada a um tipo particular de função usada para descrever a relação entre as variáveis do processo. Em vez disso, os mínimos quadrados ponderados refletem o comportamento dos erros aleatórios no modelo e podem ser usados com funções que são lineares ou não-lineares nos parâmetros. Ele funciona incorporando constantes não negativas extras, ou pesos, associados a cada ponto de dados, no critério de montagem. O tamanho do peso indica a precisão da informação contida na observação associada. Otimizar o critério de ajuste ponderado para encontrar as estimativas dos parâmetros permite que os pesos determinem a contribuição de cada observação para as estimativas dos parâmetros finais. É importante notar que o peso para cada observação é dado em relação aos pesos das outras observações, de modo que diferentes conjuntos de pesos absolutos podem ter efeitos idênticos. Vantagens dos mínimos quadrados ponderados Como todos os métodos de mínimos quadrados discutidos até agora, os mínimos quadrados ponderados são um método eficiente que faz bom uso de pequenos conjuntos de dados. Também compartilha a capacidade de fornecer diferentes tipos de intervalos estatísticos facilmente interpretáveis para estimação, previsão, calibração e otimização. Além disso, como discutido acima, a principal vantagem de que os mínimos quadrados ponderados desfrutam sobre outros métodos é a capacidade de lidar com situações de regressão em que os pontos de dados são de qualidade variável. Se o desvio padrão dos erros aleatórios nos dados não for constante em todos os níveis das variáveis explicativas, o uso de mínimos quadrados ponderados com pesos inversamente proporcionais à variância em cada nível das variáveis explicativas produz as estimativas de parâmetros mais precisas possíveis. Desvantagens dos mínimos quadrados ponderados A maior desvantagem dos mínimos quadrados ponderados, que muitas pessoas não conhecem, é provavelmente o fato de que a teoria por trás desse método se baseia no pressuposto de que os pesos são conhecidos exatamente. Este é quase nunca o caso em aplicações reais, é claro, então os pesos estimados devem ser usados em vez disso. O efeito de usar pesos estimados é difícil de avaliar, mas a experiência indica que pequenas variações nos pesos devido à estimativa geralmente não afetam uma análise de regressão ou sua interpretação. No entanto, quando os pesos são estimados a partir de um pequeno número de observações replicadas, os resultados de uma análise podem ser muito mal e afetados imprevisivelmente. Isto é especialmente provável que seja o caso quando os pesos para valores extremos do preditor ou variáveis explicativas são estimados usando apenas algumas observações. É importante manter-se ciente desse problema potencial e usar somente os mínimos quadrados ponderados quando os pesos podem ser estimados precisamente em relação ao outro Carroll e Ruppert (1988). Ryan (1997). A regressão de mínimos quadrados ponderada, como os outros métodos de mínimos quadrados, também é sensível aos efeitos de outliers. Se os outliers potenciais não forem investigados e tratados adequadamente, provavelmente terão um impacto negativo na estimação dos parâmetros e outros aspectos de uma análise ponderada dos mínimos quadrados. Se uma regressão de mínimos quadrados ponderada realmente aumenta a influência de um outlier, os resultados da análise podem ser muito inferiores a uma análise de mínimos quadrados não ponderada. Mais informações sobre o critério de ajuste de mínimos quadrados ponderados podem ser encontradas na Seção 4.3. A discussão dos métodos para a estimativa do peso pode ser encontrada na Seção 4.5. Layout dos quadrados mínimos Um procedimento matemático para encontrar a curva de melhor ajuste para um determinado conjunto de pontos, minimizando a soma dos quadrados dos deslocamentos (quotthe residualsquot) dos pontos de a curva. A soma dos quadrados dos deslocamentos é usada em vez dos valores absolutos de compensação porque isso permite que os resíduos sejam tratados como uma quantidade diferencial contínua. No entanto, como os quadrados dos deslocamentos são usados, os pontos periféricos podem ter um efeito desproporcional no ajuste, uma propriedade que pode ou não ser desejável dependendo do problema em questão. Na prática, os deslocamentos verticais de uma linha (polinômio, superfície, hiperplane, etc.) são quase sempre minimizados em vez dos deslocamentos perpendiculares. Isso fornece uma função de ajuste para a variável independente que estima para um determinado (mais frequentemente o que um experimentador quer), permite que as incertezas dos pontos de dados ao longo dos - e - axes sejam incorporados simplesmente e também fornece uma forma analítica muito mais simples para o Parâmetros de ajuste do que seria obtido usando um ajuste baseado em compensações perpendiculares. Além disso, a técnica de encaixe pode ser facilmente generalizada a partir de uma linha de melhor ajuste para um polinômio de melhor ajuste quando são utilizadas margens de distâncias verticais. Em qualquer caso, para um número razoável de pontos de dados ruidosos, a diferença entre os ajustes verticais e perpendiculares é bastante pequena. A técnica de ajuste de mínimos quadrados linear é a forma mais simples e mais comummente aplicada de regressão linear e fornece uma solução para o problema de encontrar a linha direta de melhor ajuste através de um conjunto de pontos. De fato, se a relação funcional entre as duas quantidades sendo grapeadas é conhecida dentro de constantes aditivas ou multiplicativas, é prática comum transformar os dados de tal forma que a linha resultante é uma linha reta, digamos traçando vs. em vez de Vs. no caso de analisar o período de um pêndulo em função do seu comprimento. Por esse motivo, formulários padrão para exponencial. Logarítmico. E as leis de poder são muitas vezes explicitamente computadas. As fórmulas para o ajuste de mínimos quadrados lineares foram derivadas independentemente por Gauss e Legendre. Para os mínimos quadrados não lineares que se encaixam em vários parâmetros desconhecidos, o ajuste linear de mínimos quadrados pode ser aplicado iterativamente a uma forma linearizada da função até a convergência ser alcançada. No entanto, muitas vezes também é possível linearizar uma função não linear no início e ainda usar métodos lineares para determinar parâmetros de ajuste sem recorrer a procedimentos iterativos. Esta abordagem geralmente viola a suposição implícita de que a distribuição de erros é normal. Mas muitas vezes ainda dá resultados aceitáveis usando equações normais, um pseudoinverse. Etc. Dependendo do tipo de ajuste e dos parâmetros iniciais escolhidos, o ajuste não linear pode ter boas ou pobres propriedades de convergência. Se forem dadas incertezas (no caso mais geral, elipses de erro) para os pontos, os pontos podem ser ponderados de forma diferente para dar maior peso aos pontos de alta qualidade. A montagem de mínimos quadrados verticais prossegue ao encontrar a soma dos quadrados dos desvios verticais de um conjunto de pontos de dados a partir de uma função. Observe que este procedimento não minimiza os desvios reais da linha (o que seria medido perpendicularmente à função dada). Além disso, embora a soma de distâncias desactualizadas possa parecer uma quantidade mais apropriada para minimizar, o uso do valor absoluto resulta em derivados descontínuos que não podem ser tratados analiticamente. Os desvios quadrados de cada ponto são, portanto, somados, e o resíduo resultante é então minimizado para encontrar a melhor linha de ajuste. Este procedimento resulta em pontos periféricos que recebem uma ponderação desproporcionalmente grande. A condição para ser um mínimo é que Chatterjee, S. Hadi, A. e Price, B. quot Simple Simple Regression. quot Ch. 2 em Análise de Regressão por Exemplo, 3ª ed. Nova Iorque: Wiley, pp. 21-50, 2000. Edwards, A. L.. A linha de regressão em. quot Ch. 3 em Uma Introdução à Regressão Linear e Correlação. San Francisco, CA: W. H. Freeman, pp. 20-32, 1976. Gauss, C. F. quotTheoria combinationis obsevationum erroribus minimis obnoxiae. quot Werke, Vol. 4. Goumlttingen, Alemanha: p. 1, 1823. Kenney, J. F. e Keeping, E. S. na Regressão Linear, Correlação Simples e Contingência. quot Ch. 8 em Matemática de Estatística, Pt. 2, 2ª ed. Princeton, NJ: Van Nostrand, pp. 199-237, 1951. Kenney, J. F. e Keeping, E. S. quotLinear Regression and Correlation. quot Ch. 15 em Matemática da Estatística, Pt. 1, 3ª ed. Princeton, NJ: Van Nostrand, pp. 252-285, 1962. Laplace, P. S. Quais são os métodos de análise de cálculo de Probabiliteacutes. quot Ch. 4 em Theacuteorie analytique des probabiliteacutes, Livre 2, 3rd ed. Paris: Courcier, 1820. Lawson, C. e Hanson, R. Resolvendo os menores problemas de quadrados. Englewood Cliffs, NJ: Prentice-Hall, 1974. Ledvij, M. cot. Curve Fitting Made Easy. quot Físico Industrial 9. 24-27, abril. membro de 2003. Press, WH Flannery, BP Teukolsky, SA e Vetterling, WT que fornecem dados para uma Linha Direta quotStright-Line Data with Errors in Both Coordenadas, quot e quotGeneral Linear Least Squares. quot sect15.2, 15.3 e 15.4 em Receitas Numéricas em FORTRAN: The Art of Scientific Computing, 2nd ed. Cambridge, Inglaterra: Cambridge University Press, pp. 655-675, 1992. York, D., QitLet-Square Fitting of a Straight Line. quot Canad. J. Phys. 44. 1079-1086, 1966. Recursos da Web de Wolfram Curvas de curvatura para seus dados usando mínimos quadrados Introdução Se você é um engenheiro (como costumava estar em uma vida anterior), você provavelmente já fez seu pouco de experimentação. Normalmente, você precisa de uma maneira de ajustar seus resultados de medição com uma curva. Se você é um engenheiro adequado, você também tem alguma idéia de qual tipo de equação teoricamente se adequaria aos seus dados. Talvez você tenha feito algumas medidas com resultados como este: Ajustando dados com uma equação. Uma maneira bem conhecida de ajustar dados a uma equação é usando o método de mínimos quadrados (LS). Eu não repetirei a teoria atrás do método aqui, apenas leio sobre o assunto clicando nesse link para a Wikipedia. Ajustando equações lineares simples O Excel fornece-nos algumas ferramentas para executar os cálculos de mínimos quadrados, mas todos estão centrados em torno das funções mais simples: simples funções lineares da forma ya. xb, ya. exp (bx), ya. xb e etcétera . Com alguns truques, você também pode executar LS em polinomas usando o Excel. Ferramentas de regressão no suplemento Analysis Toolpak Active o Toolpak de Análise na sua lista de Complementos (botão Arquivo ou botão Office, Opções do Excel, guia Complemento, clique em Ir): a lista de suplementos do Excel com a ferramenta de análise Ativado Isso adiciona o botão quotData Analysisquot à sua faixa de opções, no separador Dados, grupo Análise (este é também o local onde você pode encontrar o botão Solver mencionado mais tarde): botão Ribbon with Data Analysis Clique nesse botão para explorar quais ferramentas de regressão são acessível. Funções da planilha Há várias funções da planilha que você também pode usar para fazer análise de regressão. Para acessá-los rapidamente, selecione uma célula vazia e clique em shiftF3 para abrir o assistente de função. Na caixa de pesquisa, insira quotRegressionz (sem as citações, é claro). O Excel listará as funções relevantes: Assistente de funções que mostra as funções de Regressão Escolha um e clique no botão quotAjuda neste link de função na parte inferior do assistente de funções para descobrir mais sobre seu uso. Ajustando funções mais complexas E se você quiser encaixar uma função mais complexa, como yexp (a. x).sin (x) b. Como isso pode ser feito usando o Excel, planejei uma maneira de fazer isso que envolve as seguintes etapas: Criar uma tabela com valores x e y Adicionar uma coluna com a fórmula da função do modelo, que aponta para o seu x-es e para algumas células para o Constante (s) Ter uma coluna que calcula a Soma dos Quadrados Use o Solver para encontrar as constantes que produzem a menor Soma de Quadrados. Explicação do arquivo de exemplo Eu criei um arquivo de exemplo que você pode usar para usar diretamente. Abaixo você encontrará um link para o arquivo e uma explicação sobre como o arquivo é montado. Baixe este arquivo: Como funciona o arquivo Os cálculos e os dados estão concentrados na Folha1 do arquivo. A área mais importante é a tabela que começa na célula A1: Tabela de dados no arquivo LS A coluna A contém seus valores x e a coluna B mantém os valores y. A terceira coluna contém a fórmula que calcula o resultado da equação ajustada usando as constantes e os valores x. O arquivo de exemplo tem esta fórmula na coluna C: A quarta coluna da tabela é usada para calcular a soma dos quadrados. Fórmula: como você provavelmente já observou, eu usei alguns nomes de alcance. Explico os que estão abaixo. Nomes de intervalo Para facilitar o trabalho com o arquivo, criei alguns nomes de intervalo. Em vez de usar as referências de tabela que oferecem o Excel 2007, 2010 e 2013, incluí alguns nomes de alcance dinâmico que apontam para os dados. Isso significa que a pasta de trabalho também funciona no Excel 2003 e antes. Constantes da equação Os nomes do intervalo const apontar para uma segunda tabela no arquivo: Esta tabela é onde você inseriu suas primeiras suposições iniciais para as constantes resultantes e onde o suplemento do Solver também retorna os resultados. Como você pode ver, abaixo dessa tabela, a Soma residual de quadrados é mostrada. Fórmula: é essa célula G11 que tentamos minimizar usando o complemento Solver. Usando o Solver Em primeiro lugar, você precisa instalar o suplemento do Solver. Use a caixa de diálogo Complementos que mostrei no topo deste artigo e marque a caixa ao lado de quotSolver Add-inquot. Isso adiciona o botão Solver na mesma localização na faixa de opções como o botão quotData Analysisquot que eu mostrei antes. Depois de ter assegurado que a fórmula do modelo seja inserida corretamente na coluna C e os cálculos funcionem, clique no botão Solver. A caixa de diálogo abaixo é mostrada: O diálogo Solver Verifique se a caixa QuotSet Objectivequot aponta para a célula que contém a soma de quadrados. Selecione quotMinquot ao lado de quotToquot. A caixa de células do quotBy Changing Variable deve SOMENTE apontar para as células que são usadas pelo seu modelo, caso contrário o cálculo dos graus de liberdade (na folha ANOVA) será errado. Certifique-se também de que todas as células constantes não utilizadas estão vazias selecionando-as e pressionando a tecla del. Observe que, dependendo do tipo de modelo, talvez seja necessário alterar as configurações do solucionador. Um pouco de experimentação pode ser necessária para melhores resultados. Você pode salvar e carregar as configurações do Solver usando o botão apropriado. Portanto, seja prudente e crítico sobre se você realmente alcançou o melhor ajuste, o Solver pode apresentar resultados não ótimos, dependendo das configurações da equação do modelo e do solucionador. Se você estiver feliz com as atuais configurações do Solver, clique em Resolver. Depois de algum tempo, a caixa de diálogo QuotSolver Resultsquot é aberta, dando-lhe algumas opções sobre como continuar. Observe que ele também permite que você pergunte por alguns relatórios. O arquivo de exemplo mostra o resultado final: Análise de Variância Na guia ANOVA, você pode encontrar a tabela ANALISE OF VAriance, que se parece com isto: A tabela ANOVA A célula mais importante aqui é a célula F2. Se o valor nessa célula for inferior a 0,05, existe uma probabilidade 95 de que seu modelo esteja ajustando corretamente os dados. Então, menos é mais para esta célula, você quer que ele fique abaixo de 0,05. A célula ficará vermelha para valores acima de 0,05. Verifique se o valor na célula B2 é exatamente um menos do que o número de constantes que você usou para o modelo. Caso contrário, volte para Sheet1 e esvazie as células não utilizadas pelo seu modelo. Então, se você usou consta e constb, então o valor de B2 (graus modelo de liberdade) deve ser 1. Conclusão Como você viu as funções complexas para seus dados não é muito difícil de fazer. Uma combinação de algumas fórmulas relativamente simples e o suplemento Solver vem para o resgate aqui. Alguns conselhos como um engenheiro para outro. Seja crítico, por favor. Não acredite em tudo o que o Excel lhe diz Analisar cuidadosamente os resultados que ele retorna, pois o Solver pode resolver as coisas e não lhe dar o melhor resultado possível Mostrando os últimos 8 comentários de 68 no total (Mostrar todos os comentários): Comentário por: GB (4202016 5:51 : 03 AM) isso é incrível. Obrigado Comentário: Boris (12132016 7:10:57 PM) Senhor, estou tentando encaixar modelos de camada fina usando um método de regressão não linear, mas não consigo encontrar os valores de parâmetros constantes. Preciso de valores de constantes. Pliz ajuda Um exemplo da equação MR aexp (-kt) c, onde MR-MOISTURE RATIO, t-timea, k, c-constantes Comentário de: Jan Karel Pieterse (12192016 10:18:40 AM) Infelizmente, sem suposições adequadas Para os parâmetros, o Excel às vezes não consegue resolver os parâmetros. Comentário de: Boris (12262016 3:44:42) Obrigado senhor por sua lição. Mas uma coisa que eu quero saber de você é que, existe alguma outra opção para descobrir os valores de constantes sem suposição primeiro (significa os intervalos que você tomou) Boris Huirem Comentário: Jan Karel Pieterse (12302016 3:12:26 PM) Estou com medo que possa ser a parte mais difícil. Dependendo do modelo preciso e dos dados a partir de um bom conjunto de primeiros suposições, pode ser muito importante. Não tenho sugestões além de tentativa e erro Estou com medo. Comentário de: Steven (142017 6:00:41 PM) Existe realmente uma maneira de calcular Erros Std para o consta e constb ajustados. Comentário: Jan Karel Pieterse (152017 6:46:56 AM) Nunca tive a chance de tentar descobrir a matemática por trás da determinação da precisão (confiabilidade) das constantes ajustadas, desculpe Comentário de: Steven (162017 11:32: 59 AM) Na verdade, eu encontrei uma macro (SolvStat) on-line que pode fazer isso. Não sou matemático, então não posso seguir todos os cálculos, mas parece funcionar OK (após comparação com resultados por outro programa). Tenha uma pergunta, comentário ou sugestão. Então, use este formulário. Se a sua pergunta não está diretamente relacionada a esta página da Web, mas sim uma questão mais geral. Como faço isso, perguntei o Excel, então eu aconselho você a fazer sua pergunta aqui: eileenslounge. Jan Karel Pieterse infojkp-ads Copyright 2017, todos os direitos reservados.
No comments:
Post a Comment