Arity change, remove force_properties:
[tiramisu.git] / tiramisu / value.py
1 # -*- coding: utf-8 -*-
2 "takes care of the option's values and multi values"
3 # Copyright (C) 2013 Team tiramisu (see AUTHORS for all contributors)
4 #
5 # This program is free software: you can redistribute it and/or modify it
6 # under the terms of the GNU Lesser General Public License as published by the
7 # Free Software Foundation, either version 3 of the License, or (at your
8 # option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful, but WITHOUT
11 # ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
12 # FOR A PARTICULAR PURPOSE.  See the GNU Lesser General Public License for more
13 # details.
14 #
15 # You should have received a copy of the GNU Lesser General Public License
16 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
17 # ____________________________________________________________
18 from time import time
19 import sys
20 import weakref
21 from tiramisu.error import ConfigError, SlaveError, PropertiesOptionError
22 from tiramisu.setting import owners, expires_time, undefined
23 from tiramisu.autolib import carry_out_calculation
24 from tiramisu.i18n import _
25 from tiramisu.option import SymLinkOption, OptionDescription
26
27
28 class Values(object):
29     """The `Config`'s root is indeed  in charge of the `Option()`'s values,
30     but the values are physicaly located here, in `Values`, wich is also
31     responsible of a caching utility.
32     """
33     __slots__ = ('context', '_p_', '__weakref__')
34
35     def __init__(self, context, storage):
36         """
37         Initializes the values's dict.
38
39         :param context: the context is the home config's values
40
41         """
42         self.context = weakref.ref(context)
43         # the storage type is dictionary or sqlite3
44         self._p_ = storage
45
46     def _getcontext(self):
47         """context could be None, we need to test it
48         context is None only if all reference to `Config` object is deleted
49         (for example we delete a `Config` and we manipulate a reference to
50         old `SubConfig`, `Values`, `Multi` or `Settings`)
51         """
52         context = self.context()
53         if context is None:
54             raise ConfigError(_('the context does not exist anymore'))
55         return context
56
57     def _getvalue(self, opt, path, is_default, index=undefined):
58         """actually retrieves the value
59
60         :param opt: the `option.Option()` object
61         :returns: the option's value (or the default value if not set)
62         """
63         setting = self._getcontext().cfgimpl_get_settings()
64         force_default = 'frozen' in setting[opt] and \
65             'force_default_on_freeze' in setting[opt]
66         if not is_default and not force_default:
67             value = self._p_.getvalue(path)
68             if index is not undefined:
69                 try:
70                     return value[index]
71                 except IndexError:
72                     #value is smaller than expected
73                     #so return default value
74                     pass
75             else:
76                 return value
77         #so default value
78         # if value has callback and is not set
79         if opt.impl_has_callback():
80             callback, callback_params = opt._callback
81             if callback_params is None:
82                 callback_params = {}
83             value = carry_out_calculation(opt, config=self._getcontext(),
84                                           callback=callback,
85                                           callback_params=callback_params,
86                                           index=index)
87             try:
88                 if isinstance(value, list) and index is not undefined:
89                     return value[index]
90                 return value
91             except IndexError:
92                 pass
93         meta = self._getcontext().cfgimpl_get_meta()
94         if meta is not None:
95             #FIXME : problème de longueur si meta + slave
96             #doit passer de meta à pas meta
97             #en plus il faut gérer la longueur avec les meta !
98             #FIXME SymlinkOption
99             value = meta.cfgimpl_get_values()[opt]
100             if isinstance(value, Multi):
101                 if index is not undefined:
102                     value = value[index]
103                 else:
104                     value = list(value)
105             return value
106         # now try to get default value
107         value = opt.impl_getdefault()
108         if opt.impl_is_multi() and index is not undefined:
109             if value is None:
110                 value = opt.impl_getdefault_multi()
111             else:
112                 try:
113                     value = value[index]
114                 except IndexError:
115                     value = opt.impl_getdefault_multi()
116         return value
117
118     def get_modified_values(self):
119         context = self._getcontext()
120         if context._impl_descr is not None:
121             for opt, path in context.cfgimpl_get_settings(
122             ).get_with_property('force_store_value'):
123                 self._getowner(opt, path, force_permissive=True)
124         return self._p_.get_modified_values()
125
126     def __contains__(self, opt):
127         """
128         implements the 'in' keyword syntax in order provide a pythonic way
129         to kow if an option have a value
130
131         :param opt: the `option.Option()` object
132         """
133         path = self._get_opt_path(opt)
134         return self._contains(path)
135
136     def _contains(self, path):
137         return self._p_.hasvalue(path)
138
139     def __delitem__(self, opt):
140         """overrides the builtins `del()` instructions"""
141         self.reset(opt)
142
143     def reset(self, opt, path=None):
144         if path is None:
145             path = self._get_opt_path(opt)
146         if self._p_.hasvalue(path):
147             context = self._getcontext()
148             setting = context.cfgimpl_get_settings()
149             opt.impl_validate(opt.impl_getdefault(),
150                               context, 'validator' in setting)
151             context.cfgimpl_reset_cache()
152             if opt.impl_is_master_slaves('master'):
153                 opt.impl_get_master_slaves().reset(self)
154             self._p_.resetvalue(path)
155
156     def _isempty(self, opt, value):
157         "convenience method to know if an option is empty"
158         empty = opt._empty
159         if value is not undefined:
160             empty_not_multi = not opt.impl_is_multi() and (value is None or
161                                                            value == empty)
162             empty_multi = opt.impl_is_multi() and (value == [] or
163                                                    None in value or
164                                                    empty in value)
165         else:
166             empty_multi = empty_not_multi = False
167         return empty_not_multi or empty_multi
168
169     def __getitem__(self, opt):
170         "enables us to use the pythonic dictionary-like access to values"
171         return self.getitem(opt)
172
173     def getitem(self, opt, validate=True, force_permissive=False):
174         """
175         """
176         return self._get_cached_item(opt, validate=validate,
177                                      force_permissive=force_permissive)
178
179     def _get_cached_item(self, opt, path=None, validate=True,
180                          force_permissive=False, force_properties=None,
181                          validate_properties=True):
182         if path is None:
183             path = self._get_opt_path(opt)
184         ntime = None
185         setting = self._getcontext().cfgimpl_get_settings()
186         if 'cache' in setting and self._p_.hascache(path):
187             if 'expire' in setting:
188                 ntime = int(time())
189             is_cached, value = self._p_.getcache(path, ntime)
190             if is_cached:
191                 if opt.impl_is_multi() and not isinstance(value, Multi):
192                     #load value so don't need to validate if is not a Multi
193                     value = Multi(value, self.context, opt, path)
194                 return value
195         val = self._getitem(opt, path, validate, force_permissive,
196                             force_properties, validate_properties)
197         if 'cache' in setting and validate and validate_properties and \
198                 force_permissive is False and force_properties is None:
199             if 'expire' in setting:
200                 if ntime is None:
201                     ntime = int(time())
202                 ntime = ntime + expires_time
203             self._p_.setcache(path, val, ntime)
204         return val
205
206     def _getitem(self, opt, path, validate, force_permissive, force_properties,
207                  validate_properties):
208         if opt.impl_is_master_slaves():
209             return opt.impl_get_master_slaves().getitem(self, opt, path,
210                                                         validate,
211                                                         force_permissive,
212                                                         force_properties,
213                                                         validate_properties)
214         else:
215             return self._get_validated_value(opt, path, validate,
216                                              force_permissive,
217                                              force_properties,
218                                              validate_properties)
219
220     def _get_validated_value(self, opt, path, validate, force_permissive,
221                              force_properties, validate_properties,
222                              index=undefined):
223         """same has getitem but don't touch the cache"""
224         #FIXME expliquer la différence entre index == undefined et index == None
225         context = self._getcontext()
226         setting = context.cfgimpl_get_settings()
227         is_default = self._is_default_owner(opt, path,
228                                             validate_properties=False,
229                                             validate_meta=False)
230         try:
231             if index is None:
232                 gv_index = undefined
233             else:
234                 gv_index = index
235             value = self._getvalue(opt, path, is_default, index=gv_index)
236             config_error = None
237         except ConfigError as err:
238             # For calculating properties, we need value (ie for mandatory
239             # value).
240             # If value is calculating with a PropertiesOptionError's option
241             # _getvalue raise a ConfigError.
242             # We can not raise ConfigError if this option should raise
243             # PropertiesOptionError too. So we get config_error and raise
244             # ConfigError if properties did not raise.
245             # cannot assign config_err directly in python 3.3
246             config_error = err
247             # value is not set, for 'undefined' (cannot set None because of
248             # mandatory property)
249             value = undefined
250
251         if config_error is None:
252             if index is undefined:
253                 force_index = None
254             else:
255                 force_index = index
256             if opt.impl_is_multi():
257                 if index is None and not isinstance(value, list):
258                     value = []
259                 if force_index is None:
260                     value = Multi(value, self.context, opt, path)
261             if validate:
262                 opt.impl_validate(value, context, 'validator' in setting,
263                                   force_index=force_index)
264             #FIXME pas de test avec les metas ...
265             #FIXME et les symlinkoption ...
266             if is_default and 'force_store_value' in setting[opt]:
267                 self.setitem(opt, value, path, is_write=False,
268                              force_permissive=force_permissive)
269         if validate_properties:
270             setting.validate_properties(opt, False, False, value=value,
271                                         path=path,
272                                         force_permissive=force_permissive,
273                                         force_properties=force_properties)
274         if config_error is not None:
275             raise config_error
276         return value
277
278     def __setitem__(self, opt, value):
279         raise ValueError(_('you should only set value with config'))
280
281     def setitem(self, opt, value, path, force_permissive=False,
282                 is_write=True):
283         # is_write is, for example, used with "force_store_value"
284         # user didn't change value, so not write
285         # valid opt
286         context = self._getcontext()
287         opt.impl_validate(value, context,
288                           'validator' in context.cfgimpl_get_settings())
289         if opt.impl_is_multi():
290             value = Multi(value, self.context, opt, path)
291             if opt.impl_is_master_slaves():
292                 opt.impl_get_master_slaves().setitem(self, opt, value, path)
293         self._setvalue(opt, path, value, force_permissive=force_permissive,
294                        is_write=is_write)
295
296     def _setvalue(self, opt, path, value, force_permissive=False,
297                   is_write=True, validate_properties=True):
298         context = self._getcontext()
299         context.cfgimpl_reset_cache()
300         if validate_properties:
301             setting = context.cfgimpl_get_settings()
302             setting.validate_properties(opt, False, is_write,
303                                         value=value, path=path,
304                                         force_permissive=force_permissive)
305         owner = context.cfgimpl_get_settings().getowner()
306         if isinstance(value, Multi):
307             value = list(value)
308         self._p_.setvalue(path, value, owner)
309
310     def getowner(self, opt, force_permissive=False):
311         """
312         retrieves the option's owner
313
314         :param opt: the `option.Option` object
315         :param force_permissive: behaves as if the permissive property
316                                  was present
317         :returns: a `setting.owners.Owner` object
318         """
319         if isinstance(opt, SymLinkOption):
320             opt = opt._opt
321         path = self._get_opt_path(opt)
322         return self._getowner(opt, path, force_permissive=force_permissive)
323
324     def _getowner(self, opt, path, validate_properties=True,
325                   force_permissive=False, validate_meta=True):
326         if validate_properties:
327             self._getitem(opt, path, True, force_permissive, None, True)
328         owner = self._p_.getowner(path, owners.default)
329         if validate_meta:
330             meta = self._getcontext().cfgimpl_get_meta()
331             if owner is owners.default and meta is not None:
332                 owner = meta.cfgimpl_get_values()._getowner(opt, path)
333         return owner
334
335     def setowner(self, opt, owner):
336         """
337         sets a owner to an option
338
339         :param opt: the `option.Option` object
340         :param owner: a valid owner, that is a `setting.owners.Owner` object
341         """
342         if not isinstance(owner, owners.Owner):
343             raise TypeError(_("invalid generic owner {0}").format(str(owner)))
344
345         path = self._get_opt_path(opt)
346         self._setowner(opt, path, owner)
347
348     def _setowner(self, opt, path, owner):
349         if self._getowner(opt, path) == owners.default:
350             raise ConfigError(_('no value for {0} cannot change owner to {1}'
351                                 '').format(path, owner))
352         self._p_.setowner(path, owner)
353
354     def is_default_owner(self, opt, validate_properties=True,
355                          validate_meta=True):
356         """
357         :param config: *must* be only the **parent** config
358                        (not the toplevel config)
359         :return: boolean
360         """
361         path = self._get_opt_path(opt)
362         return self._is_default_owner(opt, path,
363                                       validate_properties=validate_properties,
364                                       validate_meta=validate_meta)
365
366     def _is_default_owner(self, opt, path, validate_properties=True,
367                           validate_meta=True):
368         return self._getowner(opt, path, validate_properties,
369                               validate_meta=validate_meta) == owners.default
370
371     def reset_cache(self, only_expired):
372         """
373         clears the cache if necessary
374         """
375         if only_expired:
376             self._p_.reset_expired_cache(int(time()))
377         else:
378             self._p_.reset_all_cache()
379
380     def _get_opt_path(self, opt):
381         """
382         retrieve the option's path in the config
383
384         :param opt: the `option.Option` object
385         :returns: a string with points like "gc.dummy.my_option"
386         """
387         return self._getcontext().cfgimpl_get_description(
388         ).impl_get_path_by_opt(opt)
389
390     # information
391     def set_information(self, key, value):
392         """updates the information's attribute
393
394         :param key: information's key (ex: "help", "doc"
395         :param value: information's value (ex: "the help string")
396         """
397         self._p_.set_information(key, value)
398
399     def get_information(self, key, default=None):
400         """retrieves one information's item
401
402         :param key: the item string (ex: "help")
403         """
404         try:
405             return self._p_.get_information(key)
406         except ValueError:
407             if default is not None:
408                 return default
409             else:
410                 raise ValueError(_("information's item"
411                                    " not found: {0}").format(key))
412
413     def mandatory_warnings(self):
414         """convenience function to trace Options that are mandatory and
415         where no value has been set
416
417         :returns: generator of mandatory Option's path
418
419         """
420         def _mandatory_warnings(description):
421             #if value in cache, properties are not calculated
422             for opt in description.impl_getchildren():
423                 if isinstance(opt, OptionDescription):
424                     _mandatory_warnings(opt)
425                 elif isinstance(opt, SymLinkOption):
426                     pass
427                 else:
428                     path = self._get_opt_path(opt)
429                     try:
430                         self._get_cached_item(opt, path=path,
431                                               force_properties=frozenset(('mandatory',)))
432                     except PropertiesOptionError as err:
433                         if err.proptype == ['mandatory']:
434                             yield path
435         self.reset_cache(False)
436         descr = self._getcontext().cfgimpl_get_description()
437         ret = list(_mandatory_warnings(descr))
438         self.reset_cache(False)
439         return ret
440
441     def force_cache(self):
442         """parse all option to force data in cache
443         """
444         context = self.context()
445         if not 'cache' in context.cfgimpl_get_settings():
446             raise ConfigError(_('can force cache only if cache '
447                                 'is actived in config'))
448         #remove all cached properties and value to update "expired" time
449         context.cfgimpl_reset_cache()
450         for path in context.cfgimpl_get_description().impl_getpaths(
451                 include_groups=True):
452             try:
453                 context.getattr(path)
454             except PropertiesOptionError:
455                 pass
456
457     def __getstate__(self):
458         return {'_p_': self._p_}
459
460     def _impl_setstate(self, storage):
461         self._p_._storage = storage
462
463     def __setstate__(self, states):
464         self._p_ = states['_p_']
465
466
467 # ____________________________________________________________
468 # multi types
469
470
471 class Multi(list):
472     """multi options values container
473     that support item notation for the values of multi options"""
474     __slots__ = ('opt', 'path', 'context')
475
476     def __init__(self, value, context, opt, path):
477         """
478         :param value: the Multi wraps a list value
479         :param context: the home config that has the values
480         :param opt: the option object that have this Multi value
481         """
482         if isinstance(value, Multi):
483             raise ValueError(_('{0} is already a Multi ').format(opt._name))
484         self.opt = opt
485         self.path = path
486         if not isinstance(context, weakref.ReferenceType):
487             raise ValueError('context must be a Weakref')
488         self.context = context
489         if not isinstance(value, list):
490             value = [value]
491         super(Multi, self).__init__(value)
492
493     def _getcontext(self):
494         """context could be None, we need to test it
495         context is None only if all reference to `Config` object is deleted
496         (for example we delete a `Config` and we manipulate a reference to
497         old `SubConfig`, `Values`, `Multi` or `Settings`)
498         """
499         context = self.context()
500         if context is None:
501             raise ConfigError(_('the context does not exist anymore'))
502         return context
503
504     def __setitem__(self, index, value):
505         self._validate(value, index)
506         #assume not checking mandatory property
507         super(Multi, self).__setitem__(index, value)
508         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path,
509                                                           self)
510
511     def append(self, value=undefined, force=False, setitem=True):
512         """the list value can be updated (appened)
513         only if the option is a master
514         """
515         values = self._getcontext().cfgimpl_get_values()
516         if not force:
517             if self.opt.impl_is_master_slaves('slave'):
518                 raise SlaveError(_("cannot append a value on a multi option {0}"
519                                    " which is a slave").format(self.opt._name))
520         index = self.__len__()
521         if value is undefined:
522             try:
523                 value = values._get_validated_value(self.opt, self.path,
524                                                     True, False, None, True,
525                                                     index=index)
526             except IndexError:
527                 value = None
528         self._validate(value, index)
529         super(Multi, self).append(value)
530         if setitem:
531             values._setvalue(self.opt, self.path, self,
532                              validate_properties=not force)
533
534     def sort(self, cmp=None, key=None, reverse=False):
535         if self.opt.impl_is_master_slaves():
536             raise SlaveError(_("cannot sort multi option {0} if master or slave"
537                                "").format(self.opt._name))
538         if sys.version_info[0] >= 3:
539             if cmp is not None:
540                 raise ValueError(_('cmp is not permitted in python v3 or '
541                                    'greater'))
542             super(Multi, self).sort(key=key, reverse=reverse)
543         else:
544             super(Multi, self).sort(cmp=cmp, key=key, reverse=reverse)
545         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path,
546                                                           self)
547
548     def reverse(self):
549         if self.opt.impl_is_master_slaves():
550             raise SlaveError(_("cannot reverse multi option {0} if master or "
551                                "slave").format(self.opt._name))
552         super(Multi, self).reverse()
553         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path,
554                                                           self)
555
556     def insert(self, index, obj):
557         if self.opt.impl_is_master_slaves():
558             raise SlaveError(_("cannot insert multi option {0} if master or "
559                                "slave").format(self.opt._name))
560         super(Multi, self).insert(index, obj)
561         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path,
562                                                           self)
563
564     def extend(self, iterable):
565         if self.opt.impl_is_master_slaves():
566             raise SlaveError(_("cannot extend multi option {0} if master or "
567                                "slave").format(self.opt._name))
568         super(Multi, self).extend(iterable)
569         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path,
570                                                           self)
571
572     def _validate(self, value, force_index):
573         if value is not None:
574             try:
575                 self.opt.impl_validate(value, context=self._getcontext(),
576                                        force_index=force_index)
577             except ValueError as err:
578                 raise ValueError(_("invalid value {0} "
579                                    "for option {1}: {2}"
580                                    "").format(str(value),
581                                               self.opt._name, err))
582
583     def pop(self, index, force=False):
584         """the list value can be updated (poped)
585         only if the option is a master
586
587         :param index: remove item a index
588         :type index: int
589         :param force: force pop item (withoud check master/slave)
590         :type force: boolean
591         :returns: item at index
592         """
593         context = self._getcontext()
594         if not force:
595             if self.opt.impl_is_master_slaves('slave'):
596                 raise SlaveError(_("cannot pop a value on a multi option {0}"
597                                    " which is a slave").format(self.opt._name))
598             if self.opt.impl_is_master_slaves('master'):
599                 self.opt.impl_get_master_slaves().pop(
600                     context.cfgimpl_get_values(), index)
601         #set value without valid properties
602         ret = super(Multi, self).pop(index)
603         context.cfgimpl_get_values()._setvalue(self.opt, self.path, self,
604                                                validate_properties=not force)
605         return ret